CC BY
17консультации
фасетная классификация и эссе как способ повышения эффективности и качества электронного тестирования
УДК/UDC 378:004.9
Поступила в редакцию 04.07.2021 г.
Кандидат педагогических наук, доцент О.Б. Дмитриев1
1Удмуртский государственный университет, Ижевск
FACETED CLASSIFIERS AND ESSAYS IN NEW E-TEST SYSTEM: BENEFIT ANALYSIS
PhD, Associate Professor O.B. Dmitriev1
1 Udmurt State University, Izhevsk
Информация для связи с автором: obdmit@mail.ru
□ и
£ г. CL
ч—
О OJ и
CL ' -о с
га
^
О (U .с Н
Аннотация
Цель исследования - выявить и показать в действии фасетно-классифика-ционные и эссе технологии в тестологии и в среде Moodle для повышения качества электронного тестирования.
Методика и организация исследования. В рамках эксперимента были проанализированы и использованы технологии фасетной классификации^ эссе для разработки контрольных вопросов и заданий по теоретическим разделам дисциплин «Единоборства» и «Информационные технологии в физической культуре и спорте». Тематико-фасетный подход учитывался при моделировании структуры теста.
Результаты исследования и выводы. Введено понятие «вопросы-классификации», в которых дистракторами выступают элементы классификации объекта или процесса. Эти дистракторы не выдуманы, а правдивые и правильные, их может быть достаточно большое количество, что обеспечивает сложность вопроса и уменьшает вероятность угадывания. Вопросы эссе открытого типа повышают объективность тестирования. Рассмотрены разные варианты построения таких вопросов: «практические задания эссе» и «структурированные эссе-вопросы». Рекомендуется включать в тест вопросов эссе до 25%. Фасетный подход и вопросы классификации значительно увеличивают банк контрольных вопросов.
Приведенные технологии позволили улучшить объективность и качество контрольных вопросов и эффективность электронного тестирования в целом.
Ключевые слова: электронное тестирование, контрольные вопросы, вопросы-классификации, вопросы эссе, параллельные фасетные вопросы, фасетная классификация, среда Moodle.
Abstract
Objective of the study was to analyze benefits of the faceted classifiers and essay test technologies applicable in the Moodle electronic test toolkit. Methods and structure of the study. We piloted the electronic test system on the Moodle e-learning platform of Institute of Physical Culture and Sports of Udmurt State University. Moodle is a multifunctional educational platform with the educational and test content design toolkit. We used the faceted classifier technologies and essays to develop test questions and problems for the knowledge and skills tests in the Martial Arts and Physical Education and Sports Information Technology disciplines. The test system was developed using the topics faceting approach.
Results and conclusion. The test system distracter analysis by V.S. Avanesov showed a high quality of the classifier questions. The essay questions and problems were found as effective as in a traditional verbal examination as they require the student to thoroughly analyze the question, formulate and explain the choice rather than just choose or guess. It is also important that the difficulty and timeframe of the e-test is increased insignificantly. The new faceted classifier and essay questions test technologies were found beneficial for the test procedure fairness and quality, with special benefits for the discipline-specific question banks and the ET test procedure on the whole.
Keywords: electronic test, test questions, classifier questions, essay questions, parallel faceted questions, physical education, Moodle platform.
Введение. В настоящее время одним из приоритетных направлений развития высшей школы является разработка и активное внедрение в учебный процесс разработанных электронных образовательных ресурсов [7]. Компьютерное электронное тестирование является эффективным средством контроля теоретических знаний и практических навыков студентов [1, 3, 6, 8]. Чтобы компьютерное тестирование
было более объективным, необходимо качественно создавать контрольные вопросы и задания, тщательно разрабатывать структуру контрольного теста. Классификация тестовых заданий уже давно разработана (В. С. Аванесовым, А. Н. Майоровым и др.) и представлена в работах [2, 5, 6 и др.], однако постоянные исследования в сфере тестологии развивают и расширяют эту таксономию. Причем иерархическая клас-
92
http://www.teoriya.ru
№12^ 2021 Декабрь | December
консультации
сификация контрольных вопросов имеет тенденцию к преобразованию в сетевую структуру.
Цель исследования - выявить и показать в действии фа-сетно-классификационные и эссе технологии в тестологии и в среде Moodle для повышения качества электронного тестирования.
Методика и организация исследования. Эксперимент проводился на базе Института физической культуры и спорта и Системы электронного обучения Moodle Удмуртского государственного университета. Moodle - многофункциональная образовательная платформа для создания учебного и контролирующего контента. Технологии фасетной классификации и эссе были проанализированы и использованы для разработки контрольных вопросов и заданий по теоретическим разделам дисциплин «Единоборства» и «Информационные технологии в физической культуре и спорте». Тематико-фа-сетный подход необходимо учитывать при моделировании структуры теста.
Результаты исследования и их обсуждение.
Вопросы фасетной классификации. Из всего многообразия контрольных вопросов электронного тестирования (e-testing) была выделена группа заданий, которые нами определены как вопросы-классификации. Во многих предметных областях знаний и деятельности выделяются различные классификации объектов, процессов и явлений. Эти классификации могут использоваться для создания вопросов в шаблонах «одиночного/множественного выбора» или «на соответствие».
Например, при создании вопросов по знанию стоек каратэ-до на основе их классификации (рис. 1) все элементы классификации принимаются за варианты ответов. Особенностью является то, что в этих вопросах все ответы правильные, не выдуманные, не какие-либо абстрактные, и каждый элемент классификации выступает в виде дистрактора.
Слово «дистрактор» произошло от английского distract, которое переводится как «отвлекать». Традиционно дис-тракторы рассматривают как неправильные ответы, нами рассматриваются как отвлекающие варианты. Пользователь проблемную ситуацию (объект, процесс) в вопросе на рис. 1 должен классифицировать по элементам классификации стоек каратэ-до. Основной трудностью для рассмотренных шаблонов вопросов является сложность разработки достаточного количества правдоподобных дистракторов,
традиционно их используют четыре варианта. В вопросах-классификациях дистракторов - элементов классификации -может быть гораздо больше четырех значений, что, в свою очередь, позволяет корректно и грамотно спроектировать вопрос и увеличить его сложность. Контрольные вопросы и задания должны обладать определенным уровнем сложности или трудности, что является важнейшим системообразующим признаком тестового задания [1, 2, 3, 5, 8].
Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Фасет - это форма записи возможных параллельных вариантов задания [1, 3, 4, 5]. На рис. 1 представлена фасетная классификация, которая позволяет формировать массив параллельных вопросов - фасеток для каждой стойки каратэ-до. Из фасеток создается тематико-фасетная категория в банке вопросов, из которой при опросе случайным образом выбирается один вопрос, то есть вопросы в тесте будут постоянно разные.
Вопросы и задания эссе. Вопросы эссе относятся к вопросам открытого типа. Эти вопросы требуют развернутого ответа и каких-либо пояснений. Действует модель тестирования как при устном опросе.
В тестологии, утверждает А. Н. Майоров [5], различают два основных варианта таких вопросов: 1) студент полностью формулирует ответ на поставленный вопрос; 2) студенту задается начало ответа и он должен завершить его. А. Н. Майоров отдельным направлением выделяет практические задания, отмечая их эффективность при тестировании, с одной стороны, а с другой стороны - высокую трудоемкость реализации.
В среде Moodle представлен электронный шаблон эссе, который весьма технологичен, позволяет реализовывать в открытой форме любые теоретические вопросы и практические задания. Студенту задается вопрос в электронном виде и он в окне для ответов самостоятельно, в произвольной форме формулирует и набирает текст ответа. Преподаватель проверяет задание вручную и выставляет относительную оценку от 0 до 1. При этом Moodle оценку преподавателя сразу же включает в общую автоматизированную процедуру электронного тестирования.
Рис. 1. Вопрос-классификация по основным стойкам в каратэ-до в шаблоне «множественный выбор» по дисциплине «Единоборства»
Рис. 2. Задание эссе по дисциплине «Информационные технологии в физической культуре и спорте»
№12 • 2021 Декабрь | December
http://www.teoriya.ru
КОНСУЛЬТАЦИИ
>
.с CL ч-
о ш
Рис. 3. Структурированный вопрос эссе по дисциплине «Единоборства», представленный в виде подвопросов, с вариантами ответов на него студентом
Требования к вопросам эссе: 1) вопросы не должны быть объемными, громоздкими; 2) вопросы должны быть понятными и однозначными, формулироваться на изученном учебном материале; 3) при обучении преподаватель обязательно должен указывать на ключевые моменты, ключевые слова в определениях, формулировках, понятиях, потому что по этим ключевым моментам формируется относительный балл; 4) в помощь студенту вопрос может разбиваться на небольшие задания - подвопросы.
На рис. 2 представлено задание в форме эссе, в котором студент должен описать решение задачи и дать ответ. На рис. 3 показан структурированный вопрос эссе, состоящий из нескольких подвопросов, что делает такое задание более понятным и конкретным.
Система оценивания. В системе электронного тестирования (e-testing) и в среде Moodle используется несколько шкал оценивания: дихотомическая оценка выполнения задания (для вопросов на рис. 1 и рис. 2), то есть за правильный ответ присваивается 1 балл, а за неправильный ответ -0 баллов; политомическая оценка выполнения задания (для вопроса на рис. 3), то есть в этом случае за ответ может выставляться любая оценка в пределах 0...1 баллов. Далее полученный результат переводится в 100-бальную и в традиционную 5-балльную системы.
Выводы. Дистракторный анализ по В. С. Аванесову показывает высокий уровень качества вопросов-классификаций. Тестовые задания эссе действуют как при устном опросе, заставляют студента вдумываться и анализировать вопрос, не просто выбирать или угадывать ответ, а самостоятельно формулировать и обосновывать решение. При этом трудоемкость и длительность процедуры электронного оценивания лишь немного увеличивается.
Применяемые технологии фасетной классификации и эссе улучшают объективность и качество тестовых заданий, увеличивают банк вопросов по дисциплинам и эффективность электронного тестирования в целом.
Литература
1. Аванесов В.С. Применение тестовых форм в е-!еагп1пд с проведением дистракторного анализа [Электронный ресурс] /
В.С. Аванесов // Образовательные технологии. - 2013. - № 3.
- С. 125-135. - Режим доступа: URL: https://cyberleninka.ru/
article/n/primenenie-testovyh-form-v-e-learning-s-provedeniem-distraktornogo-analiza (дата обращения: 20.03.2021). Аванесов В.С. Теория и методика педагогических измерений [Электронный ресурс] / В.С. Аванесов // Материалы публикаций в открытых источниках и интернет. - 2005. - 98 с. - Режим доступа. - URL: http://www.charko.narod.ru/tekst/biblio/Avanesov_ Teoriya_i_metod_ped_izmer.pdf (дата обращения: 20.03.2021). Дмитриев О.Б. E-testing: проблемно-структурное проектирование и практика применения в физкультурном образовании / О.Б. Дмитриев // Теория и практика физической культуры. -2018. - № 12. - С. 15-17.
Ерофеев А.А. Использование параллельных и фасетных заданий в системе дистанционного обучения Moodle [Электронный ресурс] / А.А. Ерофеев, О.А. Сычев // Открытое образование. - 2013. - № 3. - С. 42-46. - Режим доступа. - URL: https:// cyberleninka.ru/article/n/ispolzovanie-parallelnyh-i-fasetnyh-zadaniy-v-sisteme-distantsionnogo-obucheniya-moodle (дата обращения: 20.03.2021).
Майоров А.Н. Теория и практика создания тестов для системы образования (Как выбирать, создавать и использовать тесты для целей образования). - М.: Интеллект-центр, 2001. - 296 с. Маркова О.А. Анализ форм представления графических тестовых заданий [Электронный ресурс] / О.А. Маркова, Г.У. Матушанский // Вестник КГЭУ, 2011. - № 4. - С. 111-120. - Режим доступа. -URL: https://cyberleninka.ru/article/n/analiz-form-predstavleniya-graficheskih-testovyh-zadaniy (дата обращения: 20.03.2021). Петров П.К. Особенности создания и использования дистанционных курсов по спортивно-педагогическим дисциплинам в системе электронного обучения / П.К. Петров // Теория и практика физ. культуры. - 2018. - № 12. - С. 12-14.
Полунин Н.В. Тестовый контроль - инновационный подход к оценке качества знаний студентов [Электронный ресурс] / Н.В. Полунин, И.П. Левчук, Н.Л. Шиманский и др. // Вестник РГМУ. - 2013. - №1. - С. 66-69. - Режим доступа. - URL: https:// vestnik.rsmu.press/archive/2013/1/15/content?lang=ru (дата обращения: 20.03.2021).
References
Avanesov V.S. Primenenie testovykh form v e-learning s provedeniem distraktornogo analiza [Application of test forms in e-learning with distraction analysis]. [Electronic resource] Obrazovatelnye tekhnolo-gii. 2013. No. 3. pp. 125-135. Available at: https://cyberleninka.ru/ article/n/primenenie-testovyh-form-v-e-learning-s-provedeniem-distraktornogo-analiza (date of access: 20.03.2021). Avanesov V.S. Teoriya i metodika pedagogicheskikh izmereniy [Theory and methodology of pedagogical measurements]. [Electronic resource] Publications in open sources and Internet. 2005. 98 p. Available at: http://www.charko.narod.ru/tekst/biblio/Avanesov_ Teoriya_i_metod_ped_izmer.pdf (date of access: 20.03.2021). Dmitriev O.B. E-testing: problemno-strukturnoe proektirovanie i praktika primeneniya v fizkulturnom obrazovanii [E-testing: problems-focused design and application practice in physical education]. Teoriya i praktika fizicheskoy kultury. 2018. No. 12. pp. 15-17. Erofeev A.A., Sychev O.A. Ispolzovanie parallelnykh i fasetnykh zadaniy v sisteme distantsionnogo obucheniya Moodle [parallel and faceted tasks in Moodle distance learning system]. [Electronic resource] Otkryitoe obrazovanie. 2013. No. 3. pp. 42-46. Available at: https://cyberleninka.ru/article/n/ispolzovanie-parallelnyh-i-faset-nyh-zadaniy-v-sisteme-distantsionnogo-obucheniya-moodle (date of access: 20.03.2021).
Mayorov A.N. Teoriya i praktika sozdaniya testov dlya sistemy obra-zovaniya (Kak vybirat, sozdavat i ispolzovat testy dlya tseley obra-zovaniya) [Theory and practice of test design for education system (How to choose, create and use tests for educational purposes)]. Moscow: Intellekt-tsentr publ., 2001. 296 p.
Markova O.A., Matushanskiy G.U. Analiz form predstavleniya gra-ficheskikh testovykh zadaniy [Analysis of forms of presentation of graphical test items]. [Electronic resource] Vestnik KGEU, 2011. No. 4. pp. 111-120. Available at: https://cyberleninka.ru/article/n/ analiz-form-predstavleniya-graficheskih-testovyh-zadaniy (date of access: 20.03.2021).
Petrov P.K. Osobennosti sozdaniya i ispolzovaniya distantsionnykh kursov po sportivno-pedagogicheskim distsiplinam v sisteme elek-tronnogo obucheniya [Online training courses: application experience in sport specialist training disciplines]. Teoriya i praktika fiz. kultury. 2018. No. 12. pp. 12-14.
Polunin N.V., Levchuk I.P., Shimanskiy N.L. et al. Testovy kontrol -innovatsionny podkhod k otsenke kachestva znaniy studentov [Test control - innovative approach to students' knowledge quality rating]. [Electronic resource] Vestnik RGMU. 2013. No. 1. pp. 66-69. Available at: https://vestnik.rsmu.press/archive/2013/1/15/content?lang=ru (date of access: 20.03.2021).
http://www.teoriya.ru
№12* 2021 Декабрь | December
