CC BY
28Оценка качества тестовых материалов на основе семантического анализа
Самохина Виктория Михайловна,
кандидат педагогических наук, заведующая кафедрой «Математика и информатика», Технический институт (филиал) ФГАОУ ВО «Северо-Восточный федеральный университет имени М.К. Аммосова» E-mail: vsamokhina@bk.ru
Корниненко Диана Сергеевна,
студент кафедры «Математика и информатика», Технический институт (филиал) ФГАОУ ВО «Северо-Восточный федеральный университет имени М.К. Аммосова» E-mail: artemidaamadinart@gmail.com.
Контроль знаний и умений обучающихся является важной частью образовательного процесса и осуществляется зачастую посредством тестирования, позволяющего объективно подводить итоги и сопоставлять результаты. Однако возникает проблема оценки качества тестовых материалов для проверки знаний. Наряду с определением валидности, надежности и эффективности тестов следует проводить оценку читабельности, то есть легкости восприятия тестовых заданий. В статье приведены основные методы для определения читабельности, и сделан вывод, что данный процесс сводится к использованию метода лексико-синтаксических шаблонов, которые позволяют построить семантическую модель текста. Сформулированы требования к содержанию тестовых заданий и проанализированы ошибки, допускаемые преподавателями при их составлении. Рассмотрен процесс определения качества тестовых заданий в программе «Анализатор», которая создана для автоматизации анализа и оценки качества тестовых материалов. Обозначены критерии, по которым осуществляется проверка. Рекомендации, сформулированные в программе по результатам оценки, могут быть использованы для повышения качества тестового материала.
Ключевые слова: тестирование, тестовые материалы, оценка качества, читабельность, лексико-синтаксические шаблоны.
Вполне очевидно, что контроль знаний и умений обучающихся является неотъемлемой и очень важной частью образовательного процесса, однако возникает проблема оценки качества материалов для проверки знаний. Ряд ученых высказывает мнение, что контроль знаний перспективно осуществлять в виде тестирования, поскольку оно позволяет более объективно подводить итоги и сопоставлять результаты обученности студентов. В последнее время различные формы тестирования приобрели особую актуальность в связи с дистанционным форматом обучения. Следовательно, необходимы качественные методы для анализа тестовых материалов на валидность, надежность и эффективность [1,3,5].
Кроме того, тестовые материалы, в основном, содержат текстовую информацию, поэтому стоит также оценить их читабельность (легкость восприятия текста). Существует специализированные онлайн-сервисы для оценки читабельности (Главред: [сайт]. URL: https://glvrd.ru, Advego: [сайт]. URL: https:// advego.com/text/seo/, Тургенев: [сайт]. URL: https:// turgenev.ashmanov.com/, Простым языком: [сайт]. URL: http://ru.readability.io/ и др.). Также можно выделить следующие методы оценки читабельности [6]:
• индекс туманности Ганнинга
((средняя длина предложения + 0,4 (среднее число сложных слов)), анализирует возрастную категорию;
• формула Флэша
(206835 - 1,015 (средняя длина предложения) -
84,6 (средняя длина слова в слогах)) применяется для анализа юридических договоров;
• индекс Флеша-Кинкейда
(0,39 (средняя длина предложения) + 11,8 (средняя длина слова в слогах) - 10,59) используется для оценки уровня образования (начальное, среднее, высшее);
• индекс Колемана-Лиау
5,89 •
кол-во символов кол - во слов
+30nкол-во предложений_15 8 кол - во слов ' ,
применяется для общей оценки читабельности; формула Маклаулина «SMOG» Для прогнозирования понимания текста формула FORCAST
(25 - 0,0667 (кол-во слов) (кол-во односложных слов)
может быть использован для оценки понятности текста для взрослой аудитории.
сз о со -а
А —i о
сз т; о m О от
З
ы о со
о с
и
Как видно из приведенных формул оценка «читабельности» текста сводится к использованию метода лексико-синтаксических шаблонов (характерные выражения, словосочетания и обороты), которые позволяют построить семантическую модель текста. Стоит отметить, что данные методы, в основном ориентированы на англоязычные тексты, объемом от 100 слов. Тогда как тестовые задания чаще всего содержат всего 10-25 слов, поэтому указанные методики должны быть адаптированы, а критерии оценки расширены с учетом специфики тестов.
В соответствии с этим были сформулированы следующие требования к содержанию и структуре тестового материала.
1. Задание теста должно быть представлено в повествовательной форме, без вопросительных слов (как, какой, почему и т.п.) и символа «?».
2. Задание должно быть простым с точки зрения синтаксиа, без двойных отрицаний.
3. Количество слов в задании не должно быть больше 15.
4. Рекомендуется от четырех до десяти вариантов ответа.
Рассмотрим ошибки, часто допускаемые разработчиками тестов, поставив им в соответствие основные положения тестологии, указывая при этом возможность автоматической коррекции ошибок (таблица 1).
Таблица 1. Ошибки, допускаемые авторами тестов
Положения тестологии Ошибки авторов Возможность автоматической коррекции
Формирование содержательной части
Утвердительная форма с неизвестным Повелительная или вопросительная форма Возможна частично
Принцип неотрицательности Использование двойных отрицаний Возможна частично
Краткость (не более 10-12 слов) Нарушается Возможна частично
Логическая форма высказывания Формулировка вопроса четко не определена Не возможна
Принцип подбора ответов
Разработка эффективных дистракторов Не продуманы Эмпирический анализ по результатам тестирования
Определение количества вариантов ответов Возможность угадывания Возможна
Исключение ответов типа: - нет правильных вариантов ответа - все ответы верны Нарушается Возможна частично
Проведенный анализ показал, что некоторые ошибки (краткость формулировки, ограничение по количеству ответов и т.п.), допускаемые разра-
ботчиками тестов, могут быть исключены на этапе ввода тестового задания.
С целью автоматизации анализа и оценки качества тестовых материалов, разработанных преподавателями ТИ(ф)СВФУ, был создан программный продукт «Анализатор», предназначенный для выявления технических и технологических нарушений в тестовых заданиях (рис. 1).
При нажатии кнопки «Анализ ТМ» запускается проверка документа на соответствие требованиям с помощью лексико-синтаксических шаблонов. В первое тестовое поле выводится фрагмент текста, содержащий нарушение, во второе - суть нарушения. Текст с нарушением можно отредактировать и, при нажатии на кнопку «Изменить», в документе произойдет замена фрагмента текста с нарушением на отредактированный. Если же редактирование не целесообразно, следует нажать кнопку «Пропустить».
Анализатор Фрагмент текста, содержащего нарушения
Какое уравнение из представленных пвлпетсп уравнением Бернулли?
Открыть Файл Справка
Анализ ТМ Оценка Правописание Выход
Суть нарушении:
Возможно, ТЗ составлено в вопросительной Форме. Задание должно быть сформулировано в поветсвовательной Форме, вопросительные слова не используются.
Изменить Пропустить
Выберите дисциплину: Технические дисциплины (мат.анализ, алгебра и геометрии, Физи ■
т Н2 НЗ Н4 Н5 Н6 Н7
Базовые значении 6.22 3.12 22.Э 3.93 ; 1.12
Средние значении по ТЗ 2,81 2,07 3,49 3.69 1.44 ; 0.07
Относительные показатели 2,21 1.51 2~ 1.08 0.08 ; 16
Подробнее
Рис. 1. Анализ тестового задания
С учетом методических требований, предъявляемых к формулировкам ТЗ, и технологических особенностей, связанных с выбором формы отдельных ТЗ, были выбраны следующие единичные показатели качества, позволяющие охарактеризовать свойства формулировок тестового задания [6]: количество вариантов ответа, количество ложных ответов в вопросах с выбором варианта ответа (дистракторов), количество слов в задании, средняя длина слова (в слогах), количество знаков препинания, математических символов и цифр. Определение весовых коэффициентов выполнялось на основе работы [7].
При нажатии кнопки «Оценка» производится вычисление значений данных критериев (представленных как R1, R2, R3, R4, R5, R6, R7), полученные значения представлены на рис. 2.
Все расчеты ведутся по следующим правилам: выбирается отрывок текста (например, 100 слов), далее подсчитывается количество слов в предложении, при этом, если предложение сложносочиненное, то оно учитывается как два предложения,
числа и даты засчитываются как одно слово, имена собственные при подсчете не учитываются.
■3 Значения критериев Til — I
Значения критериев для каждого задания из тестового материала
N-T3
R1
R2
R3
R4
R5
R6
1 3 2 2 ; ;
2 ; с 7 4,29 1 ;
3 ^ 3 5 3.3 3 ;
^ 6 3 Э 2.61 1 ;
5 ; 0 12 3.83 ; ;
6 ^ 3 10 3.15 3 ;
7 ; 0 8 4.88 1 ;
3 ; 0 12 3.54 1 ;
9 3 ^ 4.88 2 ;
Базовые значения
R1 R2 R3 R4 R5 R6 R7
Базовые значении 6.22 3.12 22,9 3,98 С.11 ; 1.12
Базовые показатели качества
Минимальное значение: -2,11
Максимальное значение: 127.73 Показатель качества:
2.28
Качество тестового материала соответствует нормам, но ТМ является легким. Просмотрите показатели, сильно отличающиеся от базовых, и отредактируйте материал.
Рис. 2. Форма «значение критериев»
Таким образом в результате рассчитывается показатель качества данного тестового материала, на основе которого при сравнении с базовыми показателями формируется вывод о качестве ТЗ и даются рекомендации по его улучшению. В случае, если рассчитанные показатели в задании сильно отличаются от базовых значений, тестовый материал нужно отредактировать. В представленном примере показатель качества 2,28 означает, что тестовый материал соответствует установленным нормам и позволяет объективно оценить уровень знаний.
Литература
1. Аванесов, В.С. Композиция тестовых заданий / В.С. Аванесов. - М.: Центр Тестирования, 2002. - 240 с.
2. Аванесов, В.С. Форма тестовых заданий: Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей / В.С. Аване-сов. - М.: Центр тестирования, 2005. - 156 с.
3. Майоров, А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования)/ А.Н. Майоров. - М.: «Интеллект-центр», 2001. - 296 с.
4. Михайлычев, Е.А. Дидактическая тестология / Е.А. Михайлычев. - М.: Народное образование, 2001. - 432 с.
5. Челышкова, М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие / М.Б. Челышкова. - М.: Логос, 2002.
6. Окладникова С.В. Модель комплексной оценки читабельности тестовых материалов [текст] / С.В. Окладникова//Прикаспийский журнал: управление и высокие технологии № 3(11) 2010.
7. Окладникова С.В. Формирование системы весовых коэффициентов интегрального критерия, оценивающего фактическую сложность формулировок тестовых заданий/ С.В. Окладникова // Вестник компьютерных и информационных технологий № 6, 2009.
QUALITY EVALUATION OF TEST MATERIALS BASED ON SEMANTIC ANALYSIS
Samokhina V.M., Kornienko D.S.
Technical Institute (branch) "North-Eastern Federal University named after M.K. Ammosov"
The control of students' knowledge and skills is an important part of the educational process and is often carried out through testing, which allows objectively summarizing and comparing the results. However, there is a problem of assessing the quality of test materials for testing knowledge. Along with determining the validity, reliability and effectiveness of tests, an assessment of readability, that is, the ease of perception of test tasks, should be carried out. The article presents the main methods for determining readability, and concludes that this process is reduced to using the method of lexical and syntactic templates that allow you to build a semantic model of the text. The requirements for the content of test tasks are formulated and the mistakes made by teachers in their preparation are analyzed. The process of determining the quality of test tasks in the program "Analyzator", which is designed to automate the analysis and evaluation of the quality of test materials, is considered. The criteria by which the verification is carried out are indicated. The recommendations formulated in the program based on the evaluation results can be used to improve the quality of the test material.
Keywords: testing, test materials, quality assessment, readability, lexical and syntactic templates.
References
1. Avanesov, V.S. Composition of test tasks / V.S. Avanesov. - M.: Testing Center, 2002. - 240 p.
2. Avanesov, V.S. The form of test tasks: A textbook for teachers of schools, lyceums, teachers of universities and colleges / V.S. Avanesov. - M.: Testing Center, 2005. - 156 p.
3. Mayorov, A.N. Theory and practice of creating tests for the education system. (How to choose, create and use tests for educational purposes)/ A.N. Mayorov. - M.: "Intelligence Center", 2001. - 296 p.
4. Mikhailychev, E.A. Didactic testology / E.A. Mikhailychev. - M.: National education, 2001. - 432 p.
5. Chelyshkova, M.B. Theory and practice of designing pedagogical tests: Textbook / M.B. Chelyshkova. - M.: Logos, 2002.
6. Okladnikova S.V. Model of comprehensive assessment of the readability of test materials [text] / S.V. Okladnikova//Caspian Journal: Management and High Technologies No. 3(11) 2010.
7. Okladnikova S.V. Formation of a system of weighting coefficients of an integral criterion evaluating the actual complexity of test task formulations/ S.V. Okladnikova // Bulletin of Computer and Information Technologies No. 6, 2009.
сз о
CO "O
1=1 А
—I
о
сз т; о m О от
З
ы о со
