CC BY
17
УДК 004.42:378.091.28
ВВ. ЛАЗУРИК
1нститут радiофiзики i електронiки НАН Украши iMeHi А.Я. Усикова, Харгав
В.М. ЛАЗУРИК, Ю.А. ШАПТАЛА
Харкiвський нащональний унiверситет iMeHi В.Н.Каразша
СИМЕТРИЧНА ТА АСИМЕТРИЧНА СИНОН1МИЗАЦ1Я ЗАВДАНЬ ПРИ КОМП'ЮТЕРНОМУ ТЕСТУВАНН1 З ВИКОРИСТАННЯМ ПАКЕТУ TSHELL
Робота присвячена no6ydoei уткальних Ha6opie завдань для кожного комп'ютерного тестування. Показан алгоритми та засоби реалгзаци тестових батарей у nакетi Tshell. Обговорюються можливостi застосування кодування при пiдготовцi бази завдань.
Ключовi слова: комп'ютерне тестування, тестове завдання, синонiми
В.В. ЛАЗУРИК
Институт радиофизики и электроники НАН Украины имени А.Я. Усикова, Харьков
В.М. ЛАЗУРИК, Ю.А. ШАПТАЛА
Харьковский национальный университет имени В.Н. Каразина
СИММЕТРИЧНАЯ И АСИММЕТРИЧНАЯ СИНОНИМИЗАЦИЯ ЗАДАНИЙ ПРИ КОМПЬЮТЕРНОМ ТЕСТИРОВАНИИ С ИСПОЛЬЗОВАНИЕМ ПАКЕТА TSHELL
Работа посвящена формированию уникальных наборов заданий для каждого компьютерного тестирования. Показаны алгоритмы и способы реализации тестовых батарей в пакете Tshell. Обсуждаются возможности применения кодирования при подготовке базы заданий.
Ключевые слова: компьютерное тестирование, тестовое задание, синонимы
V.V. LAZURIK
A.Ya.Usikov institute of radiophisics and electronics, Kharkiv
V.M. LAZURIK, Ju.A. SHAPTALA
V.N. Karasin Kharkiv National University
SYMMETRIC AND ASYMMETRIC SYNONYMIZATION OF TASKS AT COMPUTER TESTING WITH USE OF PACKAGE TSHELL
Work is devoted to construction of unique task sets for each computer testing. Algorithms and ways of realization of test batteries in package Tshell are shown. Opportunities of coding of tasks are discussed.
Keywords: computer testing, the test task, synonym.
Постановка проблемы
Прикладная теория научной педагогики - педагогические измерения занимается вопросами разработки тестов для объективного контроля подготовленности учащихся. Педагогические измерения позволяют отобразить в численном виде уровни проявления качеств личности [1, 2]. Компьютерное тестирование — современная форма педагогического измерения, активно используемая в образовательном процессе. Эта форма контроля имеет много достоинств: позволяет строить разные модели тестирования, быстро пополнять и редактировать банк тестовых заданий, устранить фактор субъективности при проверке тестов, сократить временные затраты при проведении тестирования, обладает обратной связью и хорошим инструментарием для оценки и анализа результатов контроля и т.д.
Согласно классической теории педагогических измерений конструирование теста включает несколько этапов, на каждом из которых оценивается валидность тестовых заданий. Невалидные, т.е. не пригодные для поставленной цели задания, из теста извлекаются. Каждый апробационный этап проводится на разных выборках испытуемых [3, 4]. Сконструированный тест может использоваться неоднократно в разные годы. Уже после первого этапа формулировки тестовых заданий и значения правильных ответов становятся известными испытуемым. При наличии современной компьютерной техники создание базы данных тестовых заданий с правильными ответами и простого приложения для поиска не составляет большого труда для студентов компьютерных специальностей. Использование такой поисковой системы в мобильных устройствах формирует новый тип современных шпаргалок.
Работа посвящена описанию нескольких методов, которые могут быть применены для обеспечения уникальности формулировок тестовых заданий при каждом тестировании.
Пакет TShell
В Харьковском национальном университете имени В.Н. Каразина для компьютерного мониторинга качества образования и определения рейтингов студентов в учебном процессе было разработано и используется программное обеспечение TShell [5, 6]. TShell обладает гибкостью, многофункциональностью, легко перестраивается, предоставляет широкие возможности для формализации построения моделей педагогических измерений [7, 8], а также развитые средства обработки результатов тестирования [9]. Предусмотрено построение заданий всех типов, используемых в педагогических измерениях. При проведении тестирования из общей базы тестовых заданий динамически формируются индивидуальные для каждого испытуемого тестовые батареи одинаковой степени сложности, варианты ответов в каждом задании перемешиваются. Для хранения данных TShell использует реляционную СУБД MySQL. На рис.1. изображена часть схемы базы данных тестовых заданий. Поскольку реляционная модель данных предполагает атомарные значения полей, для хранения векторных значений поля quest[], right_asw[], answ[] имеют тип данных text. При работе с ними в PHP приложении используется метод сериализации данных.
Рис.1. Часть схемы базы данных тестовых заданий
Цель исследования
Работа посвящена исследованию, описанию и реализации методов рерайтинга формулировок тестовых заданий. Рерайтинг - переписывание исходного текста с сохранением тематического содержания текста. Для этого используют несколько методов: словосочетания и целые предложения перефразируют с помощью замены слов синонимами, меняют абзацы местами, изменяют стиль существующего текста. Для подбора синонимов к словам в тексте может быть использована специальная программа - синонимайзер. Автоматические синонимайзеры переписывают текст без участия пользователя, ручные - предлагают пользователю выбрать синонимы из списка. Текст, прошедший рерайт с использованием автоматического синонимайзера, требует обязательной вычитки, т.е. применения «ручной» синонимизации.
Авторы рассматривали возможность разработки программного обеспечения для автоматического рерайтинга формулировок тестовых заданий, синонимизацию на лету для компьютерного тестирования с использованием TSheИ [10]. Основное внимание уделялось тому, чтобы при использовании синонимайзера текст не требовал вычитки.
Два способа синонимизации тестовых заданий
Несимметричная синонимизация. Задан набор конкретных терминов и выражений, подлежащих замене, и набор синонимов к ним с указанием вероятности замены. Вероятность может быть связана с частотой употребления синонима в разговорной речи. Замену можно делать по языковым правилам. Предположим, выражение ["Какие утверждения верны"] присутствует в наборе заменяемых терминов. Набор синонимов к этому выражению может выглядеть, как показано на рис.2. Алгоритмы несимметричной
[ ["Отметьте правильные высказывания", 0.25] ["Т-1то, по Вашему мнению, верно", 0.25]
["Из перечисленных ниже вариантов ответов выберите правильные", 0.25] ["Какие утверждения верны ",0.25] ]
Рис.2. Синонимы к выражению «Какие утверждения верны»
синонимизации легко реализуются. Можно выбирать одно выражение, подлежащее замене, после чего просматривать всю батарею тестовых заданий и заменять его случайным образом на синонимы с указанной вероятностью замены. Можно использовать другой алгоритм: выбирать одно тестовое задание, анализировать его на наличие всех выражений, подлежащих замене, преобразовывать задание, после чего переходить к работе со следующим заданием. С точки зрения реализации оба алгоритма равнозначны.
Симметричная синонимизация. В этом случае нет выделенных выражений, подлежащих замене, все синонимы равноправны с вероятностью их употребления в разговорной речи (рис.1). При реализации этого метода могут возникнуть проблемы. Во-первых, можно после преобразования получить неизмененную формулировку, когда найденное предложение заменили на другое, а потом уже это изменили на первое. Во-
вторых, в одном предложении можно получить две одинаковые замены. Это не всегда неправильно, такой оборот речи призван усилить эффект, он подчеркивает значимость, а это требует ручной проверки. Для того чтобы избежать перечисленных проблем можно, например, реализовать алгоритм, когда найденное в списке синонимов выражение заменяется на себя и следующие далее по списку. Так можно избежать цикловых повторов. Но в этом случае необходимо проводить синонимизацию тестового задания полностью по всем синонимам и только после этого переходить к следующему заданию.
Реализация синонимайзера для TShell
На сегодня для TShell реализован несимметричный синонимайзер. На рис.3. изображена часть схемы базы данных с таблицей «smonym», общей для всех типов заданий.
2íl
О 1
■ ¡did n3tne_d
task Г
"о "в 1 Eg Bg t
¡d_m / id_t
i d_d id_m
number nurnber_t
name_rn ■vs
quest[] right_asw[]
answ[]
sinonym
о 1
г
pninary_text s¡nonyms[]
Рис.3. Таблица синонимов в схеме базы данных тестовых заданий
Поле «sinonyms» представляет собой двумерный массив синонимов и их вероятностей (рис.2.). Поле «primary_text» содержит выражение, подлежащее замене. Для работы с несимметричным синонимайзером реализовано Web приложение, которое позволяет сформировать банк возможных выражений и синонимов для замены, а также реализует графический интерфейс подготовки тестовых заданий с учетом наличия синонимов. При подготовке задания приложение предоставляет возможность в планарном тексте формулировки задания выделить выражение, подлежащее замене. Если для него уже создан список синонимов, он будет открыт, если не создан, предоставляется возможность его создать. Список может быть откорректирован, дополнен, уничтожен. При уничтожении списка синонимов, связанного с указанным для замены выражением, выделение в тексте снимается.
На рис.4. показано тестовое задание, преобразованное синонимайзером для трех тестовых батарей.
Укажите основные операции реляционной алгебры, в приведенном списке выделите основные операции Какие Вы знаете основные операции реляционной алгебры, предложенные «одном; реляционной алгебры, предложенные Коддом: предложенные коддом:
Отметьте все правильные ответы Ввести ответ | »
Отметьте все правильные ответы Б веста ответ I »
Отметьте все правильные ответы « I Ввести ответ I »
Рис.4. Три варианта одного тестового задания, сгенерированные синонимайзером
Для симметричного синонимайзера таблица «sinonym» может быть заменена на «sinonym_s». На рис.5 показана структура таблицы в окне создания индекса. Поле «sinonyms» такое же, как и в случае несимметричного синонимайзера (рис.2.). А поле «code» содержит уникальный код набора выражений
Рис.5.Создание индекса для таблицы «sinonym_s»
синонимов из поля «sinonyms». При подготовке задания в базу данных тестовых заданий Web приложение заносит не выделенный преподавателем фрагмент текста, а его код. При проведении тестирования сформированная для испытуемого индивидуальная тестовая батарея обрабатывается синонимайзером, который подставляет в формулировку задания синоним, выбранный из списка под указанным кодом.
Выводы и перспективы
Оба предложенных в работе способа синонимизации преобразуют тестовые задания в уже сформированном для каждого испытуемого индивидуальном наборе заданий. В этом случае даже, если двум испытуемым попалось одно и то же задание, у каждого из них формулировки заданий будут отличаться. Синонимизация позволяет существенно повысить уникальность набора тестовых заданий, предоставляемых каждому тестируемому, усложняет формализованный поиск правильных ответов задания, увеличивает базу тестовых заданий во много раз. Все перечисленное приближает формальное компьютерное тестирование к живому разговорному общению студента с преподавателем, не уменьшая тех достоинств, которые предоставляет компьютерная форма контроля знаний.
Планируется дальнейшая работа в области педагогических измерений, когда в каждой формулировке тестового задания выделяются основные, смысловые моменты и производится замена таких выражений на синонимы. В этом случае часть работы по смысловой замене должна быть выполнена преподавателем-экспертом. Следующим шагом «научим» синонимайзер создавать отрицательные формы заголовка задания.
Список использованной литературы
1. Нейман Ю. М., Хлебников В. А. Педагогическое тестирование как измерение. Ч.1. — М.: Центр тестирования МО РФ, 2002
2. Аванесов В.С. Item Response Theory. Основные понятия и положения. URL [Электронный ресурс] Режим доступа.: http://testolog.narod.ru/Theory59.html
3. Аванесов В. С. Композиция тестовых заданий. — М., Центр тестирования, 2002.
4. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. -М.: Логос, 2002. - С. 268 - 278
5. Васильева Л.В., Лазурик В.Т., Лазурик В.М., Рудичев Д.В. Комплексна комп'ютерна система монггоршгу та визначення рейгинпв у навчальному процеа // П'ята мiжнарожна науково-практична конференщя. — Херсон: Херсонський держ. ушверситет, 2009. — С. 36-37.
6. Васильева Л.В., Лазурик В.Т., Лазурик В.М., Пак 1.В. Комп'ютерний мотторшг контролю якосп освгти та ощнки знань студенпв. Проблеми сучасно! освгти : збiрник науково-методичних праць. Вип.2. — Харшв: ХНУ iменi В.Н.Каразша, 2011. — С. 7-18.
7. Лазурик В.В., Лазурик В.М. Построение моделей педагогических измерений в программе компьютерного тестирования Tshell. Вестник Херсонского Технического Университета — №2(45). 2012. - с.185-189.
8. Лазурик В.В., Лазурик В.М., Модели педагогических измерений для компьютерного тестирования с использованием пакета TSHELL (Харьков: Труды науч.-техн. конф. с межд. участием: 2012, с. 247).
9. Лазурик В.М., Подопригалова А.О. Система статистического анализа результатов компьютерного тестирования, полученных с использованием пакета TSHELL // Весник ХНТУ. -2013. - №2(47). - С. 276-280.
10. Лазурик В.В., Лазурик В.М. Синонимизация на лету тестовых заданий для компьютерного тестирования с использованием TShell // Науково-техшчна конференщя «1нформатика, математика, автоматика». - Суми : Сумський держ. ушверситет, 2015. - С. 97.
