CC BY
149
Куртасов А.М.1, Швецов А.Н.2
1 ФГБОУ ВПО «Вологодский государственный технический университет», аспирант,
akurtasov@gmail.com 2 ФГБОУ ВПО «Вологодский государственный технический университет», декан факультета заочного и дистанционного обучения, профессор, д. т. н., smithv@mail.ru
Метод автоматизированной генерации заданий для тестов контроля знаний из текстов учебных пособий
КЛЮЧЕВЫЕ СЛОВА:
Тестовый контроль знаний, учебное пособие, автоматизация, обработка текста.
АННОТАЦИЯ:
В докладе описан метод автоматизированной генерации тестовых заданий из текстов учебных пособий. Приведена процедура генерации, включающая в себя три основных этапа обработки текста: выделение предложений, фильтрация предложений, генерация вопросов. Рассмотрены возможности применения методов автоматического реферирования текста для фильтрации предложений. Описана экспериментальная система, позволяющая генерировать задания для системы дистанционного обучения Moodle. Приведены результаты предварительных экспериментов, проведенных с учебной литературой по ИТ-тематике. Выделены основные проблемы для последующего изучения.
Введение
Методы автоматической обработки текстов (АОТ) на естественном языке изучаются применительно к различным предметным областям, включая образование. К примеру, на всемирно известных научных конференциях ACL и NAACL, посвященных вопросам АОТ и компьютерной лингвистики, регулярно проводятся специализированные семинары на тему разработки программного обеспечения для сферы образования с применением АОТ: Innovative Use of NLP for Building Educational Applications («Инновационное применение АОТ для построения образовательных приложений»). Одной из актуальных задач, рассматриваемых исследователями в этой отрасли, является генерация тестов контроля знаний.
Актуальность этой задачи обусловлена тем, что разработка тестов контроля знаний представляет собой трудоемкий процесс, требующий существенных временных затрат от преподавателя. В настоящее время доступно множество программных средств, которые автоматизируют
проведение и оценку тестов, но обладают ограниченными возможностями композиции тестовых заданий. Например, популярная в российских вузах система дистанционного обучения Moodle предполагает наличие банка тестовых вопросов, который необходимо заполнять вручную. Система позволяет вносить элемент случайности в задания отдельного типа (т. н. вычисляемые вопросы), однако смысловое содержание заданий целиком и полностью определяется преподавателем. При этом очевидно, что содержание заданий во многих случаях отражает содержание учебных пособий и других текстовых источников, задействуемых в преподаваемом курсе. Отсюда вытекает предположение, что процесс извлечения информации из текста с целью композиции тестовых заданий по данному тексту можно автоматизировать.
Целью настоящей работы является разработка и исследование методов автоматической генерации тестовых заданий для контроля знаний путем извлечения фактов из текстов учебных пособий на русском языке.
Важно отметить разницу между двумя связанными терминами: тестовое задание представляет собой отдельное упражнение того или иного вида, входящее в состав теста, в то время как сам тест есть средство измерения знаний, готовое к применению в педагогической практике. В данной работе предполагается, что тест из отдельных тестовых заданий в конечном итоге компонуется преподавателем, который самостоятельно контролирует такие педагогические характеристики, как валидность получаемого теста, а рассматриваемый метод используется для генерации содержательной основы тестов, т. е. для наполнения банка вопросов некоторой тестирующей системы, такой как Moodle.
При исследовании метода решено ограничиться учебными пособиями, применяемыми при подготовке студентов по ИТ-специальностям на кафедре информационных систем и технологий Вологодского государственного технического университета (включая студентов, обучающихся по программам заочного и дистанционного образования).
1. Обзор существующих исследований
Идея автоматизированной подготовки тестов контроля знаний довольно широко изучается в научной литературе. В русскоязычных источниках некоторые авторы описывают подходы, обеспечивающие создание множества тестовых заданий посредством методов генерации текста. В работах А. П. Сергушичевой и А. Н. Швецова описан метод, который использует формальное описание процессов генерации тестовых заданий средствами канонических исчислений Э. Поста и позволяет формировать структуру и содержание прикладной тестовой системы, определяя лингвистическое содержание конкретных тестов с помощью контекстно-свободных грамматик. Одно из преимуществ метода состоит в том, что после составления грамматики он дает возможность легко порождать множество различных вариантов одного теста, используя в тесте более
сложные структуры, чем упомянутые выше вычисляемые вопросы Moodle. Сложность метода заключается в том, что преподавателю требуется самостоятельно составлять грамматики, а это может оказаться весьма трудоемкой задачей.
Отчасти схожий метод генерации заданий для компьютерного тестирования разработан В. В. Кручининым . Метод основан на шаблонах для символьных преобразований текста. Под шаблоном здесь понимается заготовка текста, в которой некоторые элементы могут изменяться в соответствии с заданным алгоритмом. Шаблоны, как и грамматики, требуется разрабатывать вручную.
Л. Г. Алсынбаевой [3] разработан метод автоматизированной генерации тестов по программированию, в котором продукционные формализмы используются для генерации не только текстовых фрагментов, но и фрагментов программ.
В и А. Н. Швецовым и соавторами предложен метод, позволяющий подойти к задаче с другой стороны. Основная идея метода заключается в том, что посредством АОТ из составляющих текст утвердительных предложений можно автоматически генерировать вопросы, которые затем будут отбираться, корректироваться и редактироваться преподавателем. Эта идея взята за основу настоящей работы.
Аналогичные методы описаны, в основном, в зарубежной литературе. Например, известен проект LISTEN (Literacy Innovation that Speech Technology ENables), разрабатываемый в Университете Карнеги—Меллон. Цель проекта — разработка обучающей системы, способной выводить на экран компьютера тексты и распознавать речь обучаемых при чтении этих текстов. Одним из компонентов проекта является система разработки тестовых заданий на заполнение пропусков .
Р. Митков и др. предложили подход к созданию системы, которая с помощью технологий АОТ генерирует тестовые вопросы из электронных документов, задействуя ресурсы онтологий. Важной особенностью системы является то, что она позволяет генерировать не только вопросы, но и неправильные, отвлекающие варианты ответов (дистракторы), семантически соответствующие тому или иному вопросу.
М. Хайлмен разработал систему, в которой, помимо прочего, реализован алгоритм статистического ранжирования порождаемых вопросов. Система осуществляет генерацию фактологических вопросов из материалов, которые выдаются обучаемым на чтение. На вход системы подается некоторый источник текста. Система сначала генерирует крупный набор потенциально полезных вопросов, а затем ранжирует их при помощи статистической модели качества вопросов.
Следует отметить, что перечисленные зарубежные проекты ориентированы на обработку англоязычных текстов, а методы обработки текста сильно зависят от конкретного языка. Поэтому исследование подобных методов для русскоязычных текстов представляет существенную
актуальность.
2. Схема работы системы
Основная идея предлагаемого метода заключается в создании системы, которая автоматически генерирует тестовые задания по электронным учебным пособиям и представляет их преподавателю, который, в свою очередь, может использовать их для компоновки теста и последующей оценки учащихся.
Экспорт
Обработка
Электр онные учебники
текста
Система
Генерация тестовых заданий
тестовых заданий
Moodle
Отбор
Редактирование
©
Cj
Преподаватель Рис. 1. Схема работы системы
На рис. 1 приведена базовая схема автоматизированной процедуры, лежащей в основе функционирования системы. Система принимает текст пособий на вход и формирует тестовые задания на выходе. Затем тестовые задания представляются преподавателю, которые выбирает и редактирует те задания, которые сочтет полезными.
3. Обработка текста
Метод основан на применении лингвистических процессоров, последовательно обрабатывающих текст учебного пособия, статьи или иного источника информации, на знание которого требуется проверить обучаемых.
Предварительным шагом обработки является преобразование форматированных файлов (Word, PDF, HTML) в обычный текст. На этом шаге выполняются такие операции, как определение кодировки символов и выделение текста среди прочего содержимого (отбрасываются изображения, таблицы, ссылки, элементы форматирования и т. п.).
Обработка текста выполняется в три основных этапа:
1. Выделение предложений. К тексту применяется графематический алгоритм, разбивающий его на отдельные предложения с учетом таких особенностей, как общепринятые сокращения и сокращения имен собственных.
2. Фильтрация предложений. Набор предложений фильтруется таким образом, чтобы по возможности сохранить в нем наиболее значимые (то есть соответствующие теме текста) предложения.
3. Генерация вопросов. Преобразование предложений либо в вопросы, либо в такие тестовые задания, в которых тестируемый должен заполнить пропуски.
3.1. Выделение предложений
В первом приближении предложение есть последовательность символов, заканчивающаяся на символы «.», «!» или «?», однако на практике следует учитывать возможность использования точки в качестве символа сокращения и другие нюансы [9]. В применяемом графематическом алгоритме используются предопределенные наборы общепринятых («г.», «гг.», «и т. д.») и распространенных («т. к.», «т. е.», «т. н.») сокращений, а также учитываются сокращения инициалов в именах собственных («А. С. Пушкин» и т. п.). В результате работы алгоритма получается массив предложений, которые в дальнейшем могут обрабатываться алгоритмами морфологического и синтаксического анализа.
3.2. Фильтрация предложений
Очевидно, что не каждое предложение исходного текста будет пригодно для генерации вопросов. Отсюда возникает идея фильтрации набора предложений. Процедура сокращения текстового документа с целью сохранения наиболее важных его частей называется автоматическим реферированием текста. В отрасли АОТ существует два основных подхода к автоматическому реферированию: составление выдержек (выделение характерных фрагментов — как правило, предложений) и формирование краткого изложения (аннотирование; порождение связной аннотации исходного текста). Второй подход реализуется труднее и требует применения более сложных методов лингвистического анализа. В данной задаче главной целью является удаление несущественных предложений (предложения в результате процедуры не обязательно должны составлять связный текст), поэтому целесообразно использовать первый подход.
Общий принцип составления выдержек состоит в том, что каждому предложению назначается оценка, характеризующая его важность, и в результирующий набор включаются предложения с наиболее высокими оценками. Начиная с 1950-х гг. были исследованы различные методы оценивания предложений, которые обычно применяются в сочетании: исключение коротких предложений; учет вводных конструкций (включаются предложения, содержащие слова «в заключение», «в результате» и т. п.); учет положения предложений в документе и абзаце; учет вхождений часто встречающихся терминов (путем взвешивания терминов методом TF-IDF); учет вхождений слов из заголовка текста [10].
Основные сведения о методах автореферирования применительно к данной задаче рассмотрены в [11]. В исследуемом экспериментальном
прототипе автореферирование пока не задействовано, однако на этапе генерации вопросов применяются некоторые правила, позволяющие отбирать предложения определенной структуры, например определения терминов. В дальнейшем планируется исследовать возможности доступных средств автореферирования, таких как MEAD и Open Text Summarizes
3.3. Генерация вопросов
В современных тестирующих системах применяются вопросы и упражнения различных типов: вопросы с множественным выбором, задания на сопоставление и т. п. В качестве отправной точки в настоящей работе исследуется наиболее примитивный тип вопросов: задания на заполнение пропусков. Затем метод можно будет расширить для генерации вопросов других типов.
В разработанной системе применяются различные алгоритмы синтеза вопросов. Эти алгоритмы отличаются глубиной анализа естественного языка, и их можно разделить на две группы.
Алгоритмы первой группы осуществляют тривиальный просмотр предложения с поиском слов или конструкций определенного вида и
заменяют найденную последовательность на пропуски (.........). К данной
группе относятся следующие алгоритмы: поиск сокращений (аббревиатур); поиск числовых значений; поиск определений; генерация из конструкций «если ..., то ...». Эти алгоритмы наиболее просто реализуются на практике, но часто возвращают неприемлемые результаты.
Алгоритмы второй группы выполняют построение вопроса по результатам морфосинтаксического анализа предложения. Сюда относятся следующие алгоритмы: вопросы к подлежащему (что?, кто?); вопросы к прилагательным (какой? и т. п.); вопросы к обстоятельству места (где?); вопросы к обстоятельству времени (когда?). Эти алгоритмы требуют наличия развитого морфологического словаря и синтаксического анализатора. В экспериментальном прототипе они реализованы с помощью библиотек из проекта «Автоматическая обработка текста» (http: //www.aot.ru/).
Для примера опишем алгоритм формирования вопроса к прилагательному. Блок-схема этого алгоритма представлена на рис. 2. В начале работы инициализируются переменные A, B, C: A — обрабатываемое предложение из массива текста; B — ответ на вопрос (присваивается пустая строка); С — готовое тестовое задание (по умолчанию равно A). Затем производится синтаксический анализ предложения А. Далее инициализируются вспомогательные переменные для работы алгоритма: flag = истина (сигнализатор найденного предложения для генерации задания), j = 0 (переменная цикла, номер текущего узла предложения). В переменную К записывается число узлов в анализируемом предложении. Затем начинается цикл с предусловием: пока j меньше либо равно (^-1) и flag = истина. В цикле последовательно разбирается каждый синтаксический узел предложения. Если в узле находится тип отношения
«свойство», то определяются грамматические характеристики зависимого слова, и, если это слово представляет собой прилагательное, то оно записывается в переменную В. Наконец, формируется вопрос с учетом формы прилагательного. Для закрытия цикла переменной flag присваивается значение ложь.
Рис. 2. Блок-схема алгоритма генерации вопросов к прилагательным
Важной проблемой, обнаруживаемой на этапе генерации вопросов, является выбор слова, к которому задается вопрос. В текущем виде система не учитывает этот фактор и генерирует вопросы ко всем возможным словам (то есть, в текущей реализации, заменяет их на пропуски). В результате преподавателю необходимо отбрасывать неподходящие вопросы вручную.
4. Примеры
Алгоритмы первой группы позволяют достаточно эффективно генерировать задания на основе определений терминов, например: Вход: Сеть — это группа из двух или более компьютеров, которые предоставляют совместный доступ к своим аппаратным или программным ресурсам.
Выход:......... (определение) — это группа из двух или более компьютеров,
которые предоставляют совместный доступ к своим аппаратным или программным ресурсам.
Система распознала предложение, содержащее определение, и заменила термин «Сеть» на пропуск. После пропуска вставлена подсказка в скобках: «определение».
В следующем примере показано, как алгоритмы первой группы обрабатывают числовые значения:
Вход: Как известно, классическая концепция экспертных систем сложилась в 1980-х гг.
Выход: Как известно, классическая концепция экспертных систем сложилась в.......(число)-х гг.
Система распознала предложение, содержащее число (1980), и заменила его на пропуск. После пропуска вставлена подсказка в скобках: «число». Преподаватель может отредактировать задание, удалив вводную конструкцию «Как известно» и переместив подсказку в более подходящее положение.
Далее приведен пример генерации вопросов к прилагательным (алгоритмы второй группы):
Вход: В отличие от перцептронов рефлекторный алгоритм напрямую рассчитывает адекватную входным воздействиям реакцию интеллектуальной системы.
Выход: В отличие от перцептронов.........(какой?) алгоритм напрямую
рассчитывает адекватную входным воздействиям реакцию интеллектуальной системы.
Посредством морфосинтаксического анализа система обнаружила прилагательное «рефлекторный», заменила его пропуском и добавила подсказку с учетом формы прилагательного: «какой?».
5. Эксперименты
На данный момент проведены лишь предварительные эксперименты без применения автореферирования [12]. В экспериментах был задействован эксперт, классифицирующий вопросы по трем категориям: пригодные,условно пригодные и непригодные.
Метод показал достаточно полезные результаты на конкретных учебных дисциплинах. Например, в случае учебного пособия по дисциплине «Интеллектуальные информационные системы» (авт. Швецов А. Н.) с помощью алгоритмов второй группы удалось получить 40 % заданий, пригодных для использования в тесте без изменения, и 22,8 % условно
пригодных заданий, из которых можно получить пригодные задания путем редактирования (т. е. больше половины полученных заданий оказались подходящими для составления тестов при той или иной степени участия преподавателя). Алгоритмы первой группы демонстрировали высокую полезность при анализе пособий, содержащих большое количество чисел, но в иных случаях часто оказывались малоэффективными (около 15 % пригодных заданий).
Для оценки временной эффективности алгоритмов они были испытаны на компьютерах различной аппаратной конфигурации (от нетбука до рабочей станции на базе процессора Core i3). Между алгоритмами первой и второй группы наблюдалась существенная разница: вследствие более высокой сложности алгоритмов второй группы для их работы часто требуется больше времени даже в случае меньшего размера пособия. Но в целом, на всех конфигурациях генерация заданий заняла относительно малое время: не более 2 мин. на загрузку пособия и не более 40 с на генерацию заданий тем или иным алгоритмом.
В целом, по результатам испытаний был сделан вывод, что эффективность генерации заданий будет изменяться от пособия к пособию и для достижения лучших результатов необходимо усовершенствовать подход таким образом, чтобы учитывалась семантика выделяемых из текста предложений.
Заключение. Дальнейшая работа
Рассмотренный метод представляется довольно перспективным в плане облегчения работы преподавателя при составлении тестов. На его основе могут быть построены программные средства для автоматизированной генерации тестовых заданий. В данной работе рассмотрен экспериментальный прототип, генерирующий задания для СДО Moodle по учебным пособиям ИТ-тематики.
Согласно предварительным экспериментам, разработанная система демонстрирует достаточно хорошие результаты в определенных случаях. Однако при изучении метода обнаружены некоторые сложные проблемы, требующие дальнейшего изучения [13]:
1.Отбор пригодных заданий может быть трудоемкой задачей для преподавателя. Выявлено два основных пути увеличения доли пригодных вопросов:
• реализовать автореферирование, чтобы задания генерировались из наиболее значимых по смыслу предложений;
• разработать метод для выбора подходящих слов, к которым задается вопрос (которые заменяются пропусками). Эта задача связана с проблемой фокуса в лингвистике.
2.Для сокращения необходимости в ручном постредактировании вопросов необходимо рассмотреть следующее:
• обрабатываемые предложения могут содержать анафору. Если
система в текущей реализации сгенерирует задание из такого предложения, то преподавателю нужно будет разрешить анафору вручную (например, заменить местоимения соответствующими существительными). В компьютерной лингвистике для этой цели применяются методы автоматического разрешения анафоры;
• может быть полезно реализовать автоматическое удаление вводных конструкций при генерации заданий.
З.Задания на заполнение пропусков довольно тривиальны по сравнению с другими видами тестовых заданий. Для перехода к вопросам с множественным выбором потребуются методы генерации дистракторов. 4.Необходимо провести более обстоятельные эксперименты:
• чтобы надлежащим образом оценить долю пригодных заданий, генерируемых системой, необходимо собрать обширный корпус текстов. Предполагается задействовать учебные пособия, применяемые на кафедре информационных систем и технологий университета;
• необходимо оценить эффективность метода относительно составления заданий преподавателями вручную (с учетом временных затрат и сложности получаемых заданий). Предполагается задействовать группу экспертов, которые будут аннотировать получаемые задания по пригодности.
Эти проблемы определяют главные направления для дальнейшей работы.
Литература
1. Сергушичева А. П., Швецов А. Н. Синтез интеллектуальных тестов средствами формальной продукционной системы / Математика, компьютер, образование. Вып. 10. Ч. 1 / Под ред. Г. Ю. Ризниченко. — Москва—Ижевск: Научн.-изд. центр «Регулярная и хаотическая динамика», 2003. — С. 310—320.
2. Кручинин В. В. Генераторы в компьютерных учебных программах. — Томск: изд-во Томск. ун-та, 2003. — 200 с.
3. Алсынбаева Л. Г. Система автоматизированной генерации тестовых заданий // Программные продукты и системы. 2009. № 4. 2.
4. Воронец, И. В., Швецов А. Н., Алешин В. С. Универсальная автоматизированная система тестирования знаний и самообучения, основанная на анализе естественно-языковых текстов учебных пособий / Пилотируемые полеты в космос. Сб. докл. Пятой международ. научн.-практ. Конф. 9—10 апреля 2003 г. — Звездный городок Моск. обл.: РГНИИЦПК, 2003. — С. 65—67.
5. Сергушичева А. П., Швецов А. Н. Гибридный подход к синтезу тестовых заданий в тестирующих системах / Математика, Компьютер, Образование: Сборник научных трудов. Выпуск 13. Том 1 / Под ред. Г. Ю. Ризниченко. Москва—Ижевск, R&C Dynamics, 2006. — С. 215—228.
6. Project LISTEN — School of Computer Science — Carnegie Mellon University. URL: http: //www.cs.cmu.edu/~listen/.
7. Mitkov R. et al. A computer-aided environment for generating multiple-choice test items // Natural Language Engineering. 2006. 12(2): 1—18.
8. Heilman M. Automatic Factual Question Generation from Text. — Carnegie Mellon University, 2011.
9. Riley M. D. Some applications of tree-based modeling to speech and language indexing. —
Proceedings of the DARPA Speech and Natural Language Workshop. — Stroudsburg, PA, USA, 1989. — P. 339—352.
10. Hynek J., Jezek K. A practical approach to automatic text summarization // Proceedings of the ELPUB 2003 conference. — Guimaraes, Portugal, 2003.
11. Куртасов А. М. Возможности применения автоматического реферирования для фильтрации текста в автоматизированной системе генерации тестов из учебных пособий // Информатизация процессов формирования открытых систем на основе САПР, АСНИ, СУБД и систем искусственного интеллекта: Материалы 7-й межд. научно-техн. конф. — Вологда: ВоГТУ 2013.
12. Методология создания агентно-ориентированных учебных комплексов для подготовки специалистов технического профиля: отчет о НИР (промежуточ.) / Вологодский государственный технический университет; рук. Швецов А. Н. ; исполн.: Горбунов В. А. [и др.]. — М., 2011. — 175 с. — Библиогр.: с. 170—175. — № ГР 01201056386.
13. Kurtasov A. M. A System for Generating Cloze Test Items from Russian-Language Text // Proceedings of the Student Research Workshop associated with The 9th International Conference on Recent Advances in Natural Language Processing (RANLP 2013). — Hissar, Bulgaria, 2013.
