CC BY
118
УДК 004.82
МЕТОДЫ И СРЕДСТВА ГЕНЕРАЦИИ ТЕСТОВЫХ ЗАДАНИЙ ИЗ ТЕКСТОВ НА ЕСТЕСТВЕННОМ ЯЗЫКЕ
И. Ю. Балашова, К. И. Волынская, П. П. Макарычев
METHODS AND MEANS OF GENERATION OF TEST ITEM FROM NATURAL LANGUAGE TEXTS
I. Yu. Balashova, K. I. Volynskaya, P. P. Makarychev
Аннотация. Актуальность и цели. Тесты являются составной частью системы оценки качества образовательных результатов учащихся. Использование средств автоматизированной генерации тестовых заданий позволяет упростить процесс подготовки тестов. Целью работы является сравнительный анализ существующих методов и средств генерации тестовых заданий, позволяющих извлекать знания из текстов на естественном языке. Материалы и методы. Статья подготовлена на основе анализа результатов отечественных и зарубежных исследований в области автоматизированной генерации тестовых заданий и извлечения знаний из текстов на естественных языках. Результаты. Проведено исследование существующих генераторов тестовых заданий, рассмотрены математические основы их построения и критерии эффективности. Проведен сравнительный анализ методов генерации. Описан проект, целью которого является разработка метода, позволяющего решить основные проблемы автоматической генерации тестовых заданий, создание генератора тестовых заданий и базы тестов. Выводы. Применение онтологического подхода к анализу естественных языков и использование методов семантической разметки учебного материала позволит снизить трудоемкость наполнения базы знаний генератора тестовых заданий и обеспечить качество тестов.
Ключевые слова: генератор, тестовое задание, методы генерации.
Abstract. Background. Tests is an integral part of quality assessment of educational outcomes of students. The use of generators of test jobs allows you to simplify the process of preparing the tests. The aim of this work is comparative analysis of existing methods and tools of generation of test tasks, allowing to extract knowledge from natural language texts. Materials and methods. This article was prepared on the basis of the analysis results of domestic and foreign researches in the field of automated generation of test tasks, and knowledge extraction from texts in natural languages. Results. A study of the existing generators test tasks, the mathematical framework of their construction and performance criteria. A comparative analysis of methods of generation. Describes a project whose aim is to develop a method allowing to solve the main problems of automatic generation of test tasks, the creation of the generator of tests and base tests. Conclusions. The use of ontologi-cal approach to the analysis of natural languages and the use of techniques for semantic markup of educational material will allow to reduce the complexity of filling the knowledge base generator test tasks and to ensure the quality of tests.
Key words: generator, test item, generation methods.
Введение
В соответствии с федеральными государственными образовательными стандартами высшего профессионального образования для текущей и промежуточной аттестации вузами формируются фонды оценочных средств. Одним из наиболее эффективных средств контроля знаний, умений и компетен-
ций являются тесты. Существуют сертифицированные базы тестовых заданий, в частности банк заданий для Федерального экзамена в сфере высшего профессионального образования (ФЭПО), банк тестовых заданий адаптивной среды тестирования (АСТ-тест) и пр. Однако, какой бы большой ни была база тестов, в ней может не найтись заданий, необходимых преподавателю для контроля сформированности образовательных результатов. Одним из возможных направлений решения данной проблемы является внедрение в практику контроля специализированных средств, позволяющих по заданным правилам осуществлять генерацию тестовых заданий из текстов лекций, учебных пособий, учебников и т. д.
1. Методы и алгоритмы генерации тестовых заданий
Генератор тестовых заданий в общем случае должен решать две задачи: создавать тестовые задания, удовлетворяющие тестологическим требованиям, и формировать тесты по уже готовой базе тестовых заданий. Функциональность генератора и качество созданных тестов прежде всего зависит от метода генерации. Простейший метод заключается в создании шаблона тестового задания с выделенным набором параметров, значения которых генерируются автоматически в соответствии с заданным алгоритмом. Данный метод подробно описан в ряде источников [1-9]. Генерация на основе шаблонов широко распространена. В частности, этот метод используется в тестирующем комплексе АСТ-Тест (http://www.ast-centre.ru), системе управления обучением с открытым исходным кодом Moodle (https://moodle.org), системе генерации Schoolhouse Test (http://www.schoolhousetech.com). Имеется большое число авторских разработок, реализующих данный метод и представленных в свободном доступе. Среди них универсальный генератор задач Math-o-Gen (http://nekin.info/math/n003.htm), генератор задач для подготовки к ЕГЭ типов B4 и C2 (http://kpolyakov.spb.ru/school/ege/soft.htm) и др. Преимущество метода заключается в том, что для малого количества шаблонов можно сгенерировать достаточно большое количество задач. Однако трудоемкость, узкая предметная направленность метода значительно ограничивают его применение. Перспективными являются методы генерации тестовых заданий, основанные на извлечении знаний из текстов на естественном языке. Алгоритмы генерации в этом случае различаются в зависимости от выбранной модели представления знаний предметной области, например комбинаторные модели, формальные грамматики, продукционные модели, семантические сети, онтологии.
Генерация на основе комбинаторных моделей. Данный метод основан на модельном представлении тестового задания в виде конечного множества фрагментов переменного и постоянного характера и задании на них отношений порядка [9, 10]. Для переменных фрагментов строятся множества реализаций. Моделью исходного комбинаторного множества фрагментов тестового задания является дерево И/ИЛИ. Доказывается, что между вариантами полученного дерева И/ИЛИ и элементами исходного комбинаторного множества существует взаимно-однозначное соответствие и каждый вариант дерева И/ИЛИ описывается одним элементом комбинаторного множества. Таким образом, алгоритм генерации тестового задания является алгоритмом получения варианта дерева И/ИЛИ. На рис. 1 изображена задача в представлении дерева И/ИЛИ.
Рис. 1. Задача «Квадратное уравнение», описанная в виде дерева И/ИЛИ
Описаны алгоритмы вычисления общего количества возможных выводов (вариантов задания) из дерева И/ИЛИ. Так, из дерева на рис. 1 возможна генерация 200 000 различных вариантов. На основе метода создана система генерации, работающая в онлайн-режиме по адресу http://math.freebrains.ru. Недостаток метода состоит в сложности формирования шаблона при более сложном задании.
Генерация на основе формальных грамматик. Данное направление подробно разработано в работах [11-15]. Знания предметной области представлены формальной грамматикой, в которой параметры тестового задания являются нетерминальными символами. Разные варианты выбора значений параметров соответствуют различным правилам грамматики для этого нетерминального символа. Генерация тестового задания означает выбор случайного вывода в грамматике. На основе метода разработаны программные комплексы, позволяющие генерировать с высокой степенью валидности лингвистические, математические тесты и тесты интеллекта общего вида.
Генерация на основе продукционной модели знаний. Экспертом формируется множество базовых терминов предметной области. Знания предметной области описываются правилами продукций, устанавливающих взаимозависимости терминов в учебной дисциплине. Генерация на основе продукционной модели знаний предложена в работе [12]. Описана реализация метода в экспертно-обучающей системе. К сожалению, отсутствуют сведения о качестве генерируемых данной системой тестовых заданий.
Генерация на основе семантических сетей. На основе анализа учебного материала экспертом строится модель предметной области, имеющая вид ориентированного графа, вершины которого соответствуют определенным фрагментам текста, а дуги задают отношения между ними. Структурной единицей модели является триада: «Понятие 1» - «Отношение» - «Понятие 2». Генерация тестовых заданий происходит автоматически путем опущения одного из звеньев триады. В работе [16] описана реализация метода в консольном приложении, которое используется в учебном процессе.
Генерация на основе онтологий. Формальной моделью представления знаний о предметной области служит онтология. В статьях [17, 18] освещены основные идеи реализации онтологического подхода для генерации тестовых заданий:
1) визуальная разметка экспертом учебного контента с целью выделения в нем базовых классов онтологии, их свойств и отношений между ними;
2) использование шаблонов тестовых заданий;
3) автоматическое извлечение фактов из базы знаний и подстановка их в шаблоны.
В работах [19, 20] рассмотрен способ автоматического построения онтологии предметной области на основе семантико-синтаксического анализа концептов предметной области и стэнфордской модели нечеткого вывода. Основой онтологии является так называемая понятийно-тезисная модель предметной области. Ключевой объект модели - понятие, т.е. некоторый объект из предметной области, о котором в учебном материале есть знания. Схематическое изображение фрагмента онтологии в соотношении с учебным материалом показано на рис. 2.
Рис. 2. Структурная схема понятийно-тезисной модели: ti - элемент множества тез (утверждений о понятии); ^ - элемент множества понятий; vi - элемент множества фрагментов или страниц учебного контента
Тестовое задание формируется путем выбора контрольной понятийно-тезисной пары и дистракторов на основе других понятий или тез. Понятийно-тезисная модель имеет ряд обобщений, расширяющих возможности генерации [21], и это в сочетании с простотой подготовки данных в целом кажется перспективным методом создания генераторов. Сайт лаборатории SetLab (http://www.setlab.net) предлагает загрузить программный продут EduManager, демонстрирующий работу модели.
2. Анализ методов генерации тестовых заданий
Изучение последних исследований и публикаций позволяет выделить ряд критериев, по которым можно оценить различные методы автоматизированной генерации тестовых заданий. В табл. 1 приведен сравнительный анализ методов генерации тестовых заданий из текстов на естественных языках.
Как видно, основной проблемой является высокая трудоемкость формализации знаний с точки зрения обработки текста, который выступает первичным источником знаний. При этом онтологический подход к генерации тестовых заданий обладает следующими преимуществами:
- структура онтологии инвариантна к конкретной предметной области, поэтому не требуется доработка системы генерации тестовых заданий под каждую конкретную дисциплину;
- на данный момент в широком доступе имеются стандартизованные метаонтологии в области образования (Dublin Core, BIBO, SKOS и др.), а также хорошо проработанные предметные онтологии учебных дисциплин, сопряжение которых позволяет объединить различные источники информационных данных по различным дисциплинам.
Таким образом, реализация онтологического подхода позволяет использовать одну и ту же базу знаний для различных предметных областей, сокращая трудовые и временные затраты для подготовки теста.
Заключение
С ростом популярности компьютерного тестирования неуклонно возрастает интерес к идее автоматического формирования тестовых заданий. В свободном доступе представлено достаточно много авторских проектов генераторов, существуют также коммерческие программные продукты, имеющие функции генерации. Основными недостатками такого программного обеспечения обычно являются узкая предметная направленность, трудоемкость формирования базы знаний, ограниченность набора генерируемых заданий. Актуальным остается вопрос создания генератора, обеспечивающего простоту использования и качество построенных тестовых заданий.
В данный момент в разработке находится проект, целью которого является создание генератора и базы построенных с его помощью заданий. Метод автоматической генерации основывается на онтологическом подходе к анализу естественных языков. Разработана система онтологий, в том числе базисная онтология, использование которой внутри предметной области позволяет обеспечить логическую согласованность между отдельными онтологиями при объединении [22, 23]. При построении онтологий используется формализм дескрипционных логик. Ведется работа над усовершенствованием подхода к извлечению новых знаний из естественно-языковых текстов и формированию базы тестовых заданий, удовлетворяющих требованиям качества.
Список литературы
1. Посов, И. А. Обзор генераторов и методов генерации учебных заданий / И. А. Посов // Образовательные технологии и общество. - 2014. - № 4 (17). -С. 593-609.
2. Исмаилова, А. И. Внедрение пакета генераторов многоэтапных тестовых заданий в СДО MOODLE / А. И. Исмаилова, С. В. Сметанин // Телематика-2013 : материалы XX Всерос. науч.-метод. конф. (24-27 июня 2013 г., Санкт-Петербург). - URL: http://tm.ifmo.ru/tm2013/db/doc/get_thes.php7id = 194 (дата обращения: 01.02.2016).
3. Gangur, M. Automatic Generation of Mathematic Tasks / M. Gangur // Proceedings of the 7th WSEAS/IASME International Conference on Educational Technologies (EDUTE '11), July 1-3, 2011. - Iasi, Romania : WSEAS Press, 2011 .- P. 129-134.
4. Smart question (sQ): Tool for generating multiple-choice test questions / H. F. Ugurdag, E. Argali, O. E. Eker, A. Basaran, S. Gören, H. Özcan // Proceedings of the 8th WSEAS International Conference on Education and Educational Technology (EDU '09) , October 17-19, 2009. - Genova, Italy : WSEAS Press. - P. 173-177.
5. Алсынбаева, Л. Г. Система автоматизированной генерации тестовых заданий / Л. Г. Алсынбаева // Программные продукты и системы. - 2009. - № 4. -С 131-133.
6. Лаптев, В. В. Генерация вариантов заданий для лабораторных работ по программированию / В. В. Лаптев, В. В. Толасова / Вестник Астраханского государственного технического университета. Сер.: Управление, вычислительная техника и информатика. - 2010. - № 1. - С. 127-131.
7. Alves, C. B. Using Automated Item Generation to Promote Principled Test Design and Development / Cecilia B. Alves, Mark J. Gierl, Hollis Lai. - Denver, CO, USA : American Education Research Association, 2010. - 30 p.
8. Gierl, M. J. The Role of Item Models in Automatic Item Generation / Mark J. Gierl & Hollis Lai // International Journal of Testing. - 2012. - Vol. 12, iss. 3. - P. 273-298.
9. Кручинин, В. В. Использование деревьев и/или для перечисления выражений контекстно-свободных языков / В. В. Кручинин // Вестник Томского государственного педагогического университета. - 2004. - № 6. - С. 84-88.
10. Зорин, Ю. А. Интерпретатор языка построения генераторов тестовых заданий на основе деревьев И/ИЛИ / Ю. А. Зорин // Доклады Томского государственного университета систем управления и радиоэлектроники. - 2013. - № 1 (27). -С. 75-79.
11. Сергушичева, А. П. Метод и алгоритмы автоматизированного построения компьютерных тестов контроля знаний по техническим дисциплинам : дис. ... канд. техн. наук / Сергушичева А. П. - СПб., 2007. - 18 с.
12. Братчиков, И. Л. Генерация тестовых заданий в экспертно-обучающих системах / И. Л. Братчиков // Вестник Российского университета дружбы народов. Сер.: Информатизация образования. - 2012. - № 2. - С.47-61.
13. Швецов, А. Н. Система синтеза учебных тестов на основе формальных грамматик / А. Н. Швецов, Ю. О. Мамадкулов, С. И. Сорокин // Программные продукты и системы. - 2013. - № 2. - С. 181-185.
14. Syngh, R. Automatically Generating Algebra Problems / R. Syngh, S. Gulwani, S. Rajamani // AAAI-12: proceedings of the Twenty-Sixth Conference on Artificial Intelligence, July 22-26, 2014. - Toronto, Canada, 2014. - URL: http://research.microsoft.com/ en-us/um/people/sumitg/pubs/aaai12-full.pdf (available at: 01.02.2016).
15. Разработка приложения по генерации учебных заданий к тексту на естественном языке на основе порождаемых шаблонов / Д. В. Личаргин, А. А. Усова, В. В. Сотникова, С. А. Липман, В. В. Бутовченко // Современные проблемы науки и образования. - 2015. - № 2 (2). - URL: http://www.science-education.ru/ ru/article/view?id = 22636 (дата обращения: 01.02.2016).
16. Yao, X. Semantics-based Question Generation and Implementation / X. Yao, G. Bouna, Yi. Zhang // Dialogue and Discourse. - 2012. - № 3 (2). - P. 11-42.
17. Давыдова, Н. А. Онтологический подход к автоматизации подготовки тестовых заданий / Н. А. Давыдова // ИТ0-Чебоксары-2013 : тр. II Всерос. науч.-практ. конф. -URL: http://chb.ito.edu.ru/2013/section/193/93932 (дата обращения: 30.01.2016).
18. Давыдова, Н. А. Автоматизированный синтез тестовых заданий для систем педагогического контроля знаний / Н. А. Давыдова, И. Д. Рудинский // Информатизация образования и науки. - 2013. - № 1 (17). - С. 17-24.
19. Титенко, С. В. Автоматизации построения тестовых заданий в системах дистанционного обучения на основе понятийно-тезисной модели / С. В. Титенко // Образовательные технологии и общество. - 2013. - № 1 (16). - С. 463-481.
20. Титенко, С. В. Структурные основы онтологически-ориентированной системы управления информационно-учебным Web-контентом / С. В. Титенко // Управляющие системы и машины. - 2012. - № 2. - С. 35-42.
21. Петрова, Л. Г. Використання модифшовано! понятшно-тезисно! моделi для ав-томатизованого формування бази тестових запитань в системах комп'ютеризаци освгги / Л. Г. Петрова, С. О. Петров, А. В. Конопленко // 1нформацшш технологи i засоби навчання. - 2012. - № 4 (30). - URL: http://journal.iitta.gov.ua/ index.php/itlt/article/view/648/517 (дата обращения: 07.01.2016).
22. Балашова, И. Ю. Построение и исследование предметной онтологии электронного обучения / И. Ю. Балашова // Программные продукты и системы. - 2014. -№ 3. - С. 26-32.
23. Денисова, И. Ю. Математические модели онтологии базы знаний информационной обучающей системы / И. Ю. Денисова, П. П. Макарычев // Онтология проектирования. - 2012. - № 3 (5). - C. 62-79.
Балашова Ирина Юрьевна
кандидат технических наук, доцент, кафедра математического обеспечения и применения ЭВМ,
Пензенский государственный университет E-mail: irs-80@mail.ru
Волынская Карина Игоревна ассистент,
кафедра математического обеспечения и применения ЭВМ,
Пензенский государственный университет E-mail: rikarinari@yandex.ru
Макарычев Петр Петрович
доктор технических наук, профессор, заведующий кафедрой математического обеспечения и применения ЭВМ, Пензенский государственный университет E-mail: mackarychev2013@yandex.ru
Balashova Irina Yurievna candidate of technical sciences, associate professor, sub-department of mathematical provision and application of computers, Penza State University
Volynskaya Karina Igorevna
assistant,
sub-department of mathematical provision and application of computers, Penza State University
Makarychev Peter Petrovich doctor of technical sciences, professor, head of sub-department of mathematical provision and application of computers, Penza State University
УДК 004.82 Балашова, И. Ю.
Методы и средства генерации тестовых заданий из текстов на естественном языке / И. Ю. Балашова, К. И. Волынская, П. П. Макарычев // Модели, системы, сети в экономике, технике, природе и обществе. - 2016. - № 1 (17). - С. 195-202.
