CC BY
125
Опыт применения метода автоматической генерации
тестовых заданий
Швецов Анатолий Николаевич профессор, д.т.н., профессор кафедры Информационных систем и технологий, Вологодский государственный университет, ул. Ленина, 15, г. Вологда, 160000, (8172)728410 [email protected]
Сергушичева Анна Павловна доцент, к.т.н., доце нт кафедры Автоматики и вычислительной техники Вологодский государственный университет, ул. Ленина, 15, г. Вологда, 160000, (8172)728410 [email protected]
Аннотация
В современных компьютерных тестирующих системах (КТС) существует проблема значительной трудоемкости формирования содержательного наполнения тестов и организации их структуры в соответствии с техническими возможностями программной платформы электронного обучения (E-leaming), что затрудняет адаптацию компьютерных систем обучения (КСО) к изменяющимся требованиям и содержанию подготовки бакалавров и магистров по новым стандартам высшего образования. Для решения проблемы автоматизации построения КТС авторами разработан метод генерации компьютерных обучающих тестов и тестовых заданий, основанный на формализме канонических исчислений Э.Поста, позволяющий формировать структуру и содержание прикладной тестовой системы, определяя лингвистическое содержание конкретных тестов с помощью формальных грамматик составляющих.
В статье анализируется опыт реализации данного метода, накопленный в результате разработки и использования в электронных учебно-методических комплексах по дисциплинам (ЭУМКД) Вологодского государственного университета. По различным техническим направлениям подготовки бакалавров и магистров было разработано более 300 порождающих грамматик по дисциплинам основных циклов университета. Результаты исследования надежности и валидности тестов, сгенерированных данным методом в инструментальной программной системе, подтверждают достаточно высокое качество получаемых компьютерных тестов. Обсуждаются направления дальнейшего совершенствования метода и возможности его широкого применения в составе ЭУМКД. In the sphere of higher education, over the past decades, various methods of computer control of knowledge and skills have been implemented and are being intensively used. Computer testing systems (CTS) are created as independent systems, and serve as components of E-learning systems.
The main drawbacks of traditional CTS are the high complexity of creating and organizing tests, the limited number of test tasks and the complexity of their modification, which creates the problem of adapting CTS to changing requirements and the content of training in technical fields and specialties. To solve the problem of automatic construction the CTS, the authors have developed a method for generating computer training tests is based on the
formalism of E. Post's canonical calculus, which takes into account the structure and content of the Application Test System, the definition of the linguistic content of specific tests using formal grammars of components.
The report discusses the experience of implementing this method, accumulated as a result of the development and use in the E-learning systems of the Vologda State University.
Ключевые слова
компьютерные тестирующие системы, автоматическая генерация тестовых заданий, формальные грамматики, электронные учебно-методические комплексы
сomputer testing systems, automatic computer test generation, formal grammas, e-learning
Введение
Компьютерное обучение является важным приложением результатов теоретических исследований в области информатики, интеллектуальных информационных систем и искусственного интеллекта. Значительное количество исследований, посвященных применению методов и средств компьютерного обучения (Бенедиктов Б.А., Бенедиктов С.Б., Галеев И.Х., Загвязинский В.И., Курганская Г.С., Машбиц Е.И., Поспелов Д.А., Минасова Ш.М. и др.) показывает, что несмотря на успешное решение ряда технических проблем разработки программных средств обучения, многие аспекты математического, информационного и алгоритмического обеспечения компьютерного обучения требуют дальнейших фундаментальных исследований и новых методологических подходов.
За последние десятилетия разработано большое количество автоматизированных обучающих систем, инструментальных средств и сетевых сред дистанционного обучения, конструкторов мультимедийных учебников и курсов, компьютерных тестирующих систем [1].
Контроль знаний и умений является обязательным этапом образовательного процесса, позволяет оценить компетенции, выявить недостатки, сформировать образовательные траектории для достижения требуемого уровня подготовки. При измерении достижений обучаемых возникает задача обеспечения объективности контроля, требующая вариативности и идентичности контрольно-измерительных материалов по уровню сложности, объему охватываемого материала, размеру предъявляемых заданий.
В сфере высшего образования все последние десятилетия реализуются и интенсивно используются различные методы компьютерного контроля знаний и умений. КТС создаются как самостоятельные системы, так и служат компонентами компьютерных систем обучения.
В значительной части КСО отсутствуют развитые механизмы формирования теста - немногочисленные варианты теста (чаще всего единственный вариант по соответствующему разделу или теме) создаются и обновляются автором курса в режиме ручного редактирования. Достаточно привести пример широко распространенной в нашей стране системы дистанционного обучения Moodle, где база вопросов теста является статической и можно управлять лишь выбором вопросов из нескольких категорий, последовательностью предъявления вопросов и перемешиванием вариантов ответов. Об актуальности проблемы обеспечения вариативности компьютерных тестов свидетельствует значительное число
публикаций, посвященных этому вопросу, и ряд диссертаций, предлагающих варианты решения этой задачи [2-7].
Основными недостатками традиционных КТС являются высокая трудоемкость создания и организации тестов, ограниченное число тестовых заданий и сложность их модификации, что создает проблему адаптации КСО к изменяющимся требованиям и содержанию дисциплин в условиях многоуровневой подготовки и обучения по индивидуальным учебным планам.
Методологические подходы и формализация метода генерации тестовых заданий
Основные подходы к задачам педагогического, психологического и компьютерного тестирования излагаются в работах Аванесова В.С., Башмакова А.И., Башмакова И.А, Горбатова Д.С., Клайна П, Майорова А.Н., Третьякова П.И, Капустина Н.П., Талызиной Н.Ф. и др. [8-9].
Проблемы построения и использования адаптивных технологий обучения с интерпретацией учебного материала применительно к моделям конкретных предметных областей исследованы в трудах Брусиловского П.Л., Галеева И.Х., Sosnovsky S., Ullrich C. и др. [10-13].
В настоящее время существует большое количество КТС (Прометей, Гекадем, Аванта, Leraning Space, PLATO, ВУЗ, ComputerMentor, Competentum, VeralTest и др.) и ряд инструментальных средств для их наполнения (Private Tutor, LinkWay, Costoc, АДОНИС, УРОК, IDEA, Маэстро II, Competentum ShareKnowledge, ГЕКАДЕМ 3.0, STELLUS, CourseLab и др.) [14].
Функционирование КТС включает три основных этапа: подготовки теста, непосредственно тестирования обучаемых и обработки результатов тестирования. Этапы тестирования и обработки результатов хорошо автоматизированы и поэтому представлены во всех современных КТС, как правило, в виде следующего цикла: регистрация участников тестирования; предъявление тестов; сравнение предъявленных ответов с правильными; подведение итогов тестирования; сбор статистических данных о тестируемых. Этап подготовки теста в существующих КТС включает две фазы: наполнение базы данных составленными ранее вопросами/ответами или создание файлов в определенных форматах и формирование структуры теста.
В ряде работ излагаются модели КСО, включающие генерацию тестовых заданий (ТЗ), но отсутствие отработанной методологии построения КТС с возможностью генерации тестовых заданий приводит к тому, что встраивание функций генерации ТЗ требует разработки оригинальных алгоритмов и уникальной программной реализации порождающих механизмов.
В КТС генерацию следует рассматривать в двух контекстах: генерацию как формирование конкретного теста с определенным множеством заданий и настройками выполнения и генерацию как порождение содержания тестовых заданий с использованием методов и структур представления знаний. Для формирования тестов необходимо реализовать алгоритм, позволяющий подставлять уже существующие тестовые задания в соответствии с заданной структурой теста. В этом случае разнообразие вариантов теста определяется в основном объемом базы тестовых заданий. Генерация (порождение) тестовых заданий предполагает наличие модели заданий и модели представления знаний о предметной области теста, содержащей активные компоненты обработки и извлечения знаний.
К настоящему времени сформировался целый ряд критериев, которым должен удовлетворять метод генерации компьютерных тестов:
- простота использования - легко использовать систему для генерации тестов и заданий, все действия интуитивно понятны, разработка занимает мало времени и не требуется много ресурсов для получения результата, с системой может работать не только высококвалифицированный пользователь;
- генерация с условиями - различные варианты тестов получаются не случайно, а по определенным вариантам генерации;
- дифференциация - получаемые тесты различны и разнообразны, как по структуре, так и по содержанию;
- множественность - тесты и сами задания можно создавать за один процесс генерации не по одному объекту (или несколько копий одного объекта), а сразу несколько различающихся объектов;
- логичность - созданные задания и тесты должны быть логически верны, если они созданы по логически верной схеме;
- интегративность - в процессе генерации в созданные тесты могут добавляться различные объекты: мультимедиа данные, расчетные формулы, стили оформления и другие;
- мультигенерация - на основе одной и той же схемы генерации может быть создано несколько раз множество различных тестов;
- структурность - все схемы генерации структурированы, что позволяет получать структурированные данные: структура тестов, структура задания (вопрос, ответ, объяснение, подсказки) и т.д.
- интеллектуальность - тесты не только должны отображать данные, но и содержать верные ответы соответствующие отображаемым данным, а также уметь обучаться и изменять свои структуры;
- интерактивность - возможность динамически по событиям менять структуру тестов и заданий, предоставлять дополнительные данные, реакция на внешнее воздействие.
Проанализируем, насколько соответствуют наиболее известные методы генерации компьютерных тестов установленным выше фундаментальным требованиям.
Методы хранимых и параметризованных шаблонов являются самыми простыми. Однако, практически для каждого варианта теста и задания их структуру и информационную наполненность должен предварительно установить преподаватель, что существенно ограничивает разнообразие тестов. Частично проблему снижения трудоемкости этого процесса решают путем применения параметров в шаблонах.
Метод множественных генераторов обеспечивает разнообразие тестов, но довольно обременительной процедурой является определение всех возможных множеств составных частей тестов и отдельных заданий. Следует также контролировать все возможные комбинации множеств, их логические взаимосвязи, отсутствует прозрачность построения логической структуры заданий и тестов.
Метод графа знаний и обучающего кластера основан на теории графов. Он ориентирован на структуру тестов и обратную связь (используется статистика результатов выполнения тестов). Метод позволяет составить общую картину обучения, но не облегчает наполнения материалами базы данных. Для составления учебного материала самих заданий, установления взаимосвязей и учета обратных связей необходимы большое внимание и значительные трудозатраты. Содержание заданий, на основе информации от обратных связей, не изменяется, в отличие от структуры тестов. Создание интеллектуальных и обучающихся тестов с помощью данного метода является сложной задачей.
Метод генерации на основе онтологий основан на использовании отношений между концептами, которые интерпретируются соответствующими учебными материалами. Данный метод больше направлен на сам процесс обучения, здесь рассматривается, как обучаемый проходит задания, т.е. динамика заложена в
генерацию структуры теста, но не в создание заданий для теста. Также значительное время необходимо потратить на поиск информации и ручное составление заданий, которые потом требуется связать между собой, установив отношения между концептами.
Метод нейронных сетей используется в основном для создания "идеальных" учебных курсов. По результатам анализа, связь между тестовыми заданиями будет меняться, тем самым достигается самообучаемость теста и способность его подстраиваться под конкретного пользователя. Но изначально учебный курс не является оптимальным, его надо "обучить", что требует участия опытного эксперта предметной области.
Для решения проблемы автоматизации построения КТС авторами разработан метод генерации компьютерных обучающих тестов и тестовых заданий, основанный на формализме канонических исчислений Э. Поста, позволяющий формировать структуру и содержание прикладной тестовой системы, определяя лингвистическое содержание конкретных тестов с помощью формальных грамматик составляющих [15]. Программная реализации метода поддерживает основные типы формальных грамматик по иерархии Н. Хомского: грамматики общего вида, контекстно-зависимые грамматики, контекстно-свободные грамматики.
Преподавателю-эксперту необходимо составить правила и описать посредством формальных грамматик структуры заданий, ответов и пояснений. Грамматики могут включать мультимедиа инструкции, описывающие аудио, видео и оформление текста, расчетные формулы и другие элементы. При формировании заданий грамматики можно комбинировать (присоединять последовательно, вкладывать друг в друга), что позволяет формировать достаточно разнообразные задания.
По критерию простоты использования метод генерации тестов на основе формальных грамматик занимает среднюю позицию: с одной стороны с помощью данного метода легко создавать большое количество разнообразных тестов, с другой - для написания грамматик генерации тестов нужны знания и понимание структуры создаваемых заданий. Наиболее сложными в использовании являются методы нейронных сетей, множественных генераторов, графа знаний и обучающего кластера. Генерацией с условиями в основном обладают: метод нейронных сетей и метод графа знаний и обучающего кластера, но только в рамках теста, а не задания. Метод формальных грамматик в данном случае стремится к оптимальному состоянию, так как с помощью правил грамматик можно определять любые условия и ветвления генерации заданий и тестов. Благодаря формальным грамматикам пользователь может определить любые конструкции следования генератора. Остальные конкурирующие методы фактически не обладают такой особенностью.
Практически у всех рассмотренных методов структура теста может меняться, но тестовые задания в процессе одной генерации различаются незначительно. В методах шаблонов тесты получаются практически всегда однотипными и содержанию и по структуре. Тесты, полученные с помощью: методов онтологий, графа знаний, нейронных сетей, имеют некоторую дифференциацию по структуре, но только в пределах общей структуры, которую заранее закладывает специалист. Метод формальных грамматик практически не ограничивает в выборе создаваемых тестов, всё разнообразие ложится на умение пользователя создавать грамматики и их комбинировать. В некоторых рассмотренных методах (нейронные сети, онтологии, графы знаний) за один процесс генерации можно создать только одну структуру теста или задания. В методах шаблонов и множественных генераторов - несколько однотипных структур, но они будут похожи между собой. Количество и разнообразие тестов полученных посредством метода формальных грамматик в процессе одной генерации зависит от вариативности, заложенной в
грамматике. Методы шаблонов не позволяют создавать на основе одних и тех же шаблонов разные тесты.
Метод формальных грамматик позволяет на основе одной грамматики многократно создавать неповторяющиеся тесты и тестовые задания. Количество повторных генераций (мультигенераций) получается из числа возможных вариантов порождаемых правилами грамматик, а также смешиванием этих грамматик.
Структурностью в той или иной степени обладают все известные методы, наиболее высокая структурность у метода шаблонов и в меньшей степени у метода графа знаний. В методах онтологий, нейронных сетей структура является динамическим значением, которое во время обучения может меняться. Метод множественных генераторов имеет наименьшую структурность, так как там велико случайное значение выборки элементов множеств.
Метод формальных грамматик обладает хорошей структурностью: с одной стороны структура динамически определяется во время генерации по формальным грамматикам, а с другой стороны имеются заранее определенные блоки структуры тестов и заданий.
Большинство методов стремится к наибольшей интеграции различных объектов в создаваемые тесты. В тех методах, где затронут вопрос генерации содержания учебного материала и тестовых заданий, имеется наибольшая поддержка мультимедиа объектов, таких как аудио, видео, поддержка вычисляемых формул, поддержка оформления содержания. Но в методе формальных грамматик это выносится на более высокий уровень, можно с помощью самих грамматик определять как, где и когда использовать интегрируемые объекты. Благодаря правилам, из которых состоят грамматики, интерактивность у метода формальных грамматик высокая.
Создавая грамматику, на основе которой будет происходить генерация, специалист определяет интерактивные структуры, подсказки, описания, а также правила по которым возможно изменение состава теста. Также с помощью правил грамматик можно реализовать реакцию на события внешней среды, что ещё увеличивает интерактивность. Методы шаблонов и метод множественных генераторов не обладают высокой интерактивностью, так как у них не имеется обратных связей. Остальные методы предлагают интерактивность на основе результатов обучения пользователя.
Наиболее высокой вероятностью низкой логичности получаемых тестов обладает метод множественных генераторов, так как в процессе случайного выбора из множеств может получиться ситуация когда несколько значений логически не согласуются между собой. При неверном обучении при методе нейронных сетей может получиться логически неправильная структура заданий. Все остальные методы обладают хорошей логичностью получаемых тестов и заданий, но при этом все варианты логических связей необходимо проставлять вручную. Метод формальных грамматик позволяет создать множество логически верных правил, которые породят ещё большее множество логически верных структур. Высокая интеллектуальность имеется у методов нейронных сетей, онтологий и графа знаний, данные методы являются саморегулирующими и подстраивающимися под пользователя, способны менять структуру. У методов шаблонов интеллектуальность заключается в параметризированном подходе, который позволяет реализовать математические функции.
Метод формальных грамматик позволяет поддерживать интеллектуальность как на уровне структуры тестов, так и на уровне математических операций, и позволяет поддерживать интеллектуальность на уровне содержания заданий и учебного материала.
Дисциплины, входящие в учебные планы подготовки бакалавров и магистров по техническим направлениям можно разделить на две группы:
дисциплины гуманитарного цикла, где преобладает текстовая информация и дисциплины технического направления, содержащие большое количество числовой информации, чертежей и схем. Технические дисциплины в большинстве своем представляют собой хорошо структурированные предметные области.
Пусть БТра - структура предметной области, отображаемая в рамках изучаемой учебной дисциплины, БТК^ - модель знаний дисциплины, отражающая структуру предметной области, и содержащая множество учебных единиц - модулей, блоков, разделов. рассматривается как семантическая сеть, содержащая I
уровней иерархии, структура которых определяется как Н (рис. 1.).
м
Ы БвП.. .1 ... 8§11...1к(11...1к) ... Sgkk(k)...k(l-l)l • • • Sgkk(k)...k(l-l)k(l)
У У
Рис.1. Граф структуры уровней модели знаний учебной дисциплины
(Бд11.....Бд1к(1)),
к1(Бд1, ...,Бдк), Ь2 Н =
(Бд11... 1Ь...Бд11... 1^(1! ...Щ^)), (Бд21, ...Бд2к(2)), ... (Бдк1, ...,Бдкк(к)), .К1
(Бд11... 21ь ...,Бд11... 2к(11 ... 2к)),... (Бдкк(к) ... к(1 - 1) ...Бдкк(к) ... к(1 - 1)к(0)
Множество всех вершин такой семантической сети, включающее все сегменты Бд(...[ для уровней иерархии от к0 до И-1 обозначим V. Между сегментами БТКм возможны различные взаимосвязи-отношения, такие как отношения подчинения, структурной вложенности (раздел-подраздел), семантической связи изучаемых в сегментах понятий, логического следования, темпоральные (до - после) и т.п.
Множество возможных отношений обозначим как И = (И^ VI = 1,..., п). Модель знаний дисциплины представляется структурой БТКм = (Н,У,Я,Р), где Р = V} = 1,...,п), П) есть отображение V X V... X V ->
т
значность декартова произведения т может быть различной.
Назовем "дуплетом" пару 01 = - "тестовое задание - ответ",
компьютерный тест можно считать упорядоченной последовательностью дуплетов КТ = (0± VI = 1,..., п), где п - количество заданий в данной реализации теста.
Предметной областью компьютерного теста будем считать подсеть БТ^ с 5ТКм, включающую подмножество вершин Укт, с которыми связаны порождаемые дуплеты . По данной БТкт может быть сгенерировано множество конкретных тестов, имеющих различное количество дуплетов (число тестовых заданий) и различные отображения БТкт ^ (О^ I = 1,... ,х), где х - переменная, принимающая значения на множестве натуральных чисел.
Таким образом, для создания метода генерации компьютерных тестов требуется построить оператор Р:(5ТРА,5ТК!Я,5ТКТ)^МТ, позволяющий на основе структуры предметной области дисциплины, модели знаний, предметной области компьютерного теста получать множество тестов МТ = [КТ^ V (р = 1, ...,т}.
Мощность компьютерной тестирующей системы определяется количеством различных заданий, которые могут быть предъявлены системой:
Мктс = !зтш\КТ\,
где суммирование ведется по всей модели знаний и всевозможным структурам предметных областей компьютерных тестов.
На искомый оператор Р :накладываются следующие ограничения:
- множество МТ не может быть пустым, его мощность должна быть не менее некоторого заданного целого. Максимальное значение мощности М^тсзаранее не ограничено и может определяться на стадии технического решения;
- оператор должен обеспечить соответствие предметной области теста и множества вариантов теста, генерируемых по данной БТкт , т.е. внутри каждого теста КТфдолжен присутствовать образ множества вариантов тестового задания
6 5Ткт) ^ (30(1) А 0(1) Ф 0)), где 0(1)- возможное множество дуплетов, соответствующих сегменту Бд(;
- повторение вопросов в сгенерированных тестах в общем случае возможно, но должно стремиться к некоторой заранее установленной величине
{Щ} V< 3), I Ф ];
- время осуществления преобразования оператором Р: должно быть ограничено допустимой с практической точки зрения величиной < 1тах.
Формальное описание тестовых заданий должно позволять включать в тест следующие виды информации: простые типы данных - целые и рациональные числа, символы и строки символов, рисунки в заданных графических форматах; сложные типы данных - предложения, получаемые комбинированием простых данных; переменные (указывается тип данных и название переменной); функции, в том числе встраиваемые в КТС и подключаемые через библиотеку модулей, а также записываемые посредством переменных, для вычисления, например, правильного ответа для данного тестового задания; файлы, содержащие грамматики заданий, структуру тестов и информацию необходимую для генерации тестовых заданий.
Множество генерируемых по данной модели знаний компьютерных тестов
представим объединением МТ{БТК1^} = БТ^В^ ^ ^1 = 1 . где В( = [Ьц,Ь(2, } - подмножество вопросов -го типа; а - количество вопросов -го
типа в подмножестве В(. Если щ - количество типов вопросов используемых в данной реализации теста, то общее количество вопросов в данном тесте есть ау.
Вопросы каждого типа распределяются по подтипам так, чтобы один и тот же подтип, по возможности, не повторялся в данном тесте.
Оператор Р:конструируется как исчисление вида:
К = (А,Р,А0,Р) (1) где А - алфавит исчисления, Р - алфавит переменных, А0 - аксиома исчисления, Р -множество правил вывода.
Алфавит исчисления А = {Ы и £}, где N - алфавит нетерминальных символов, 2 - алфавит вспомогательных символов. В множество N включены нетерминалы ^ - обозначающие структуру вопрос-ответ -го типа, П( -обозначающие множество правил вывода для ¿-го типа и нетерминалы подтипов
возможно с индексной последовательностью произвольной длины. Алфавит 2 = {V, (,), [, ],,1,/,..., г}. Алфавит переменных Р = {р, ц, <р, щ,р^,ръ,ре}-Символы алфавитов интерпретируются следующим образом: - элементарный конструктивный элемент, используемый для организации унарных счетчиков; (, ) -скобки, предназначенные для обозначения состояния счетчика; [, ] - скобки, предназначенные для обозначения элементов множества правил вывода; - элемент разделения, предназначенный для формирования структуры антецедентов и консеквентов; Ь,],..., г - индексная последовательность, показывающая уровень и тип вложенности подтипа; р - левая часть последовательности подтипов; д - правая часть последовательности подтипов; (р - переменная, обозначающая текущее состояние счетчика подтипов; щ - переменная, обозначающая начальное состояние счетчика подтипов; р^ - переменная, обозначающая исключаемое правило из множества П(; рь,ре - оставшиеся правая и левая (относительно р^) части множества правил П(.
Аксиома исчисления Ао будет иметь вид:
Ао = У1 (а1)[П1]У2 (а2)[П2].Ук (ак)[Пк], (2) где П( = {рц,Р12, ,где ^ - количество правил вывода для -го типа.
Структура VI (а{)[Щ], расположенная между разделителями . означает, что в создаваемый тест будет включено щ заданий, генерируемых в соответствии со структурой вопрос-ответ -го типа, при этом щ может быть больше, меньше или равно
п.
Множество правил вывода Р создается с учетом исключения примененных правил из множеств П(. Начало раскрытия -го типа осуществляется правилами вида:
" (3)
VI (а°[РъРчРе]. (а>-ЧрьРе]...'
которых будет ^ экземпляров для каждого типа ¿. В дальнейшем применяются правила вида:
" (4)
рУ1 ((р)[ръРцРе]^р(РУц)У1 [рьРе] .••'
которых также будет f^ экземпляров для каждого типа ¿, причем переменная р
хранит последовательность подтипов (...) (Р (.■■).
Процесс применения правил вида (4) должен продолжаться до тех пор пока не наступит следующее: либо будет исчерпано (ср\ либо будет исчерпано множество правил [Я;], что означает, что fi щ и количества правил в [П(]не хватает для введения подтипов без повторов.
В первом случае прекращаем процесс раскрытия типа У( применением правила:
." . (5)
рУАрЬРе] .--Р .■■
Во втором случае необходимо подставить заново множество правил вывода Пдля продолжения раскрытия типа , что обеспечивается введением правила (символ [] обозначает, что в множестве [Щ не осталось не примененных правил):
ру1 ]...-рУ1 [П(]...(6)
Вывод предложения целевого языка из подтипа РУц..чГ определяется соответствующей формальной грамматикой в типичных случаях содержащей правила следующего вида, записанные в традиционной нотации Бэкуса-Наура:
РУи.....г > ::= <постоянная_часть_подтипа><переменная_часть_подтипа>
{<варианты_ответов> }<переменная_часть_ответа> <объяснение_ответа>
<постоянная_часть_подтипа> ::= (предложение естественного языка) <переменная_часть_подтипа> ::= (последовательность символов вопроса, порождаемых последовательностью определенных правил грамматики)
<варианты_ответов> ::= (последовательность символов вариантов, порождаемых последовательностью определенных правил грамматики)
<переменная_часть_ответа> ::= (последовательность символов ответов, порождаемых последовательностью определенных правил грамматики)
<объяснение_ответа> ::= (предложение естественного языка)
Интерпретацию метода генерации тестовых заданий покажем на примере дисциплины «Метрология, стандартизация, сертификация», входящей в учебные планы многих направлений подготовки бакалавров.
Пример одной из грамматик по теме "Измерительные шкалы" выглядит следующим образом:
<постоянная_часть_подтипа>::= К какому виду шкал относится шкала измерений
<переменная_часть_подтипа>::= <с>
<варианты_ответа>::= Шкала наименований | Шкала порядка | Шкала интервалов | Шкала отношений | Абсолютная шкала | Согласованная шкала | Логарифмических шкала
<описание ответа>::=0
<описание грамматики>::=
<с>::= <п1>|<п2>|<п3>
<п1>::=, которая <п10>?
<п2>::=, для которой <п20>?
<п10>::= <п11>|<п12>|<п13>|<п14>|<п15>
<п3>::= <п31>|<п32>|<п33>|<п34>|<п35>
<п11>::= используется для классификации объектов| основана на приписывании качественным свойствам объектов чисел, играющих роль имен| показывает отличия и сходства конкретных качественных проявлений свойств
<п12>::= используется для количественной оценки проявления свойства, позволяющей установить отношение больше/меньше между величинами | основана на приписывании количественным свойствам объектов условных единиц (например, баллов) | позволяет оценить количественно измеряемую величину, но не допускает математических операций над результатами измерений
<п13>::= состоит из одинаковых интервалов, имеет произвольно выбранное начало | имеет единицу измерений и произвольно выбранное начало | имеет и положительные и отрицательные значения | допускает только аддитивные математические операции над результатами измерений| предполагает наличие эталона, воспроизводящего часть(точку) шкалы и условный нуль
<п14>::= состоит из одинаковых интервалов, имеет однозначное начало | имеет единицу измерений и естественный критерий нуля | имеет единицу измерений и только положительные значения | допускает и аддитивные, и мультипликативные математические операции над результатами измерений| предполагает, что между разными протоколами, фиксирующими один и тот же эмпирический факт на разных языках, должно выполняться соотношение: у = а*х, где а - любое положительное число ("16 кг.", "16000 г" и т.д)
<п15>::= используется для оценки безразмерных величин | используется для оценки относительных величин | всегда сохраняет тождество, т.е. если на одном языке в протоколе записано "у", а на другом языке "х", то: у = х | имеет естественное определение нуля и размер единицы по естественному критерию
<п20>::= отсутствуют понятия «нуль», «больше», «меньше», «единица измерений» | определены отношения порядка и эквивалентности физической величины | одна из реперных точек принимается за начало отсчета | принята по соглашению единица измерений и существует естественный критерий нулевого количественного проявления свойства | имеется естественное однозначное определение единицы измерений, не зависящее от принятой системы единиц
<п31>::= цвета | пространственной симметрии| запахов| групп крови человека
<п32>::=твердости материалов| интенсивности и балльности землетрясений| силы ветра Бофорта | белизны различных объектов| уровней громкости|интенсивности запаха | интенсивности вкуса воды
<п33>::= температуры Цельсия |температуры Фаренгейта| григорианский календарь | лунный календарь | измерения летоисчисления от рождества Христова | измерения летоисчисления от сотворения мира | времени суток
<п34>::=частоты, в которой размер единицы соответствует определению герца в СИ| термодинамической температуры, в которой размер единицы соответствует определению кельвина в СИ |силы света оптического излучения , в которой размер единицы соответствует определению канделы в СИ |скорости в м/сек| расстояний в км
<п35>::= | относительной деформации | коэффициентов усиления |коэффициентов отражений | коэффициентов поглощений |амплитудной модуляции
Данная грамматике позволяет сгенерировать 52 различных вопроса следующего типа:
1. К какому виду шкал относится шкала измерений, которая основана на приписывании качественным свойствам объектов чисел, играющих роль имен?
Варианты_ответа: 1) Шкала отношений 2) Шкала наименований 3) Шкала интервалов 4) Шкала порядка 5) Согласованная шкала
2. К какому виду шкал относится шкала измерений, для которой принята по соглашению единица измерений и существует естественный критерий нулевого количественного проявления свойства
Варианты_ответа: 1) Абсолютная шкала 2) Шкала порядка 3) Шкала интервалов 4) Шкала отношений 5) Шкала наименований
3. К какому виду шкал относится шкала измерений интенсивности запаха? Варианты_ответа: 1) Согласованная шкала 2) Шкала порядка 3) Шкала
интервалов 4) Шкала отношений 5) Абсолютная шкала
По теме "Измерения с помощью осциллографа" применяется следующая грамматика:
<постоянная_часть_подтипа>::= Определите частоту исследуемого сигнала по полученной на экране осциллографа
<переменная_часть_подтипа>::= <с> <варианты_ответа>::= <описание ответа>::= <описание грамматики>::= <с>::= <п1>|<п2>
<п1>::= фигуре Лиссажу <п10><п11><п5> Гц. <п2>::= круговой развертке <п20><п21><п5> Гц.
<п10> <п11> <п12>
= < р1>|< р2>|< р3>|< р4>|< р5>| < р6>|< р7>|< р8>|< р11>|< р12> = , если он подается на <п12>
= вход Х, а частота образцового напряжения 1у=| вход У, а частота
образцового напряжения fx =
<п20>::= < р9>|< р10>|< р13>|< р14>|< р15 > <п21>::= , если он подается на <п22>
<п22>::= модулятор, а частота образцового напряжения fx=fy= | вход 2, а частота образцового напряжения fx=fy= | вход Х, а частота образцового напряжения £г=| вход У, а частота образцового напряжения fz=
<п5>::=100|200|300|400|500|2400|3600|4200|4800|5400
<р1>::= (Metr_p_о1.bmp)
< р3>::= (Ме1г_р_о3.Ьтр)
< р5>::= (Ме1г_р_о5.Ьтр)
< р7>::= (Ме1г_р_о7.Ьтр) <р9>::= (Metr_p_о9.bmp)
< р11>::= (Мегг_р_о 11.Ьтр)
< р13>::= (меИ_р_о 13.Ьтр)
< р15>::= (Мегг_р_о15.Ьтр)
< р2>::= (Metr_p_о2.bmp)
< р4>::= (Metr_p_о4.bmp)
< р6>::= (Metr_p_о6.bmp)
< р8>::= (Мей_р_о8.Ьтр)
< р10>::= (Metr_p_о10.bmp)
< р12>::= (МеИ_р_о12.Ьтр)
< р14>::= (Мегг_р_о14.Ьтр)
По данной грамматике будет сгенерировано до 400 различных по условию задач (переменная п5 может принимать по данному описанию 10 значений), число которых может быть легко увеличено добавлением значений нетерминала п5 или определением его как диапазона значений, что делает количество вариантов практически неограниченным.
Примеры порождаемых задач представлены на рис. 2.
I, Определите частоту исследуемого сигнала по полученной на экране
осциллографа фигуре Лиссажу . если он подается на вход X. а
частота образцового напряжения ^¿=400 Гц.
2. Определите частоту исследуемого сигнала по полученной на экране
I ;
осциллографа круговой развертке , если он подается на
модулятор, а частота образцового напряжения Г\ 1у~ 4800 Гц.
Рис. 2. Пример тестовых заданий
Программная реализация
Предложенный метод реализован в ряде версий инструментальной интеллектуальной программной системы (ИИПС) и тестирующих систем на базе ИИПС, разработанных в Вологодском государственном университете [16]. При применении метода преподаватель (эксперт предметной области) составляет правила и описывает средствами формальных грамматик структуры заданий, ответов, пояснений, определяющих содержание возможного множества тестов. Описание правил порождающих грамматик осуществляется в традиционной нотации Бэкуса-Наура. Расширения синтаксиса, примененные в инструментальной системе, позволяют использовать в структуре заданий мультимедийные объекты (рисунки, видео и аудио-файлы), вычисляемые формулы и основные возможности форматирования текста.
Для облегчения разработки тестов в среде ИИПС была реализована структура файлов-хранилищ грамматик, позволяющая хранить несколько грамматик одного или разных типов в едином контейнере. Данная структура предполагает наличие общего заголовка и нескольких информационных секций. Общий заголовок содержит информацию о теме группы грамматик, авторе, примечания и т.д. Информационные секции содержат группы (листы) грамматик различных типов, которые, в свою очередь, содержат группы правил, поделенные на разделы: тип грамматики, заголовок материала, тело материала, пояснительная часть, результирующая часть и т.д.
При генерации тестов можно использовать несколько файлов-хранилищ грамматик для получения большего количества разных вариантов генерации. Кроме правил грамматик, на процесс синтеза влияют и общие параметры генерации: глубина рекурсии - в правилах грамматик поддерживается рекурсия для получения большего количества вариантов генерации; выборка с памятью, которая определяет как осуществлять отбор вариантов, описанных в правых частях правил грамматик; параметры смешивания - определяют порядок смешивания заданий, устанавливают способы варьирования количества вариантов ответа на задания, группировки тестов, добавления заголовков и пр.
Экспорт полученных тестов реализован в форматах RTF, HTML, SSI, BIN, что позволяет использовать сгенерированные тесты как в текстовом формате, так и
осуществлять их передачу в электронные учебно-методические комплексы. Такие комплексы созданы на основе КСО МооШе по всем основным дисциплинам направлений подготовки 09.03.02 "Информационные системы и технологии", 09.03.03 "Прикладная информатика", 09.03.04 "Программная инженерия", 27.03.04 "Управление в технических системах".
В процессе применения данного метода и созданных инструментальных средств было разработано более 300 различных грамматик по дисциплинам всех циклов технических направлений подготовки бакалавров и магистров: математический и естественно-научный цикл («Математика», «Физика», «Электротехника»), гуманитарный, социальный и экономический цикл («Русский язык»), профессиональный цикл («Метрология, стандартизация, сертификация», «Оборудование автоматизированных производств», «Интеллектуальные информационные системы», «Представление знаний в информационных системах», «Теория языков программирования и методы трансляции», «Системное программное обеспечение», «Технология разработки программного обеспечения», "Интеллектуальные системы и технологии", "Системы искусственного интеллекта и принятие решений").
Оценка качества порождаемых компьютерных тестов
Надежность и валидность компьютерных тестов, сгенерированных средствами ИИПС исследовалась более чем на 30 учебных тестах, содержащих до 50 вариантов конкретного теста по данной дисциплине, при объеме выборки испытуемых от 20 до 300 человек.
Валидность теста определялась по правилу мажоритарной логики (голосование по большинству), надежность - по формуле Спирмена-Брауна:
гп = 2 г/(1 + г),
где - коэффициент корреляции Пирсона). Результаты некоторых экспериментов представлены в таблице 1.
Таблица 1
Качество учебных компьютерных тестов
Количество вопросов
Название № Количество всего оставшихся валидных Надеж-
дисциплины теста испытуемых в тесте без ответа ность
Информационные 1 92 25 - 19 0,83
технологии 2 41 20 - 12 0,66
3 28 14 - 11 0,61
Метрология 1 67 10 - 6 0,71
2 36 20 - 14 0,70
Методы и 1 51 15 - 11 0,79
средства защиты
компьютерной информации
Надежность полученных тестов лежит в диапазоне от 0,66 до 0,83, что говорит о достаточно высоком качестве компьютерных тестов и возможности их дальнейшего применения в составе ЭУМКД.
Заключение
Изложенный в данной статье опыт применения авторского метода генерации компьютерных тестов позволяет говорить о широких возможностях использования представленного подхода в современных КОС в условиях массовой подготовки бакалавров и магистров, особенно с использованием ЭУМКД и дистанционных образовательных технологий. Приведенные решения и разработанная инструментальная программная система могут быть использованы в обучающих системах по различным естественно-научным, техническим и гуманитарным дисциплинам. Метод основан на фундаментальных математических формализмах продукционных систем и формальных грамматик, что открывает широкие возможности для дальнейшего научного поиска и совершенствования механизмов генерации компьютерных обучающих тестов. Исследуются возможности комбинирования методов генерации и извлечения тестовых заданий из текстов учебных пособий [17], прорабатываются различные стратегии генерации в рамках алгоритмов реализации продукционных механизмов, рассматривается применение методов формальной семантики для совмещения порождающих правил формальных грамматик с онтологиями предметных областей изучаемых учебных дисциплин [18].
Полное описание функционирования инструментальной программной системы, детали ее технической реализации и практического использования требуют отдельного более подробного и иллюстративного изложения.
Литература
1. Загвязинский, В.И. Теория обучения: современная интерпретация: учеб. пособие/ В.И. Загвязинский. - М.: Издательский центр «Академия», 2006. - 192 с.
2. Ржеуцкая, С.Ю. Интегрированная информационная среда обучения как средство развития иноязычной коммуникативной компетенции / С.Ю. Ржеуцкая, М.В. Харина // Открытое образование. - 2016. - Т. 20, № 1. - С. 43-48.
3. Зорин Ю.А. Автоматизация построения многовариантных тестовых заданий на основе деревьев и/или : диссертация ... кандидата технических наук : 05.13.06 / Зорин Юрий Алексеевич; [Место защиты: С.-Петерб. нац. исслед. ун-т информац. технологий, механики и оптики]. - Томск, 2014. - 139 с.
4. Давыдова, Н.А. Автоматизированный синтез тестовых заданий для систем педагогического контроля знаний / Н.А. Давыдова, И.Д. Рудинский // Информатизация образования и науки. - 2013. - № 1(17). - С. 77-90.
5. Монахов, М.Ю. Методы и модели обработки и представления информации в распределенных образовательных системах : диссертация ... д-ра техн. наук : 05.13.01, 05.13.10 / Монахов Михаил Юрьевич. [Место защиты: Владимирский государственный университет]. - Владимир, 2005. - 418 с.
6. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) / И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. - Казань: Казанский государственный технологический университет, 2005. - 126 с.
7. Башмаков, А.И. Разработка компьютерных учебников и обучающих систем. / А.И. Башмаков, И.А Башмаков. - М.: Филин, 2003. - 430 с.
8. Горбатов, Д.С. Практикум по психологическому исследованию: Учеб. Пособие. / Д.С. Горбатов - Самара: Издательский дом «БАХРАХ-М», 2000. - 248 с.
9. Клайн, П. Справочное руководство по конструированию тестов / П. Клайн - Киев: Ника-Центр Лтд, 1994. - 283 с.
10. Brusilovsky, P., Sosnovsky, S., Yudelson, M. Addictive links: the motivational value of adaptive link annotation // New Review of Hypermedia and Multimedia. - 2009. Vol. 15, № 1. - P. 97-118.
11. Галеев, И.Х. Развитие адаптивных технологий обучения / И.Х. Галеев // Вестник Воронежского государственного университета. Серия: Проблемы высшего образования. - 2004. - №2. - С. 76-84.
12. Галеев И.Х. Проблемы и опыт проектирования ИОС / И.Х. Галеев // Международный электронный журнал "Образовательные технологии и общество (Educational Technology & Society)" - 2014. - Vol.17, №4. - C.526-542. - ISSN 1436-4522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
13. Ullrich, C. Pedagogically Founded Courseware Generation for Web-Based Learning: An HTN-Planning-Based Approach Implemented in PAIGOS. - Berlin; New York : Springer, 2008. Lecture notes in computer science. Lecture notes in artificial intelligence. Vol. 5260. - 257 p.
14. Посов, И.А. Обзор генераторов и методов генерации учебных заданий / И.А. Посов // Образовательные технологии и общество. - 2014. - Т. 17. № 4. - С. 593609.
15. Сергушичева, А.П. Гибридный подход к синтезу тестовых заданий в тестирующих системах / А.П. Сергушичева, А.Н. Швецов //Математика, Компьютер, Образование: Сборник научных трудов. Выпуск 13. Том 1 / Под ред. Г.Ю. Ризниченко. - Москва-Ижевск, R&C Dynamics, 2006. - С.215-228.
16. Швецов, А.Н. Система синтеза учебных тестов на основе формальных грамматик / А.Н. Швецов, Ю.О. Мамадкулов, С.И. Сорокин // Программные продукты и системы. - 2013. - №2 (102). - С. 181-185.
17. Швецов А.Н., Куртасов А.М. Метод автоматизированной генерации контрольно-тестовых заданий из текстов учебных материалов // Вестник Череповецкого государственного университета. - 2014. - №7(60). - С. 7-11.
18. Швецов А.Н. Проблема интеллектуализации систем дистанционного обучения / Системные стратегии: наука, образование, информационные технологии. Сб. научных статей. Вып. 1. Под ред. О.Б. Голубева и Н.А. Ястреб. - Вологда: ВГПУ, 2013. - С. 132-139.
