CC BY
20
УДК 004.4'2
Е. В. Кабак, ассистент; Л. С. Мороз, ассистент ИНФОРМАЦИОННАЯ МОДЕЛЬ СИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ
The article is devoted to a consideration of an information model of a knowledge control process. This model is an extended version of the model, which is offered by an international e-learning standard IMS. The model focuses on the computer-aided procedures of educational content designing and promotes the decision of problems of simplification of program processing of an educational content and creation of program tool of the computer tutoring system design. Special attention in this article is given to a designing of a test structure and Test Tree building. Test Tree data allows to control and organize the knowledge control process. To solve the problem of e-learning content portability the concept of portable content package (PCP) which represents a special way organized directory containing content, its components and metadata is proposed. We consider, that the account of basic provisions of IMS will promote introduction of software products of the educational appointment focused first of all on functional compatibility and portability.
Введение. Контроль знаний - одно из основных преимуществ и важная часть работы с обучаемыми в рамках автоматизированной обучающей системы (АОС) [1, 2].
Целью процесса контроля знаний является обеспечение эффективной обратной связи с обучаемым, диагностика его знаний для организации адаптивного управления обучением, оценка качества проводимого управления и обучения.
Согласно [1, 2], выделяют два основных подхода, используемых в АОС для организации контроля знаний.
Оценка действий обучаемого (функциональная диагностика) предполагает, что компьютерная (экспертная) система, располагая сведениями о предметной области и правилах оценки действий обучаемого, собирает необходимую информацию о его состоянии путем наблюдения и фиксации параметров рабочих воздействий и соответствующих реакций.
Стандартизированный контроль знаний (тестовая диагностика) позволяет определять уровень знаний обучаемого с помощью специальных тестовых заданий и анализа полученных ответов.
При разработке компьютерных тестов для обеспечения их эффективности необходимо соблюдать следующие основные требования: обеспечение открытости системы тестирования, переносимость тестов на уровне исходных текстов, учет различных типов тестовых заданий, использование различных методов оценки ответов тестируемого.
Кроме того, тесты, тестовые задания, как и любые другие учебные объекты, должны разрабатываться в соответствии с принципами модульности, интероперабельности, возможности оперативной актуализации и многократного повторного использования, совместимости, интегрируемости в различные компьютерные системы обучения и тестирования. Достижение поставленных целей предполагает учет международных стандартов, спецификаций и рекомендаций, существующих в области электронного обучения,
таких как SCORM, IMS, DCMI, LOM и др., а также применение новых информационных технологий, передового опыта в области разработки специального программного обеспечения.
Следует также отметить, что для организации эффективного управления процессом контроля знаний компьютерная система должна располагать сведениями о структуре и содержании учебного теста.
Таким образом, актуальной является проблема разработки четкой информационной модели процесса контроля знаний, которая предоставляет возможность введения в тест различных параметров, позволяющих разработчику теста реализовать свои представления об организации процесса тестирования. Значит, модель системы контроля знаний должна состоять из двух взаимосвязанных слоев. Первый слой должен обеспечить отображение на экране компьютера структуры теста и содержимого тестовых заданий, а второй (скрытый) - хранение набора параметров и их значений, используемых компьютерной системой для организации процесса контроля знаний.
Данная статья посвящена рассмотрению информационной модели системы контроля знаний, основанной на понятии дерева теста, и метода структурирования и обмена тестами (тестовыми заданиями) между различными системами тестирования, основанного на понятии переносимого пакета контента (ППК).
Основная часть. Разработка информационной модели системы контроля знаний осуществлялась с учетом основных положений спецификации IMS QTI [3].
Преимуществом такого выбора является отсутствие ограничений в спецификации с точки зрения пользовательского интерфейса, применяемых педагогических парадигм, образовательных и информационных технологий. Все это позволяет обеспечить поддержку нововведений, существующих в области педагогики, единый способ структурирования и обмена учебно-методическими (тестовыми)
материалами, их совместимость и возможность повторного использования.
В общем виде структура любого теста может быть представлена в виде дерева, которое назовем деревом теста (ДТ). Заметим, что идея построения дерева теста во многом схожа с идей построения дерева деятельности, предложенной в [4]. Основные различия заключаются в используемых типах вершин ДТ и наборе их атрибутов.
Дерево теста представляет собой связный размеченный граф БТ = (Т, Ь), где Ь - множество ребер; Т = (Т1, Т) - множество вершин ДТ, которые в свою очередь делятся на Т1 = {¿\, ..., -множество вершин-секций; п - количество вершин-секций; Т = {¿2Ь ..., - множество вершин-пунктов; т - количество вершин-пунктов в ДТ.
Пример дерева теста показан на рис. 1. На множестве Т вершин дерева теста определено отношение логической зависимости. Отношение логической зависимости 5 в общем случае означает, что если вершины ¿2 е Т и ¿2) е 5, то перейти к вершине ¿2 можно будет только после того, как завершена работа с вершиной ^ (пройдено соответствующее тестовое задание).
Разделение вершин ДТ по типам обусловлено их различиями в функционировании и в наборе хранимых параметров, т. е. каждая вершина ДТ, кроме заголовка, хранит дополнительную информацию, используемую компьютерной системой при управлении процессом контроля знаний.
Особое назначение в структуре дерева теста имеет вершина-корень (0), которая отвечает за хранение значений глобальных переменных (параметров) теста.
Под вершиной-секцией будем понимать поддерево ВТК исходного дерева БТ = (Т, Ь), в которое входит лишь часть вершин ДТ, образующих множество К, вместе с ребрами их соединяющи-
ми, причем начальной точкой поддерева (корнем) БТК является вершина с пометкой «секция». Отсюда следует, что секция характеризуется возможностью обладать сложной иерархической структурой и представляет собой узел ветвления в дереве теста. При этом вершина-секция может иметь неограниченное число потомков обоих из названных типов. Будем использовать тип вершины «секция» для изменения порядка обхода вершин ДТ, которые являются непосредственными потомками вершины-секции.
Выделим для вершин ДТ два режима обхода:
1) линейный - переход только в направлении вперед, соблюдая порядок обхода от предыдущего элемента к следующему;
2) нелинейный - произвольный порядок обхода непосредственных потомков вершины в любом из направлений; в данном случае недопустимо определение строгого порядка обхода вершин-секций.
Отметим также, что вершина-секция может быть использована, если в структуре ДТ присутствуют вершины-пункты, требующие выполнения определенных условий, и эти условия являются общими для данной совокупности вершин-пунктов.
Все условия можно разделить на предусловия и постусловия. Под условием будем понимать некоторое логическое выражение, проверяемое системой контроля знаний. Предусловием назовем условие, оцениваемое системой при входе в вершину ДТ, постусловием - условие, оцениваемое при выходе из вершины. При этом каждому условию может быть поставлено в соответствие некоторое «действие» - операция, выполняемая в случае положительного результата оценки соответствующего условия. Связная пара «условие - действие» представляет собой правило, определенное на ДТ.
- пометка вершины-секции О - пометка вершины-пункта 4 — - дерево раздела теста
\___) - дерево подраздела теста
Рис. 1. Представление структуры компьютерного теста в виде дерева теста
В зависимости от количества условий можно выделить следующие типы правил: простое - одно условие и одно действие, фиксирующее - много условий и одно действие. Действия, например, могут разрешать или запрещать выполнение тестового задания, направлять тестируемого на повторное прохождение испытания и т. д. Основная идея использования условий может быть связана с анализом среднего балла успеваемости тестируемого или результата, полученного тестируемым в течение сессии (сеанса) отдельного тестового задания, секции или всего теста.
Под вершиной-пунктом будем понимать концевую вершину ДТ, хранящую ссылку на физический файл тестового вопроса (задания). Одной из наиболее важных характеристик вершины-пункта является ее функционирование в контексте родительского элемента.
Список общих атрибутов вершин ДТ различного типа представим с помощью кортежа:
<Id, Tit, D, Obj, Nm, C, Res, Fb>, (1)
где Id - уникальный идентификатор; Tit - заголовок вершины; D - время, отводимое на выполнение всех тестовых заданий вершины (включая задания, определенные для непосредственных потомков вершины); Obj - учебная цель; Nm - значение балла успеваемости, при котором тестируемому разрешено приступить к выполнению задания; C - условия, установленные для вершины; Res - результаты тестирования; Fb - текст обратной связи.
В общем случае [3] выделяются два типа обратной связи: интегральная и модальная, различие между которыми заключается в моменте их вызова, а также в возможности оперативного влияния на результаты тестирования. При этом не определяются возможные различия в структуре обратной связи. Так, например, для вершины-корня и вершины-секции дерева теста при организации обратной связи может формироваться итоговый отчет о результатах
тестирования. Для вершины-пункта в структуру обратной связи могут входить: информационные сообщения для случаев верного и неверного ответов, правильное решение, предъявляемое в текстовой форме, набор подсказок и соответствующая им система баллов, которая будет влиять на результаты тестирования.
Список дополнительных атрибутов вершины-корня ДТ представим следующим кортежем:
<Des, Ath, Date, RqN, Sr, Ea, S, T1, T2>, (2)
где Des - краткое описание теста; Ath - автор теста; Date - дата создания (редактирования) теста; RqN - флаг запроса имени тестируемого до начала процесса тестирования; Sr - флаг, определяющий необходимость передачи результатов тестирования по электронной почте, используя для этого адрес, хранимый атрибутом Ea; S - порядок обхода потомков вершины; T1 и T2 - соответственно секции и тестовые задания, являющиеся непосредственными потомками корня дерева теста.
Кортеж (3) описывает дополнительные атрибуты вершины-секции:
<T2, O>. (3)
Здесь атрибут О позволяет устанавливать для вершины-секции признак случайного порядка предъявления вариантов ответов на текст вопроса задания (рис. 2). Использование этого признака предотвратит возможность запоминания правильного порядка ответов тестового задания в случае его повторного выполнения в контексте вершины-секции.
Совокупность дополнительных атрибутов вершины-пункта представим кортежем:
<Ac, Al, Ib, Sh>, (4)
где Ac - флаг контроля над количеством попыток тестирования; Al - максимальное количество попыток тестирования; Ib - тело тестового вопроса; Sh - флаг изменения порядка предъявления вариантов ответов.
Z.T2 —»{0, 1}
Г0 - порядок по умолчанию
if е T2
Z( О=il -
случайный порядок
V - множество вариантов ответа тестового
Л
задания ^
N = IV - количество элементов множества V N1 - количество комбинаций элементов множества V
Z( t2) = 1
Список всех возможных неповторяющихся комбинаций вариантов ответов.
N = 3 N! = 6
Vl -V2 - V3 Vi - V3 - V2 V2 - Vi - V3 V2 - V3 - Vi V3 - Vi - V2 V3 - V2 - Vi
Рис. 2. Использование признака случайного порядка предъявления вариантов ответов
Отметим, что в зависимости от типа тестового задания список атрибутов, определяющих тело вершины-пункта, может сильно отличаться. Однако постоянными составляющими будут являться заголовок, текст задания, инструкции по его выполнению.
Также сделаем акцент на том, что основной идеей оценки ответов на тестовые задания, согласно предлагаемой модели, является возможность применения различных методов оценки. Целесообразность использования того или иного метода может быть оценена разработчиком теста, а не жестко определяться системой тестирования.
После того, как структура и содержимое учебного теста определены, может быть сформирован переносимый пакет контента [5].
Переносимый пакет контента - пакет, который состоит из совокупности тестовых заданий и их метаданных, включает манифест-файл старшего уровня и совокупность физических файлов, идентифицированных в манифесте. ППК может содержать вложенные директории. Файл-манифест - это XML-документ, непосредственно описывающий учебный тест. Переносимый пакет контента представляет собой единый способ структурирования и обмена учебными и учебно-методическими материалами.
Решение задачи совместимости, интегрируемости и переносимости учебных и учебно-методических материалов также обеспечивает метод их создания и использования, отличительной особенностью которого является разделение операций над контентом на независимые составляющие: создание, представление (визуализация) и определение правил функционирования.
Немаловажное значение также имеет использование средств новых информационных технологий, применяемых в области электронного обучения. В настоящее время все большее распространение получают так называемые «Х-технологии»: XML, XSL, XSLT, XPath, XSL Formatting Object (XSL FO), XHTML, RDF, XML Schema, XLink, XPointer, XInclude, MathML, CML и др. Использование перечис-
ленных технологий предоставляет возможность разработчику тестов осуществлять их оперативную актуализацию, создает предпосылки для сокращения времени управления разработками и увеличения количества работ, результаты которых можно применять повторно.
Заключение. В статье рассмотрены основные аспекты создания компьютерной системы тестирования, сформулированы требования, предъявляемые к подобному классу систем. Особое внимание уделено вопросам совместимости и интегрируемости компьютерных тестов и тестовых заданий. Более подробно исследована информационная модель системы контроля знаний, основанная на понятии дерева теста, включающая средства для визуализации структуры и содержимого тестов, гибкого управления процессом контроля знаний с помощью средств вычислительной техники.
Литература
1. Савельев, А. Я. Подготовка информации для автоматизированных обучающих систем: метод. пособие для преподавателей и студентов вузов / А. Я. Савельев, В. А. Новиков, Ю. И. Лобанов. - М.: Высшая школа, 1986. - С. 176.
2. Карпова, И. П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах: дис. ... канд. техн. наук: 05.13.13 / И. П. Карпова. - М., 2002. - 200 л.
3. IMS Question and Test Interoperability Assessment Test, Section, and Item Information Model: Public Draft (revision 2) Specification / IMS Global Learning Consortium [Electronic resource]. - Version 2.1. - 8 June 2006. - Mode of access: http://www.imsglobal.org.
4. Кабак, Е. В. Информационная модель организации учебного контента системы автоматизированного создания и модификации компьютерных средств обучения / Е. В. Кабак // Труды БГТУ. Сер. VI, Физ.-мат. науки и ин-форм. - 2008. - Вып. XVI. - С. 141-144.
5. SCORM Content Aggregation Model, Version 1.3.1 [Electronic resource]. - 22 July 2004. -Mode of access: http://www.adlnet.org.
