Тестирование в системах дистанционного образования Текст научной статьи по специальности «Компьютерные и информационные науки»

С. А. ПАНФИЛОВ, руководитель научно-методиче-ской секции информатизации образования РУО, профессор кафедры ТОЭ МГУ им. Н. П. Огарева

ТЕСТИРОВАНИЕ В СИСТЕМАХ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ

Организация достоверного и эффективного контроля качества знаний обучаемых является областью, требующей постоянного внимания преподавателей. Особенно актуальной данная задача становится в связи с внедрением в образовательную практику систем дистанционного образования (ДО). Так, в Концепции создания и развития системы дистанционного образования (СДО) в России отмечается: „Решение проблемы контроля качества ДО, его соответствие

образовательным стандартам имеет принципиальное значение для успеха всей СДО. От успешности ее решения зависит академическое признание курсов ДО, возможность зачета их прохождения традиционными учебными заведениями. Для осуществления контроля в системе ДО должна быть создана единая система тестирования. В качестве форм контроля могут быть использованы дистанционно организованные экзамены, собеседования, практические, курсовые и проектные работы, экстернат".,

В общем случае в обучении используют специализированные информационные системы. Основное внимание при их разработке уделяется методам организации учебного материала, форме выдачи порции информации обучаемому, оптимальному распределению материала во время обучения и т. д. При этом вопросы промежуточного и рубежного контроля знаний не соответствуют достигнутому уровню автоматизированных обучающих систем (АОС). В большинстве случаев контроль усвоения знаний ведется путем

подсчета правильных однозначных ответов, жестко связанных с текстом вопроса. На наш взгляд, это снижает эффективность обратной связи обучаемый — АОС, вследствие чего потенциальные возможности информационных систем, применяемых в обучении, используются не в полной мере. Для повышения их эффективности необходимо расширение дидактических возможностей систем в области контроля и оценки знаний, усвоенных обучаемыми. Названным целям служит излагаемая методика, ориентированная на управление процессом обучения на основе оценок качества знаний, полученных по результатам тестирования.

Специфика компьютерного обучения заключается в том, что • для усвоения предлагается заранее отобранная, систематизированная, упорядоченная и формализованная информация. Каждый кадр учебной информации является семантически законченным фрагментом. Теми же свойствами, по сути, обладают и эталоны, относительно которых ведется анализ знаний.

Для получения достоверной, обоснованной оценки требуется проведение синтаксического и семантического анализа

%

ответов. Синтаксический анализ предполагает выделение элементов эталонного ответа из совокупности элементов вводимого ответа. Под семантическим анализом мы понимаем операции поиска, маркировки и сортировки соответствующих типов семантических единиц и за-ясимостей среди элементов ответа, на :новании которых вычисляются те или

© С. А. Панфилов, 1997

иные характеристики качества знаний.

Измерение каждой характеристики и получение комплексной оценки производится относительно эталона ответа с помощью операции пересечения.

Сравнение данного метода с другими, в частности с методами таксономической классификации, применяющими критерий таксономического подобия, показало, что предлагаемый подход представляется более полным и в большей степени соответствует задаче контроля знаний, чем прочие.

Для информации, предлагаемой в обучении, самая удобная форма представления — естественный язык. Однако, учитывая сложности проектирования общения ^ системах искусственного интеллекта, использующих ограниченный естественный язык или искусственные языки, близкие к нему, для внедрения в системах контроля знаний целесообразно применение проблемно-ориентированного естественного языка (тезаурус, составленный для каждого отдельного курса). Имеющийся набор терминов, обладающий возможностью расширения номенклатуры, и синонимов позволяет избежать многозначности выражений в предъявляемой информации и ответах. Достоинством языка такого типа является его использование в обучении без предварительной подготовки. Ограничение числа терминов в структуре тезауруса по каждому разделу ведется преподавателем исходя из особенности предмета, глубины, полноты изучения курса и опыта самого, преподавателя.

Функциональная структура таких систем может быть различной, но в них всегда должен присутствовать блок, обосновывающий дальнейшую стратегию действий системы по результатам тестирования. Этот блок, обеспечивающий обратную связь обучаемый — система, предназначен для анализа ответов обучаемого и контроля состояния полученных знаний. Однако если другие подсистемы АОС хорошо структурированы и описаны, то блоки контроля, используемые в системах, требуют дальнейшего развития.

Универсальное решение данного направления, несомненно, лежит в развитии систем искусственного интеллекта и смежных областей. Однако имеющиеся на этом пути трудности заставляют ис-

кать другие подходы к решению задач контроля ответов обучаемого на ограниченном естественном языке.

Подробнее остановимся на подсистеме коррекции обучения, основной целью которой, как уже отмечалось, является организация обратной связи между обучаемым и АОС. В действующих АОС в качестве подсистемы обратной связи используется процедура оценки и анализа ответа обучаемых на заданные системой тесты. Для создания более гибкого алгоритма оценки необходимо отказаться от стандартного формирования структуры ответов в виде совокупности выборочных или выборочно-конструируемых элементов и сделать основной упор на сво-бодно-конструируемые, контекстно-конструируемые и свободные типы формирования ответов. Несомненно, что при реализации анализа ответов такого типа возникают известные трудности синтеза систем искусственного интеллекта, например вопросно-ответных, функционирующих в среде ограниченного естественного языка.

Одним из вариантов упрощения семантического анализа является так называемый квазисемантический анализ информации, позволяющий перейти от сложных семантико-синтаксических структур, подлежащих синтаксическому, морфологическому и семантическому анализу, к их количественно-взвешен-ным критериям. Тем самым анализ семантических систем для данного случая с достаточной степенью точности удается заменить процедурой количественной оценки, базирующейся на некоторой совокупности информационных характеристик.

По сравнению с другими классами информации учебная имеет ряд особенностей, позволяющих упростить ее анализ. К ним относятся: априорное отсутствие синонимии; тезаурус, ограниченный проблемной областью; единая целевая функция обучения для различных типов психофизической деятельности обучаемых; единая организация учебного материала и методов адаптации к характеристикам обучаемых.

С учетом последних замечаний постановка задачи может быть сформулирована следующим образом.

Пусть изучаемая область знаний — это семантическая сеть, структурой ко-

торой должен овладеть обучаемый. Для простоты представим, что элемент сети — квазиграф может состоять из отдельных несвязанных графов, отображающих эталон ответа на заданный тест. В общем случае (так как понятия курса связаны между собой в предмете) квазиграф отражает конечное статическое состояние усвоенных знаний. Правильный ответ ищется на участке сети графа и в зависимости от вопроса может отражать либо фрагмент сети — У^ либо сеть полностью — У0.

Если ответ Ъ совпал с фрагментом сети У^ то ответ верен, и наоборот. Преподаватель в процессе подготовки вопросов реализует процедуру I1: Уо XV, которая переводит фрагмент сети в вопрос на ограниченном естественном языке.

Процедура Р : г -> Уо переводит ответ обучаемого в семантическую сеть У(>. Если фрагменту У^ из Уо поставлен в соответствие прообраз ¥~1 (Ъ), то для выявления полноты ответа необходимо определить степень соответствия У* ответу

а).

Рассмотрим упрощенный случай, когда сеть Уд состоит из фрагментов (подграфов) (Уь У2 ..., Уп) С У0;

П У2П, ..., П Уп = 0.

В процессе контроля система предъявляет обучаемому задание Считаем, что при свободном ведении диалога су-ествует некоторое счетное количество шиантов А; выполнения задания \\^:

А

J

(аі, а2>...» ап}, ^ С В„.

(1)

естественно

ны включать как оптимальные варианты ответа, так и явно неоптимальные (наихудшие). Для их распознавания систе-

мой на ответ накладывается ограничение Вп. Таким ограничением, в частности, может служить предметная область или особенности учебной информации.

Ответ обучаемого aj как элемент учебной информации и соответственно как информационный образ его знаний оценивается системой показателей. Учитываем при этом, что любой информационный фрагмент можно представить в виде совокупности элементов а£, объединенных некоторыми фиксированными типами г,-связи [2 ].

к _ . п (2)

< аи, г, > В„.

Проводя анализ, полагаем, что информационный образ фрагмента знаний при наличии эталона можно описать набором качественных показателей {ТС|ф ^ « Здесь [ {«7Г^ у ^/}

СП1] = П5 — подмножество параметров, описывающих семантический аспект информации; [{7Г/ + 1, Л/ + 2, Лт] С 7Г ] =

П

с

характеристик;

подмножество синтаксических

І {^т+1 > ^т+2> •••»

Сл1]= 1Г — подмножество прагматических характеристик информационного образа знаний обучаемого.

Степень соответствия между введенным в систему ответом а| на задание Wj и графом области (эталоном ответа) У^ можно оценить на базе вычисления оценок совокупности информационных характеристик.

Учитывая, что ац = Ь(П), оценка

(степень соответствия) ответа а^ может быть сведена к виду

П

р

Я(а.)

<

д^П1)), гГ

I

1В„,

(3)

где а (МП1)) -а’Ш1)

тов ответа; г{

п1

оценка элемен-структура связи эле-

ментов при[ ограничениях В„. В силу

того, что ГГ □ ГГ3, ГГ'"', Пр, имеем д’(П!) = < ЧСП55), д(П°), д(Пр) >

(4)

Перепишем (3) в виде

Б

в

Я(аі) = < я(ГР), д(Пи), д(Пр), ^ >,

где 1^! =

Таким образом, на множестве ответов Aj относительно задания \¥; в информационном поле Г задается шкала сопоставляющая каждому элементу

ЕА= С Wj С Г отрезок числовой

прямой И И если Г есть гомоморфизм системы I с отношениями между то образы элементов

3| С I д(аО

суть такие шкальные значения, что исходя из числовых отношений между ними можно делать выводы об отношениях между ответами и эталоном. Следовательно, элементы Е I находятся в отношениях, соответствующих отношениям между шкальными значениями д(ах), Ч(а2>> Я(ак).

Множество ответов обладает рядом свойств, позволяющих более точно определять тип шкалы, по которой ведется

оценка

свойств

Одно из таких

результатов.

— упорядоченность, поскольку при наличии цели обучения по заданному критерию всегда можно упорядочить ответы знаками эквивалентности и (или) предпочтения и отношения предпочтения являются транзитивными. Кроме того, множество безусловно счетно.

Следовательно, при наличии соответствующего критерия качество учебной информации можно измерять по шкале порядка. Используя ее, получаем числовые шкальные значения для вариантов ответа. Как уже отмечалось, свойства шкалы порядка таковы, что для одного и того же множества вариантов ответов имеется множество шкал и величина оценки по различным шкалам может быть также различной, но соотношение порядка между вариантами ответов остается неизменным. Использование одной шкалы в совокупности с одинаковыми эталонами знаний позволяет получить однозначное соответствие между уровнем знаний и оценкой по предмету.

Особенности АОС как стационарной информационной системы в силу ограничений позволяют предположить для класса учебной информации П = 0, IIs = 0, так как эти параметры в системах АОС преподавателю известны и постоянны, а именно: статический ха-

рактер семантической сети проблемной области Yq предполагает пренебречь влиянием обучаемого на формирование исходной семантической сета знаний, что соответствует S = const, П =0. О Гранина формирование а. позволяют установить: G = const, П =0. Эти

упрощения приводят к тому, что (4) запишется в виде

чения

Ч(аО

q(np), Ri > IBn.

(5)

Выражение (5) устанавливает в об-;ем виде зависимость оценки q от совокупности элементов ответа щ при прочих равных условиях (G, S — const).

Полагая, что оценка знаний в АОС не затрагивает уровень знаний, который требует последующей трансформации учебной информации, проанализируем степень влияния характеристик на комплексную оценку ответа обучаемого. Очевидно, что эффективно влияющими на оценку являются: содержательность — Ур и достоверность — ар, поскольку но-

визной в рассматриваемом контексте ответ просто не обладает, а доступность обусловлена использованием единого тезауруса.

При определении оценки анализируемыми элементами базы знаний являются концептуализации, состоящие из пары семантических единиц, связанных семантическими зависимостями одного типа. В качестве семантической единицы (СЕ) может быть взята не только отдельная СЕ, но и другая концептуализация.

Следовательно, фрагмент (эталон ответа) У; может быть образован из совокупности концептуализации К|:

п

У

j

ЦК, (СЕ, СЗ).

(6)

1=1

Пусть п — число достоверных СЕ и СЗ (семантических знаков) в эталоне, а 2РП — число достоверных элементов

(СЕ, СЗ) ответа. Тогда ст, согласно правилам формализации [1 ], определится как

a

I&L.

п

(7)

Часто применяемое для оценки знаний введение весовых коэффициентов, а

где Р

также учет функций принадлежности нечетких знаний трансформируют приведенную зависимость:

ст= [2(т1/*1(°)р1 + ... +

+ + ... + т,/*п(сг)Рп) ]/п, (8)

1, если СЕ-,(\*0 = СЕ|(У)

I = • или СЗ|(\У) = СЗ|(У);

О в противном случае; степень принадлежности ьго элемента ответа.

Показатель содержательности определяется как отношение числа концептуализаций, отражающих содержание фрагмента У| в ответе на вопрос к числу концептуализаций эталона, необходимых для раскрытия вопроса. Элементами, создающими концептуализации, являются не все СЕ и СЗ, а только основные, определяющие существо данного фрагмента знаний. Обозначим количество таких элементов через К, аналогичную величину, содержащуюся в ответе, — 2А* Тоща

X

Я

і

к

(9)

1, если CEj(W) = CE,(Y) и C3,(W) = C3,(Y);

D в противном случае.

Учет возможных весовых коэффициентов и нечеткости знаний аналогично (8) изменяет выражение (9):

где мі(х)

(10)

• О

степень принадлежности 1-й

концептуализации ответа.

Значение комплексной оценки ответа обусловлено видом свертки. Одной из состоятельных для обсуждаемой области анализа является свертка Кеепу [3]. В этом случае оценка ответа определится из следующего выражения:

0=1/2 Т((х + а)+х а).

(11)

В (11) Т

нормирующий множитель,

для привычной пятибалльной шкалы оценки знаний Т * 5.

Изложенная методика приводит к реализации системы анализа и оценки ответов обучаемых, в которой входная информация представляется в виде свободно конструируемых фраз естественного языка, числовых данных, блок-схем или принципиальных схем различных устройств. В языке общения с системой допускаются термины или их синонимы как занесенные в тезаурус, хранящийся в памяти ЭВМ и используемый в процессе обучения, так и не включенные в него. Оценка же знаний определяется в процессе анализа лишь конструкций ответа, содержащих элементы тезауруса, поскольку на его основе реализованы эталоны. Тезаурусы ориентированы на конкретные предметные области знаний.

Блок-схема системы автоматизированной оценки качества изображена на рис.

ЭВМ

Тезаурус

1

Обучаемый

Ответ

Эталон

Процессор

оценки

Оценка

Погрешность

знаний

Задание

Рис. Блок-схема организации оценки качества знаний

Преподаватель выдает задание, одновременно из базы знаний в измерительную систему направляется эталон ответа. Обучаемый, используя тезаурус, формирует ответ и вводит его в ЭВМ. По окончании анализа выводится оценка знаний. Отметим, что процесс оценки знаний в системе моделирует процесс оценки знаний преподавателем: любая его стадия

быть

етально проанализиро-

может вана.

В течение ряда лет изложенная методика оценки знаний используется на ряде кафедр Мордовского университета. Первая версия была реализована в виде подсистемы АОС-ВУЗ-ОСКАР, в дальнейшем программные средства адаптированы для ПЭВМ.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Панфилов С. Л. Контроль знаний на ЭВМ:

Учеб. пособие / Мордов. ун-т. Саранск, 1987. 76 с.

2. Севбо Я. П. Структура связанного текста и автоматизированное реферирование // Лингвистические исследования по общей и славянской

типологии. М., 1966. С. 32 — 39.

3. Кеепу R. L. Evaluating Multidimensional Situations Using a Quasy-Separable Utilite Function 11 IEEE Trans, on Man-Mach. Syst. 1968. Vol. MMS-9. P. 25 - 28.