Моделирование процесса формирования ответов на задания с выбором нескольких правильных ответов Текст научной статьи по специальности «Компьютерные и информационные науки»

МОДЕЛИРОВАНИЕ ПРОЦЕССА ФОРМИРОВАНИЯ ОТВЕТОВ НА ЗАДАНИЯ С ВЫБОРОМ НЕСКОЛЬКИХ ПРАВИЛЬНЫХ ОТВЕТОВ

\ Методдлоои£я \

Александр Рыбанов,

Волжский политехнический институт (филиал) ФГБОУ ВПО «Вологоград-ский государственный технический университет»

Компьютерные системы тестирования знаний (КСТЗ) можно классифицировать различными способами. Одной из таких классификаций является классификация по способу их программной реализации. В статье рассматривается один из инструментов автоматизированной системы управления учёбой Моо^е, а именно инструмент для создания и проведения опМпе-тестирования. Моо^е является популярнейшим, а кроме того и типичным представителем группы КСТЗ, программная реализация которых полностью базируется на интернет-технологиях, а программная оболочка есть не что иное, как обычный браузер. Рассмотрение системы осуществляется с точки зрения того, насколько она соответствует основным требованиям к КСТЗ, изложенным автором в статье «Основные требования к компьютерным системам тестирования знаний (КСТЗ)».

Ключевые слова: компьютерные системы тестирования знаний; программное обеспечение для тестирования; тестирование; критерии при выборе программного обеспечения для тестирования; организация тестирования в Moodle; Moodle.

Введение

Создание и развитие информационного общества обеспечивают широкое применение информационно-коммуникационных технологий (ИКТ) в образовании. В настоящее время большое внимание уделяется вопросам повышения точности компьютерной оценки знаний пользователей веб-ориентированных систем электронного обучения. В работе Deutsch T, Herrmann K, Frese T, Sandholzer H.1 приводится обзор проблем, влияющих на проведение итогового компьютерного тестирования знаний. Основные направления повышения качества и достоверности результатов компьютерного тестирования можно представить следующими группами: стратегии компьютерного тестирования знаний, методы количественной оценки результатов компьютерного тестирования, повышение качества тестовых заданий.

-1-

Deutsch, T., Herrmann, K, Frese, T., Sandholzer, H. Implementing computer-based assessment — A web-based mock examination changes attitudes // Computers and Education, 58 (4), 2012. P. 1068-1075.

3' 2 0 12

49

измерения

-2-

Liu L, Wang W, Zhang M. The quality assessment of student learning based on cloud model // Journal of Software 7 (3), 2012.

P. 588-593.

-3-

Cheng, S.-C., Lin, Y.-T., Huang, Y.-M. Dynamic question generation system for web-based testing using particle swarm optimization // Expert Systems with Applications 36 (1), 2009, pp. 616-624.

Постановка проблемы

Для повышения точности результатов компьютерного тестирования в работе Liu L, Wang W., Zhang M.2 предложен метод оценки знаний пользователя, основанный на модели облака, а в работе Cheng S.-C, Lin Y.-T, Huang Y.-M.3 предлагается адаптивное тестирование, основанное на методе оптимизации роем частиц.

В существующих на сегодняшний день веб-ориентированных системах электронного обучения, обеспечивающих компьютерное тестирование, при оценке степени соответствия ответа на тестовое задание эталонному ответу, во

внимание принимается конечный ответ пользователя, но не учитывается динамика процесса его формирования4.

В свою очередь, по динамике процесса формирования пользователем конечного ответа на тестовое задание можно судить о следующем5: выборе пользователем правильного ответа наугад; сомнении пользователя в правильности своего знания; использовании пользователем подсказок и др.

Анализ процесса формирования пользователем конечного ответа рассмотрим на примере тестовых заданий с выбором нескольких правильных ответов (рис. 1):

Укажите конструктивные элементы концептуальной схемы базыдэных:

Г" Связь Г" Кортеж Р Атрибут Г Поле Р Отношение Р Сущность Г Элемент данных

НАЧАЛЬНОЕ

CDCTDHHHE

Г Связь Г" Кортеж [7 Атрибут Г Поле Г Отношенне Г Сущность Р Элемент данных

ШАГ 1.

Р Связь Г Кортеж |7 Атрибут Г Поле [7 Отношение Г Сущность Р Элемент данных

ШАГ 2.

R Связь Г Кортеж 17 Атрибут Г Поле 17 Отношение Г С^цность Р Элемент данных

ШАГ 3.

Связь Ксртеж Атрибут Поле

Отношенне Сущность Элемент данных

ШАГ 4.

С

ПРОЦЕСС ФОРМИРОВАНИЯ ПОЛЬЗОВАТЕЛЕМ КОНЕЧНОГО ОТВЕТА НА ТЕСТОВОЕ ЗАДАНИЕ

Î>

17 Связь Г Кортеж |7 Атрибут Р Поле Г Отндиение Г Сущность Р Элемент данным

Ввод конечного ответа

-4-

Рыбанов А.А. Количественные оценки эффективности процесса формирования ответов на тестовые задания при дистанционном тестировании знаний // Качество. Инновации. Образование. 2006. № 5. С. 44-52.

Рис. 1. Пример процесса формирования ответа

В веб-ориентированных систе- только сравнение конечного отве-

мах электронного обучения, как та пользователя6 (рис. 1 — шаг 4)

правило, итоговая оценка в отве- с эталонным ответом (рис. 2),

та на тестовое задание включает и вычисляется по формуле:

6

-5-

Bereby-Meyer, Y, Meyer, J., Flascher, O.M. Prospect Theory Analysis of Guessing in Multiple Choice Tests // Journal of Behavioral Decision Making, 15 (4), 2002. P. 13-327.

Рыбанов А.А. Моделирование динамики процесса формирования ответов на тестовые задания закрытой формы при дистанционном тестировании знаний // Открытое образование. 2006. № 6. С. 43-50.

в = в • 8, (1) где ве (0; 1) — мера трудности тестового задания; 8 — степень соответствия конечного ответа пользователя на тестовое задание эталонному ответу.

ЭТАЛОННЫЙ ОТВЕТ

1 -

0

1

0

0

1

0

[7 Снизь I Кортеж J7 Атрибут

Г~ Поле I- Отношение [7 Сущность I Элемент даннык

Рис. 2. Эталонный ответ на тестовое задание

Один и тот же конечный ответ на тестовое задание может быть получен пользователем при различных траекториях процесса его формирования. Поэтому динамика процесса формирования пользователем конечного ответа должна учитываться при выставлении итоговой оценки за тестовое за-дание7. Время отклика является дополнительным источником информации, необходимой для оценки уровня подготовленности испытуемого, выполняющего тест, а также для анализа процесса тестирования8.

Математическое описание

Для повышения точности результатов компьютерного тестирования предлагается оценивать динамику процесса формирования пользователем конечного ответа следующими коэффициентами:

1) [ — коэффициент потерь времени;

2) п — коэффициент правильного выбора.

Коэффициент [I учитывает потери времени при формировании пользователем конечного ответа на тестовое задание, вызванные выбором и последующей отменой элементов ответа на тестовое задание. Например, на шаге 2 (рис. 1) пользователь выбирает элемент ответа «Отношение», который на шаге 4 (рис. 1) отменяет.

Коэффициент п характеризует правильный выбор пользователем конечного ответа, т.е. учитывает последовательность выбора правильных и неправильных элементов ответа с учётом их весовых коэффициентов. Например, траектория процесса формирования пользователем конечного ответа на тестовое задание, представленная на рис. 1 (шаг 1 — выбор «Атрибут», шаг 2 — выбор «Отношение», шаг

3 — выбор «Связь», шаг 4 — отмена «Отношение»), приводит к конечному ответу {«Атрибут», «Связь»} и должна иметь более высокое значение критерия п, чем траектория получения того же самого конечного ответа: шаг 1 — выбор «Отношение», шаг 2 — выбор «Атрибут», шаг 3 — выбор «Связь», шаг

4 — отмена «Отношение». Т.е., чем быстрее пользователь выбирает правильные элементы ответа с наибольшими весовыми коэффициентами, тем выше коэффициент правильного выбора п.

Таким образом, итоговая оценка в ответа тестируемого на тестовое задание должна определяться не только мерой трудности в и степенью соответствия 8 конечного ответа эталонному ответу, но и коэффициентами [ и п.

Модель тестового задания с множественным выбором отве-

-7-

Рыбаков А.А. Моделирование динамики процесса оценивания ответов для тестовых заданий на установление соответствия при дистанционном тестировании знаний // Качество. Инновации. Образование. 2008. № 1. С. 2-9.

-8-

Van Der Linden, W.J. Using response times for item selection in adaptive testing // Journal of Educational and Behavioral Statistics 33 (1), 2008. P. 5-20.

3' 2 0 12

51

измерения

та типа «несколько из нескольких» представим в виде:

Т = (а Б, Г, Б, в), (2)

где Q — содержание вопроса;

Е = ( = 1, п) — множество элементов для формирования ответа на тестовое задание;

Г = (= ЛМ),г, е(0;1),, = 1п) —

множество весовых коэффициентов, где — весовой коэффициент е, элемента;

О = ^ = Л2 (е,), е В =

= {0,1},, = 1п) —

эталонный ответ на тестовое задание, где di — дескриптор е, элемента ответа (di = 1, если е, является элементом эталонного ответа, di = 0 — в противном случае);

в — мера трудности тестового задания.

Для множеств Б и Г должны выполняться следующие условия:

1 <£(1 -d1), (3)

,=1 ,=1

Е71 ■ d, = 1К '(1 -d1 ) = 1. (4)

,=1 ,=1

Пример 1. Формализованное представление тестового задания с множественным выбором ответа, представленного на рис. 1, определим как Т1 = (Q, Б, Г, Б, в) , где = Q, = "Укажите конструктивные элементы концептуальной схемы базы данных'',

Е=

связь "Г 0.45"

кортеж 0 0.25

атрибут 1 0.25

поле , Б = 0 , Г= 0.30

отношение 0 0.30

сущность 1 0.30

элемент данных 0 0.15

в = 0.82.

Конечный ответ пользователя на тестовое задание Т представим в виде множества:

Ш = ( Ц е В = {0,1},, = ГП). (5)

Степень соответствия конечного ответа пользователя на тестовое задание эталонному ответу определим как:

п

8 = Л( w2,..., пп ) = 'Ег, ■ •(2di -1) ,=1

(6)

где е В — дескриптор г-го элемента конечного ответа пользователя на тестовое задание; Л(,п2,...,пп) — функция оценки соответствия конечного ответа пользователя на тестовое задание эталонному ответу.

Пример 2. Конечный ответ пользователя на тестовое задание Т1 с множественным выбором ответа:

W = (1,0,1,0,1,1,0), 3 = /(1,0,1,0,1,1,0) = 0.70. Положение в пространстве Ш()=(((^(}...,(1еВ", которое занимает ответ пользователя при фиксированном Ц, назовём образом ответа пользователя на тестовое задание, а время ^ — точкой фиксации образа ответа

При формировании конечного ответа образ ответа пользователя на тестовое задание изменяется, описывая в фазовой плоскости В" некоторую кривую, которую назовём траекторией процесса формирования пользователем ответа на тестовое задание.

Параметры соответствия образа ответа пользователя W(í;•) эталонному ответу Б на тестовое задание рассчитываются по следующим формулам:

)=Х г, • (1 - а,) • (),

(8)

где а(^) — сумма весов правильных элементов ответа, помеченных в образе Щ^) как правильные; И(^) — сумма весов неправильных элементов ответа, помеченных в образе W(tj) как правильные.

Начальной точкой траектории процесса формирования пользователем ответа на тестовое задание с множественным выбором ответа будем называть образ ответа W(tQ), удовлетворяющий следующим условиям:

Ж (о )=( ((о Ь ((о )= 0,1 = и) (9)

Промежуточной точкой траектории процесса формирования пользователем ответа на тестовое задание с множественным выбором ответа будем называть образ ответа W(tk), где ^ — время выполнения пользователем операции «установление метки» («снятие метки») о правильности элемента ответа на тестовое задание в процессе формирования ответа.

Заключительной точкой траектории процесса формирования пользователем ответа на тестовое задание с множественным выбором ответа будем называть образ ответа W(tm), где ^ — время завершения процесса формирования пользователем ответа на тестовое задание (ввод пользователем конечного ответа).

Траекторию Р процесса формирования пользователем ответа на тестовое задание с множест-

венным выбором ответа определим как упорядоченную последовательность образов ответов пользователя:

Рг = ((( еКг, ] = 0,т), (10) удовлетворяющую следующим условиям:

(( -1)-Ч (( ) = 1, к =, (11)

!=1

W(tm) = W(tm_l), (12)

где Уг = ((] = 0,т) — множество точек фиксации образов ответов.

Один и тот же ответ на тестовое задание с множественным выбором может быть получен при различных траекториях процесса его формирования.

Пример 3. Примеры траекторий процесса формирования пользователями одного и того же конечного ответа на тестовое задание Т1 с множественным выбором:

(

Ро =

0 1 1 1 1

0 0 0 0 0

0 0 1 1 1

0 0 0 0 0

0 0 0 0 0

0 0 0 1 1

0 0 0 0 0

Л

У0 = (0,35, 50, 65, 80)

Р =

0 1 1 1 1 1

0 0 0 0 0 0

0 0 1 1 1 1

0 0 0 0 0 0

0 0 0 0 1 1

0 0 0 1 1 1

0 0 0 0 0 0

V =(0,35, 45, 55, 65, 80)

\ Методдлоои£я \

измерения

Рг =

Рз =

0 1 1 1 1 1 с 0 0 0 1 1 1

0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 1 1 0 0 0 0 1 1

0 0 0 0 0 0 Р4 = 0 0 0 0 0 0

0 0 0 1 1 1 0 0 1 1 1 1

0 0 1 1 1 1 0 1 1 1 1 1

0 0 0 0 0 0 \ V (( 0 0 0 0 0 0 У

, 35, 45, 55, 65, 80) V = ), 35, 45, 55, 65, 80)

0 0 0 1 1 1 0 0 1 1 1 0 0 1 1 1 \

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 1 1 0 0 0 0 0 0 1 1 1 1

0 0 0 0 0 0 Р5 = 0 0 0 0 1 1 1 1 0 0

0 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1

0 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1

0 0 0 0 0 0 У V 0 0 0 0 0 0 0 0 0 0 У

V = (0,35, 45, 55, 65, 80)

V5 = (0,15,25,35, 45, 55, 60, 65, 70,

Любой динамический параметр процесса формирования пользователем ответа на тестовое задание можно представить в виде непрерывной кусочно-линейной функции, например, а($) и Ь(£) для траектории Р2 :

а(г) =

0 0 < г < 35 0 0 <г< 35

0.45 35 < г < 45 0 35 <г< 45

0.75 0.75 45 < г < 55 55 < г < 65 к(Г) = ■ 0 0.3 45 < < 55 55 <г< 65

1 65 < г < 80 0.3 65 <г< 80

1 г = 80 0.3 г = 80

(13)

2

На рис. 3-4 приведены динамические параметры а(^) и Ь(^) для траекторий Р1 и Р5 (пример 3)

формирования пользователем одного и того же конечного ответа на тестовое задание Т1 .

Рис. 3. Динамические параметры а(Ь) и к(Ь) для траектории Р2

Рис. 4. Динамические параметры а(Ь) и к(Ь) для траектории Р5

Траектория процесса формирования пользователем ответа отражает динамику выбора ответа на тестовое задание. Учитывая, что пользователь в первую очередь выбирает элементы ответа, которые он считает правильными (коэффициент п), а также количество шагов, за которое он приходит к конечному ответу (коэффициент ¡л), в качестве метри-

ки, характеризующей динамику процесса формирования ответа, предлагается использовать коэффициент общей эффективности процесса формирования пользователем конечного ответа

£ = П • Л- (14)

С учётом коэффициента итоговая оценка в' ответа тестируемого на тестовое задание будет вычисляться как:

измерения

0' - в • 3. (15)

Коэффициент правильного выбора ц в процессе формирования пользователем конечного ответа на тестовое задание определим как:

т-1

I ё ('г ) •(( +1 - 4 )

П = т-г^-- (16)

1(ё('г ) + Ь('г ))•((+1 - 'г ) г=0

где g (Ь), Ь (Ь), — функции изменения суммы весов всех правильных (неправильных) элементов ответов, выбранных пользователем в процессе формирования конечного ответа на тестовое задание.

Значения g (Ь), Ь (Ь) показывают сумму весов всех правильных (неправильных) элементов ответов по всем точкам фиксации, начиная с £., включая Ь..

0 ' ]

Для тестовых заданий с множественным выбором ответа типа «несколько из нескольких»:

= 1 а(гк),

к =0

ъ(г,)=±Кгк).

к=0

метки» («снятие метки») о правильности элемента ответа, которые выполнил пользователь по всем точкам фиксации, включая £, с начала процесса формирования ответа Ь0 .

Начальные условия процесса формирования пользователем конечного ответа на тестовое задание с множественным выбором ответа: 1(Ь0) = О(Ь0) = 0.

Для тестовых заданий с множественным выбором ответа:

__п_

))• Wгl

щ)=11(1 _ ^ ъ _1)) • ^ ъ), (20)

к=1 г=1

°(*}) = II ^ • (1 - ^ (гд (21)

(17)

(18)

Коэффициент потери времени /л определим как:

т

II ('г) •(( - 'г-1 )

^ = т^1-, ( 19)

!(/ ) + °('г ))•(( - 'г-1 )

г=1

где 1(Ь), О(Ь) — функции изменения количества операций «установление метки» («снятие метки»), сделанных пользователем в процессе формирования конечного ответа на тестовое задание.

Значения 1(Ь), О(Ь) являются количественными характеристиками операций «установление

Коэффициент общей эффективности процесса формирования ответа на тестовое задание £ изменяется в пределах [0; 1].

Результаты моделирования

Рассмотрим траектории Р1, Р2, Р3, Р4 (пример 3) формирования пользователем одного и того же конечного ответа на тестовое задание Тг Упорядочим траектории Рг (г = 1,4) по времени Ьр выполнения пользователем операции «установление метки» для элемента ответа е5 с дескриптором ¿5 = 0: г^ = 35 < г^ = 45 < г^ = 55 < гр = 65.

Коэффициенты цг правильного выбора для траекторий Рг образуют аналогичную последовательность по индексу г :

П3 = 0.551 < п4 = 0.720 < п2 = = 0.870 <п = 0.950, что подтверждает влияние последовательности выбора пользователем правильных и неправильных элементов ответа на коэффициент ц .

к=1 1=1

Рассмотрим траекторию Р5 (пример 3), описывающую процесс формирования конечного ответа, при котором происходит выполнение операций «установление метки» о правильности элементов ответа е1 (при Ь = 25) и е4 (при Ь = 45), с последующим

выполнением операций «снятие метки» для е1 (при Ь = 55 ) и е4 (при Ь = 70). На рис. 5-6 представлены динамические характеристики g(t), Ь(Ь) и 1(Ь), О(Ь) для траектории Р5 процесса формирования пользователем конечного ответа на тестовое задание.

Рис. 5. Динамические параметры g(t) и Ь(Ь) для траектории Р5

Рис. 6. Динамические параметры 1(Ь) и О(Ь) для траектории Р5

Значение коэффициента по- ектории Р1, при формировании терь времени ц5 для траектории Р5 которой операция «снятие мет-меньше, чем значение ^ для тра- ки» пользователем не использу-

измерения

ется. Результат ц5 = 0.870 < ц = 1 подтверждает зависимость между коэффициентом ц и операцией «снятие метки» о правильности элемента ответа.

В таблице приведены критерии, характеризующие динамику процесса формирования пользователем ответа на тестовое задание для траекторий из примера 3.

Таблица

Учёт динамики процесса формирования ответа на тестовое задание

Траектория процесса формирования ответа на тестовое задание 8 в п Ц £=п • Ц Итоговая оценка в = в • 8 Итоговая оценка в'=в • £ • 8

Ро 1.000 0.820 1.000 1.000 1.000 0.820 0.820

Р 0.700 0.820 0.950 1.000 0.950 0.820 0.545

Р, 0.700 0.820 0.870 1.000 0.870 0.820 0.499

Рз 0.700 0.820 0.551 1.000 0.551 0.820 0.316

Р< 0.700 0.820 0.720 1.000 0.720 0.820 0.413

Р5 0.700 0.820 0.691 0.870 0.601 0.820 0.345

Из таблицы следует, что без учёта динамики процесса формирования пользователем ответа итоговая оценка О для одного и того же ответа на тестовое задание одинакова для различных траекторий процесса его формирования. Учёт динамики процесса формирования пользователем ответа на тестовое задание позволяет получить более объективную оценку О' = в • £ • 8.

Предлагаемая система критериев (14-21): п, Ц, £, 8, О, учитывающая динамику процесса формирования пользователем ответов на тестовые задания с множественным выбором типа «несколько из нескольких», внедрена в LMS Моо^е, что обеспечивает корректную оценку знаний при дистанционном тестировании.

Список литературы

1. Deutsch T, Herrmann K, Frese T, Sandholzer H. Implementing computer-based assessment — A web-based mock examination changes attitudes // Computers and Education, 58 (4), 2012. Р. 10681075.

2. Liu L, Wang W, Zhang M. The quality assessment of student learning based on cloud model // Journal of Software 7 (3), 2012. Р. 588-593.

3. Cheng S.-C, Lin Y.-T, Huang Y.-M. Dynamic question generation system for web-based testing using particle swarm optimization // Expert Systems with Applications 36 (1), 2009. Р. 616-624.

4. Рыбанов А.А. Количественные оценки эффективности процесса формирования ответов на тестовые задания при дистанционном тестировании знаний // Качество. Инновации. Образование. 2006. № 5. С. 44-52.

5. Bereby-Meyer Y, Meyer J., Flascher O.M. Prospect Theory Analysis of Guessing in Multiple Choice Tests // Journal of Behavioral Decision Making, 15 (4), 2002. Р.13-327.

6. Рыбанов А.А. Моделирование динамики процесса формирования ответов на тестовые задания закрытой формы при дистанционном тестировании знаний // Открытое образование. 2006. № 6. С. 43-50.

7. Рыбанов А.А. Моделирование динамики процесса оценивания ответов для тестовых заданий на установление соответствия при дистанционном тестировании знаний // Качество. Инновации. Образование. 2008. № 1. С. 2-9.

8. Van Der Linden W.J. Using response times for item selection in adaptive testing // Journal of Educational and Behavioral Statistics 33 (1), 2008. Р. 5-20.

Методология

3' 2 0 12

59