Повышение качества и достоверности компьютерной оценки знаний в автоматизированных системах контроля обучения Текст научной статьи по специальности «Науки об образовании»

нп

измерения

ПОВЫШЕНИЕ КАЧЕСТВА И ДОСТОВЕРНОСТИ КОМПЬЮТЕРНОЙ ОЦЕНКИ ЗНАНИЙ В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ КОНТРОЛЯ ОБУЧЕНИЯ

Александр Рыбанов,

Волжский политехнический институт — филиал Волгоградского государственного технического университета

rybalex@rambler.ru

Вводится понятие модели процесса формирования пользователем конечного ответа на тестовое задание. В основу математического описания положены критерий потерь времени и критерий правильного выбора. Предлагаемая система критериев позволяет повысить качество процесса оценки результатов дистанционного тестирования. Приведён пример моделирования динамики процесса формирования пользователем конечного ответа на тестовое задание с выбором одного варианта ответа.

Ключевые слова: компьютерные системы тестирования знаний; точность оценки знаний; тестирование знаний; моделирование процесса тестирования, тестовые задания

-1-

Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы; перспективы использования. М.: ИИО РАО, 2010.140 с.

Введение

Информатизация образования как приоритетное направление развития системы образования инициирует процесс создания и использования дистанционных систем компьютерного тестирования для оценки уровня знаний обучаемых1.

Ошибка измерения уровня знаний с помощью компьютерного тестирования описывается следующим уравнением:

Т = Т'±Д ,

где Т — истинный тестовый балл, который бы получил пользователь при отсутствии ошибки компьютерного тестирования; Г — наблюдаемый тестовый балл, фактически полученный пользователем в процессе компьютерного тестирования; Д — ошибка компьютерного тестирования.

Ошибка компьютерного тестирования включает систематическую и случайную составляющие:

А = Асист + Асл • Систематическая ошибка Асист компьютерного тестирования порождается нарушением репрезентативности теста, недостаточным качеством тестовых заданий и алгоритмов обработки, ошибками в априорных данных.

Случайная ошибка Асл зависит от нарушений технологии тестирования, психологического состояния испытуемого и определяет уровень воспроизводимости (повторяемости) результатов тестирования. В работах отечественных и зарубежных учёных2,3 приведён обзор проблем, влияющих на величину Асл при проведении итогового компьютерного тестирования знаний.

В настоящее время большое внимание уделяется вопросам повышения точности компьютерной оценки знаний пользователей веб-ориентированных систем электронного обучения.

Основные направления повышения качества и достоверности результатов компьютерного тестирования, и, как следствие, снижение Асист, можно представить следующими направлениями:

а) Разработка инновационных заданий в тестовой фор-

ме4. Инновационные задания способствуют уменьшению влияния эффекта случайного угадывания и направлены на повышение информативности и точности педагогических измерений.

б) Разработка методов повышения качества тестовых за-даний5'6'7.

в) Разработка методов и алгоритмов количественной и качественной оценки результатов компьютерного тестиро-вания8'9'10.

г) Разработка адаптивных стратегий компьютерного тес-тирования11'12, ориентированных на уровень знаний обучаемых и позволяющих получать более точные оценки, используя меньшее количество тестовых заданий по сравнению с неадаптивными стратегиями тестирования.

Рассмотрим сравнительный анализ эффективности адаптивного теста (Computer Adaptive Test) и теста, построенного на основе случайно выбранных тестовых заданий (Random Test). На рис. 1. показано уменьшение стандартных ошибок, усреднённых для пользователей, имеющих различные баллы.

При использовании адаптивного теста происходит более быстрое уменьшение стандартной ошибки. Например, при использовании двадцати тестовых заданий

^^то^оллоггияя

Шаров А.В.

Оценка влияния внешних факторов на результаты компьютерного тестирования студентов // Ученые записки ИИО РАО. 2007. № 25. С. 57-59.

Deutsch T, Herrmann K, Frese T, Sandholzer H. Implementing computer-based assessment — A web-based mock examination changes attitudes // Computers and Education, 58 (4), 2012, pp. 1068-1075.

Переверзев В.Ю., Мамонтов Д.Ю. Инновационные формы тестовых заданий для электронной аттестации // Дистанционное и виртуальное обучение. 2009. № 11. С. 15-23.

Г|

измерения

Аванесов В.С.

Применение тестовых форм в е-learning с проведением дистракторно-го анализа // Образовательные технологии.

2013. № 3. С. 125-135.

Рыбаков А.А. Анализ качества дис-тракторов для тестовых заданий // Известия Волгоградского государственного технического университета. 2009. Т. 10. № 6. С. 137-140.

Толкачёв В.А. Повышение качества обучения студентов в системе дистанционного образования на основе совершенствования тестовых заданий // Дистанционное и виртуальное обучение. 2007.

№ 12. С. 30-37.

-8-

Михайлов В.В. Метод оценки согласованности тестовых заданий по сложности для автоматизированного контроля знаний // Вестник компьютерных и информационных технологий. 2009. № 10. С. 40-46.

Рис. 1. Изменение средней величины стандартной ошибки для стратегий адаптивного тестирования и случайного выбора

при стратегии адаптивного тестирования достигается та же самая эффективность, что и при неадаптивном тесте с числом 50 тестовых заданий. При использовании 50 тестовых заданий средняя стандартная ошибка для адаптивной стратегии тестирования приблизительно вдвое меньше, чем для неадаптивного теста.

Проведённый анализ подходов к повышению качества и достоверности компьютерного тестирования показал, что пробелом является отсутствие в функции итоговой оценки критериев динамики процесса формирования пользователем конечных ответов на тестовые задания.

Постановка проблемы

В существующих на сегодняшний день веб-ориентированных системах электронного обучения, обеспечивающих компьютерное тестирование, при оценке степени соответствия ответа на тестовое задание эталонному ответу во внимание принимается лишь конечный ответ пользователя и не учитывается динамика процесса его форми-рования13.

В веб-ориентированных системах электронного обучения, как правило, итоговая оценка ответа на тестовое задание включает только сравнение конечного ответа пользователя с эталонным ответом и вычисляется по формуле:

о= в • ад

(1)

где в е(0;1] — мера трудности тестового задания; степень соответствия между эталонным ответом и конечным ответом пользователя на тестовое задание, завершившего его выполнение в момент времени

В процессе компьютерного тестирования один и тот же конечный ответ на тестовое задание может быть получен пользователями при различных траекториях процесса его формирования.

В свою очередь, по динамике процесса формирования пользователем конечного ответа на тестовое задание можно судить о следующем: выборе пользователем правильного ответа наугад; сомнении пользователя в правильности своего знания; ис-

пользовании пользователем подсказок и др.

Поэтому динамика процесса формирования пользователем конечного ответа должна учитываться при выставлении итоговой оценки за тестовое задание. Время отклика является дополнительным источником информации, необходимой для оценки уровня подготовленности пользователя, выполняющего компьютерный тест, а также для анализа процесса тестирования.

На рис. 2 приведен пример динамической функции изменения степени соответствия 8(^) между эталонным ответом на тестовое здание и конструируемым ответом пользователя, в процессе его формирования.

Решение задачи повышения точности оценки за тестовое задание (рис. 2) возможно путём введения в функцию

Рис. 2. Динамика изменения степени соответствия между эталонным ответом и конструируемым ответом пользователя

Методология

9-

Рыбаков А.А. Алгоритмическое и математическое обеспечение автоматизированной системы оценки качества учебного процесса по контрольным картам // Вестник компьютерных и информационных технологий. 2009. № 2. С. 30-36.

-10-

Туровская А.О. Модели и процедуры измерения и оценивания результатов критериально-ориентирован-ного тестирования // Вестник Санкт-Петербургского университета МВД России. 2010. № 1. С. 235-238.

-11-

Рыбаков А.А. Метод адаптивного тестового контроля знаний на основе поиска по деформируемому симплексу // Открытое образование. 2008. № 3. С. 31-36.

-12-

Cheng S.-C, Lin Y.-T., Huang Y.-M. Dynamic question generation system for web-based testing using particle swarm optimization // Expert Systems with Applications 36 (1), 2009, pp. 616-624.

нп

измерения

Рыбаков АА. Моделирование динамики процесса формирования ответов на тестовые задания закрытой формы при дистанционном тестировании знаний // Открытое образование. 2006. № 6. С. 43-50.

итоговой оценки за тестовое задание критериев процесса формирования пользователем конечного ответа, например, критериев описания процесса изменения 5(£) при 0 < t < 80.

Математическое описание процесса формирования пользователем конечного ответа на тестовое задание при компьютерном тестировании знаний

Для повышения точности результатов компьютерного тестирования знаний предлагается динамику процесса формирования пользователем конечного ответа оценивать следующими коэффициентами:

1) /л — коэффициент потери времени;

2) п — коэффициент правильного выбора.

Коэффициент /л учитывает потери времени при формировании пользователем конечного ответа на тестовое задание, вызванные выбором и последующей отменой элементов ответа на тестовое задание.

Коэффициент п характеризует правильный выбор пользователем конечного ответа, то есть учитывает последовательность выбора правильных и неправильных элементов ответа, принимая в расчёт их весовые

коэффициенты. То есть чем быстрее пользователь выбирает правильные элементы ответа с наибольшими весовыми коэффициентами, тем выше коэффициент правильного выбора п-

Таким образом, итоговая оценка в ответа пользователя на тестовое задание должна определяться не только мерой трудности в и степенью соответствия между конечным ответом пользователя и эталонным ответом, но и коэффициентами потери времени т и правильного выбора п.

Конечный ответ пользователя на тестовое задание представим в виде множества:

Ж = (м>1\м>1 еВ= 1"), (2)

где т; — выбранное пользователем значение ¿-го элемента ответа на тестовое задание; В — множество допустимых значений элементов ответа на тестовое задание.

Положение в пространстве W(tj) = (тф, е В",

которое занимает ответ пользователя при фиксированном ^ назовём образом ответа пользователя на тестовое задание, а время ^ — точкой фиксации образа ответа W(tj) .

При формировании пользователем конечного ответа образ ответа пользователя на тестовое задание изменяется, описывая в фазовой плоскости некоторую кривую, которую

назовём траекторией процесса формирования пользователем ответа на тестовое задание.

В качестве динамических параметров соответствия между образом ответа пользователя W(tj) и эталонным ответом Б на тестовое задание определим: а(^) — сумма весов правильных элементов ответа, помеченных в образе W(tj) как правильные; Н(^) — сумма весов неправильных элементов ответа, помеченных в образе W(tj) как правильные.

Начальной точкой траектории процесса формирования пользователем ответа на тестовое задание будем называть образ ответа W(to), удовлетворяющий следующим условиям:

Ж (Г0) = (ж (Го>1 Ж (Г0) =_0,

г = 1,п), (3)

Промежуточной точкой траектории процесса формирования пользователем ответа на тестовое задание будем называть образ ответа W(tk), где tk — время выполнения пользователем операции «выбор значения» («отмена значения») для элемента ответа на тестовое задание в процессе формирования ответа.

Заключительной точкой траектории процесса формирования пользователем ответа на тестовое задание будем называть образ ответа W(tm), где ^ — время завершения процес-

са формирования пользователем ответа на тестовое задание (ввод пользователем конечного ответа).

Траекторию процесса формирования пользователем ответа на тестовое задание с множественным выбором ответа определим как упорядоченную последовательность образов ответа пользователя:

р = (Ж (г.) и]

V,. = 0,т), (4)

где V = (Г.|. = 0, т) — множество точек фиксации образов ответа.

Динамическое изменение параметров а(^) и Н(^) процесса формирования пользователем ответа на тестовое задание можно представить в виде непрерывной кусочно-линейной функции:

/(Го), Го < Г < 11 /(ГД ¿1 < Г < Г2

/ (Г) =

/{Г,), Г, <Г <Г. +1 (5)

/(Гт-1 )' Гт-1 < Г < Гт / (Гт ), Г = Г т

^^то^оллоггияя

На рис. 3 приведены примеры динамических функций изменения параметров а(^) и Н(^) для процесса формирования пользователем конечного ответа на тестовое задание.

нп

измерения

Траектория процесса формирования пользователем конечного ответа описывает динамику конструирования конечного ответа на тестовое задание.

Учитывая, что пользователь в первую очередь выбирает элементы ответа, которые он считает правильными (коэффициент п), а также количество шагов, за которое он приходит к конечному ответу (коэффициент /), в качестве метрики, характеризующей динамику процесса формирования пользователем конечного ответа, предлагается использовать коэффициент общей эффективности процесса формирования пользователем конечного ответа

£ = п- л .

(6)

Коэффициент общей эффективности процесса форми-

рования пользователем ответа на тестовое задание £ изменяется в пределах [0;1].

С учётом коэффициента итоговая оценка в' ответа пользователя на тестовое задание будет вычисляться как:

в' = в-£ 3(Ъ) . (7)

Коэффициент правильного выбора п в процессе формирования пользователем конечного ответа на тестовое задание определим как:

т-1

X 8 ^ Ж-+1 - ^)

п = т-г^0-,(8)

X (8 ((,) + Ъ(11 ))\11+1 -

г=0

где g(í), Ъ(£) — функции изменения суммы весов всех правильных (неправильных) элементов ответа, выбранных пользователем в процессе формирования конечного ответа на тестовое задание.

1 0,9

о,в

0,7 0,6 0,5 0,4 0,3 0,2 0,1 о

г

1

Г — -1

1

........................................................................................................................................г~ —*

.........................................................................................................г.-.-.^................... Т—

...................................................................................1.......................... 1 1 1

1 !

1 1

] ! ■л---1---1---1-■-1-4-1-.-1-■-1-■-1

10

20

30

50

70

ВО

и.

40 50

— о{1) —-ОД

Рис. 3. Динамические функции а(0 и процесса формирования пользователем конечного ответа

Значения g(tj), Ъ(^) показывают сумму весов всех правильных (неправильных) элементов ответа по всем точкам фиксации, начиная с % вклю-

чая Ц

Я (Г,) = Х а(Гк), (9)

к=0

Ь(Г,) = £ И(Гк ). (10)

к=0

На рис. 4 приведены примеры динамических функций изменения параметров g(tj) и Ъ(^) для процесса формирования пользователем конечного ответа на тестовое задание с динамическими функциями a(t), к(^.

Коэффициент потери времени определим как:

т

X1 (Г,)(Г, - Г,-1)

¡л =--,

X (I(ГГ,) + о(ГЖГ, - Г-1) =1

(11)

где 1(€), О(£) — функции изменения количества операций «выбор значения» («отмена значения»), выполненных пользователем в процессе формирования конечного ответа на тестовое задание.

Значения О(^) яв-

ляются количественными характеристиками операций «выбор значения» («отмена значения») для элемента ответа, которые выполнил пользователь по всем точкам фиксации, включая Ц, с начала процесса формирования ответа to•

На рис. 5 приведены примеры динамических функций изменения параметров и О(^) для процесса формирования пользователем конечного ответа на тестовое задание с динамическими функциями а(0, k(t)•

Рис. 4. Динамические функции д(у и и процесса формирования пользователем конечного ответа

нп

измерения

4 -I

Г 1 ...................................1.................... ----»

т 1 1

................................................................................................ г т Т : i L.______'..........................1_____

f 1 1 HI-1-1-1-1-'-1-а-1- |-1-1-1-1-1— —1-1

ID

20

30

40

50

60

70

—-l(t) ~—Oft)

SO t,c.

Рис. 5. Динамические функции /(?) и О(0 и процесса формирования пользователем конечного ответа

Начальные условия процесса формирования пользователем конечного ответа на тестовое задание:

a(t0) = h(t о) = 0,

g (to) = b(t0) = 0, I (to) = O (t o) = 0.

Предлагаемая система критериев (6-11): n, M, I, $ 6', учитывающая динамику процесса формирования пользователем ответов на тестовые задания, позволяет повысить качество процесса оценки результатов дистанционного тестирования.

Моделирование динамики процесса формирования пользователем конечного ответа на тестовое задание с выбором одного варианта ответа

Математическое описание процесса формирования пользователем конечного ответа на тестовое задание с выбором одного варианта ответа из множества имеет свои особенности по сравнению с математическим

Рис. 6. Пример процесса формирования пользователем ответа на тестовое задание

ЭТАЛОННЫЙ DTBET ЭТАЛОННЫЙ

ОБРАЗ ОТВЕТА

Концептуальная схема БД

r Физическая схема БД

с Логическая схема БД

^^то^оллоггияя

Рис. 7. Эталонный ответ на тестовое задание

описанием для тестового задания с множественным выбором ответа типа «несколько из не-скольких»14. Рассмотрим процесс формирования пользователем конечного ответа для тестового задания с множественным выбором ответа типа «один из нескольких» на следующем примере (рис. 6-7).

Причиной уменьшения значения коэффициента потери времени при формировании пользователем конечного ответа на тестовое задание являются следующие действия пользователя: на шаге 1 (рис. 6) пользователь выбирает элемент ответа «Физическая схема БД», который на шаге 2 (рис. 6) отменяет.

Траектория процесса формирования пользователем конечного ответа на тестовое задание, представленная на рис. 6 (шаг 1 — выбор «Физическая схема БД», шаг 2 — выбор «Концептуальная схема БД» с отменой «Физическая схема БД»), приводит к конечному ответу {«Концептуальная схема БД»} и должна иметь более высокое значения коэффициента правильного выбора, чем

траектория получения того же самого конечного ответа: шаг 1 — выбор «Физическая схема БД», шаг 2 — выбор «Логическая схема БД» с отменой «Физическая схема БД», шаг 3 -выбор «Концептуальная схема БД» с отменой «Логическая схема БД».

Рассмотрим особенности математического описания процесса формирования пользователем ответа для тестового задания с множественным выбором ответа типа «один из нескольких».

Модель тестового задания с множественным выбором ответа типа «один из нескольких» представим в виде:

T = (д, E, D,P), (12)

где Ц — содержание вопроса тестового задания; Е = (е{ = 1,п) — множество элементов, предназначенных для формирования пользователем ответа на тестовое задание;D = (йМ- =_

= /1(е,), е£ = {0,1},, =1, п) — эталонный ответ на тестовое задание, где ^ — дескриптор элемента ответа (^ =1, если е^ является элементом эталонно-

-14-

Rybanov A.A. Set of criteria for efficiency of the process forming the answers to multiple-choice test items // Turkish Online Journal of Distance Education. 2013. T. 14. № 1. C. 75.

нп

измерения

го ответа, й = 0 — в противном

п

случае),X й = 1; в — мера труд-

¡=1

ности тестового задания.

Пример 1: Формализованную модель тестового задания с множественным выбором ответа типа «один из нескольких», представленного на рис. 6, определим следующим образом: Т2 = (2, Е, Б, в) , где 2 = «Укажите схему базы данных, независимую от поддерживаемой СУБД модели данных»,

= Х ч (гт К

(14)

Е =

г«концептуальная схема БД »Л «физическая схема БД » «логическая схема БД »

Б =

V0/

в = 0,72.

где (1т) е В — дескриптор г-го элемента конечного ответа пользователя на тестовое задание;

функция оценки соответствия конечного ответа пользователя на тестовое задание эталонному ответу.

Пример 2: Конечный ответ пользователя на тестовое задание Т2 с множественным выбором ответа:

W(tm) = (0,0,1), 8(гт) = = /(0,0,1) = 0.

Параметры соответствия образа ответа пользователя W(tj) эталонному ответу Б на тестовое задание рассчитываются по следующим формулам:

Конечный ответ пользователя на тестовое задание в момент времени ^ представим в виде множества:

a(tJ) = Х й,- ч (^):

(15)

(13)

* ) = К (Гт) Ь Ст) е В = {0,1}, i = Щ),

п

где X ^^ ((т ) = 1.

Степень соответствия конечного ответа пользователя на тестовое задание эталонному ответу определим как:

8((т ) = / (Щ((т ) ^ ),...

..., ™ (( )) =

Ж) = Х (1 - й) • ч ((,), (16)

I=1

где а(^) = 1, если вариант ответа, помеченный в образе W(tj), правильный, 0 — в противном случае; Ь(р) = 1, если вариант ответа, помеченный в образе W(tj), неправильный, 0 — в противном случае.

Траекторию Р процесса формирования пользователем конечного ответа на тестовое задание с выбором одного ответа определим как упорядочен-

ную последовательность образов ответов пользователя:

Рг = (Ж)к е¥г, . =

' (17)

удовлетворяющую следующим условиям:

X ^ &)=1,

1=\

п

X ^ (1к (1к-г) = 0, (18)

к = 1, т -1,

Ж (т ) = Ж (^-1).

(19)

Пример 3. Примеры траекторий процесса формирования одного и того же ответа на тестовое задание закрытой формы с выбором одного альтернативного варианта ответа из множества:

'01 1 ' 001 1" '01011 "

Р = 000 = 0100 Р3 = 00100

V000, ч0 000, ч00000,

V = (0 35 65) Г2 = (0 35 45 65) ¥3 = (0 35 45 55 65) '0001 1 /"01001 1Л

Р4 =

00100 01000

Р5 =

Г4 = (0 35 45 55 65) Г5 = (0 30 40 50 55 65).

Реализации тестовых заданий с выбором одного варианта ответа из нескольких заключается в том, что, начиная последовательность выбран-с момента времени t. (. = 1, т), ных пользователем в процессе

каждой последующей операции «установление метки» предшествует автоматическое выполнение операции «снятие метки», то есть количество операций «установление метки» связано с количеством операций «снятие метки» следующей зависимостью:

О(^) = I (^-1). (20)

Для тестовых заданий закрытой формы с выбором одного варианта ответа из множества:

I (^) = I (^-1) +1. (21)

На рис. 8-9 приведены динамические функции процесса формирования конечного ответа на тестовое задание закрытой формы с выбором одного варианта ответа из множества для траектории Р3 из примера 3.

Проанализируем результаты моделирования. Рассмотрим траектории Р1, Р2,

Рз, Р4, Р5 (пример 3) формирования пользователем одного и того же конечного ответа на тестовое задание 72 Запишем для каждой траектории

001000 000100

^^то^оллоггияя

нп

измерения

формирования ответа элементов ответа, предварительно классифицировав их следующим образом: true — элемент указан верно, false — элемент указан неверно. Упорядочим траектории P r (r = 1, 5 ), по признаку — верные ответы в последовательности должны находиться ближе к началу:

Pl: {true},

P3 : {true, false, true},

P5 : {true, false, false, true},

P2 : {false, true},

P4 : {false, false, true}.

Коэффициенты nr правильного выбора для траекторий Pr образуют аналогичную последовательность по индексу r П4 = °,167 < П2 = 0,400 < П5 = = 0,529 < П3 = 0,667 < П1 = 0,001, что подтверждает влияние последовательности выбора пользо-

...............Г 1 1 1____

................1 1 1 1 1 1 1 1 1 1 1 _____4................

1-1-1-1— г 1 1 I'll 1 1 1 1 i i l 1 —:— -1-

О 10 20 30 40 50 60

—.—t{t) --m-O(t) tc.

Рис. 9. Динамические функции /(f) и O(f) для траектории P3

вателем правильных и неправильных элементов ответа на коэффициент п

Рассмотрим траектории Р2, Р3, Р4, Р5 (пример 3), описывающие процесс формирования конечного ответа, при котором происходит выполнение операций «установление метки» о правильности одного из элементов ответа с последующим выполнением для него операции «снятие метки». Упорядочим траектории Рг (г = 2,5) по количеству операций у/(Рг), выполненных пользователем в процессе формирования ответа на тестовое задание: У(Р5)<У(Р4) = у(Рз)<у(Р2).

Коэффициенты /г потери времени для траекторий Рг образуют аналогичную последовательность по индексу г: /15 = = 0,630 < /4 = /3 = 0,667 < /2 = = 0,714, что подтверждает влияние количества операций, выполненных пользователем в процессе формирования ответа

на тестовое задание, на коэффициент / .

Значение коэффициента потерь времени / 1 для траектории Р1 имеет максимальное значение, так как в данном процессе формирования ответа на тестовое задание, операция «снятие метки» пользователем не используется.

В таблице приведены критерии, характеризующие динамику процесса формирования пользователем ответа на тестовое задание для траекторий из примера 3.

Предлагаемая система критериев15 п, /, С 9' , с динамическими характеристиками (15), (16), (20), (21), учитывающая динамику процесса формирования пользователем ответов на тестовые задания с множественным выбором типа «один из нескольких», внедрена в LMS Моо^е16>17, что обеспечивает корректную оценку знаний при дистанционном тестировании.

Учёт динамики процесса формирования ответа на тестовое задание

Рыбаков А.А., Виноградов П.М. Модификация подсистемы контроля знаний LMS Moodle для оценки результатов тестирования с учётом динамики процесса формирования пользователем ответов на тестовые задания // Молодой учёный. 2013. № 6. С. 209-212.

Траектория процесса формирования пользователем ответа на тестовое задание S(tm) ß n ß z = nß в в'

Р1 1,000 0,720 1,000 1,000 1,000 0,720 0,720

Р2 1,000 0,720 0,400 0,714 0,286 0,720 0,206

Р3 1,000 0,720 0,667 0,667 0,444 0,720 0,320

Р4 1,000 0,720 0,167 0,667 0,111 0,720 0,080

Р5 1,000 0,720 0,527 0,630 0,333 0,720 0,240

-16-

Рыбанов А.А. Система критериев эффективности процесса формирования пользователем ответов на тестовые задания с множественным выбором // Педагогическая информатика. 2013. № 1. С. 90-98.

-17-

Свид. о гос. регистрации программы для ЭВМ № 2012616254. Программный модуль моделирования динамики процесса формирования ответов на тестовые задания при проведении online тестирования / Рыбанов А.А., Виноградов П.М. (RU) . М : Роспатент, 09.07.2012.

нп

измерения

Заключение

Математические модели для оценки ответов на тестовые задания, представленные в работе, отличаются от существующих тем, что конечный ответ на тестовое задание предлагается оценивать, учитывая динамику процесса его формирования пользователем.

Используемая для описания динамики процесса формирования пользователем конечных ответов для тестовых заданий закрытой формы система критериев (п, 3, &) обеспечивает снижение систематической погрешности при дистанционном тестировании.