Построение тестовых заданий в системе компьютерного тестирования знаний OpenTEST2 Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 001:002

А.С. ШКИЛЬ, С.В. ЧУМАЧЕНКО, С.В. НАПРАСНИК, Е.В. ГАРКУША

ПОСТРОЕНИЕ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМЕ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ ЗНАНИЙ OPENTEST2

Анализируется вероятность угадывания для сеансов с разнотипными вопросами и разными весами и показывается, что для вопросов одного типа вероятность угадывания не зависит от веса вопроса. Для всех типов вопросов выводятся формулы вычисления вероятности угадывания, исключающие суммы. Учет вероятностей угадывания демонстрирует более объективное оценивание уровня знаний студентов, что особенно важно при использовании накопительной системы оценивания в рамках Болонского соглашения.

1. Введение

Одним из основных требований организации учебного процесса в рамках Болонского соглашения является дальнейшая унификация учебных планов для одноименных дисциплин, которые преподаются в разных учебных заведениях. В целях объективизации процесса оценивания знаний студентов используются методы тестирования, которые являются основой теории педагогических измерений. Массовое внедрение тестирования в учебный процесс высшей школы показало необходимость создания и применения компьютерных систем контроля знаний. Это обусловлено, с одной стороны, снижением трудоемкости при проведении компьютерных тестирований по сравнению с традиционными методами бланкового контроля, а с другой, - повышением надежности и объективности результатов. Для решения этих задач в Харьковском национальном университете радиоэлектроники была разработана компьютерная система тестирования знаний OpenTEST, вторая версия которой - OpenTEST2 - проходит опытную эксплуатацию с 2006 года в ряде вузов Украины [1]. В системе OpenTEST2 реализованы частично адаптивные методы контроля знаний на основе модели учебного материала вероятностных критериев оценивания, учитывающих вероятностные характеристики правильных и неправильных ответов [2]. Опыт применения системы OpenTEST с 2003 года в ряде вузов Украины показал, что очень важным моментом при компьютерном тестировании знаний является не только содержательная сторона тестов, но и форма представления тестовых заданий. Именно различным формам представления и оценивания тестовых заданий при компьютерном тестировании посвящена данная статья.

Цель работы - повышение объективности оценивания знаний в системах компьютерного тестирования путем учета вероятности угадывания при различных формах представления тестовых заданий.

Задачи исследования: 1) классификация типов заданий в тестовой форме; 2) расчет вероятности угадывания в различных типах заданий в тестовой форме; 3) учет вероятности угадывания в различных типах тестовых заданий при оценивании ответов; 4) практические рекомендации при использовании вопросов разных типов.

2. Педагогические контролирующие задания

Педагогическое задание - это средства интеллектуального развития, образования и обучения, которые можно разделить на обучающие и контролирующие. Первые применяются в учебном процессе для развития личности, вторые - педагогами или органами управления образованием после окончания учебного периода в целях определения уровня и структуры подготовленности. Настоящие педагогические задания создаются только педагогами преимущественно для педагогических целей и состоят из трех основных частей, перечисленных ниже [3].

Педагогический тест - это система заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.

Тестовое задание - это составная единица педагогического теста, отвечающая требованиям к заданиям в тестовой форме и статистическим требованиям известной трудности и дифференцирующей способности.

Задание в тестовой форме - это педагогическое средство, отвечающее определенным целевым требованиям, обладающее краткостью, технологичностью и логичностью высказываний, имеющее инструкции для тестируемых и определенные места для элементов задания и ответов, а также подчиняющееся одинаковым правилам оценки ответов.

Все три понятия - задание в тестовой форме, тестовое задание и тест - соответствуют трем основным этапам разработки педагогических тестов. Первый этап начинается с разработки заданий в тестовой форме. Второй этап - статическая проверка заданий в целях обоснования их в качестве тестовых. Третий этап - разработка теста. 2.1.Построение тестовых заданий

Тестирование в автоматизированной системе контроля знаний OpenTEST2 осуществляется путем организации сеанса тестирования для каждого пользователя. Сеанс характеризуется длиной (количеством вопросов), временем, отводимым на сеанс, и количеством попыток прохождения теста в рамках одного сеанса. В случае истечения времени сеанс считается законченным независимо от того, ответил ли тестируемый на все вопросы или нет. Во время сеанса тестируемый в случайном порядке получает набор вопросов с вариантами ответов, а также информацию об оставшемся времени на сеанс. Кроме выбора ответов, он может также пропускать вопросы и отвечать на них в произвольном порядке. Тестируемый (равно, как и преподаватель) может прервать сеанс по своему желанию до истечения времени, отводимого на сеанс. В качестве синонима понятия «вариант ответа» для вопросов закрытого типа при дальнейшем изложении будет использоваться понятие «альтернатива», а количество возможных вариантов ответов будет обозначаться А (альтернативность).

Если оценка за сеанс тестирования выставляется с учетом вероятностей угадывания для каждого из вопросов, то это может быть осуществлено или путем вычисления неоцени-ваемого диапазона для шкалируемых систем оценивания [4], или путем вычисления поправочных коэффициентов для баллов, набранных за сеанс тестирования [3], для нешкалируе-мых систем оценивания. В обоих случаях необходимо вычислять среднюю вероятность

угадывания за сеанс тестирования РСр , которая отражает вероятность получения максимального балла за сеанс в случае угадывания правильных ответов:

N

I Р

Р _ (1)

Рср _ N ,

где Pi - вероятность угадывания правильного ответа в ьм вопросе сеанса; N - общее

количество вопросов в сеансе. При этом Ai _ — . Формула (1) вычисляетРср при условии,

Р 1

что вес всех вопросов в сеансе одинаков и равен 1.

В системе OpenTEST 2 каждый вопрос может иметь вес Bi, выраженный натуральным

числом. Весомозначность каждого вопроса в тесте (Bi) определяется автором теста (преподавателем) на этапе его составления. С учетом этого формула (1) примет вид:

N

IР ^

Рср _ . (2)

I Bi

i _1

N

Выражение в знаменателе B_ I Bi принято называть максимально возможным

i _1

баллом, набранным за сеанс тестирования. Для сеанса, где все вопросы имеют равную альтернативность Ai и, следовательно, равную вероятность угадывания Pi , формула (2) преобразуется к виду:

N N

Е р * Bi Р *Е Bi

РСР = ^^ = Р. (3)

Е Bi е Bi i=1 i=1

Следовательно, для сеанса с вопросами равной альтернативности вероятность угадывания не зависит от веса вопросов. Для сеанса тестирования можно вычислить среднюю

А 1

альтернативность АСр =-, которая отражает среднее количество возможных вариан-

рср

тов ответов для всех вопросов сеанса.

Для сеанса, в котором вопросы имеют разную альтернативность и равный вес, РСр в

пределе будет стремиться к середине диапазона между Р; для вопроса с минимальной альтернативностью и Р; для вопроса с максимальной альтернативностью с учетом количества вопросов в сеансе с каждой альтернативностью.

Пример 1. Пусть задан сеанс тестирования из 10 вопросов, каждый из которых имеет вес 1. Тип вопросов 1 («выбор одного из нескольких»), при этом 5 вопросов по 2 альтернативы, 5 вопросов - по 10 альтернатив. Тогда Рср =(5*1/2 + 5*1/10) / 10 =(30/10) / 10 = 0,3.

Пример 2. Пусть задан сеанс тестирования из 10 вопросов, каждый из которых имеет вес 1. Тип вопросов 1 («выбор одного из нескольких»), при этом 9 вопросов имеет 2

альтернативы, 1 вопрос - 10 альтернатив. Тогда РСр =(9*1/2 + 1*1/10)/10 =(46/10)/10 = 0,46.

Пример 3. Пусть задан сеанс тестирования из 10 вопросов, каждый из которых имеет вес 1. Тип вопросов 1 («выбор одного из нескольких»); 1 вопрос имеет 2 альтернативы, 9

вопросов - 10 альтернатив. Тогда Рср =(1*1/2 + 9*1/10) / 10 =(14/10) / 10 = 0,14 .

Рассмотрим ситуацию, когда вопросы имеют разную альтернативность при разном весе.

Пример 4. Пусть задан сеанс тестирования из 10 вопросов. Тип вопросов - 1 («выбор одного из нескольких»), при этом 9 вопросов имеют по 2 альтернативы с весомозначностью

1, 1 вопрос - 10 альтернатив с весомозначностью 10. Тогда РСр =(9*1*1/2 + 1*10/10) / 19 =(11/2) / 19 = 0,29.

Пример 5. Пусть задан сеанс тестирования из 10 вопросов. Тип вопросов - 1 («выбор одного из нескольких»), при этом 5 вопросов имеют по 2 альтернативы с весомозначностью

1, 5 вопросов - по 10 альтернатив с весомозначностью 10. Тогда РСр =(5*1*1/2 + 5*10/10) / 55 =(15/2) / 55 = 0,136 .

Пример 6. Пусть задан сеанс тестирования из 10 вопросов. Тип вопросов - 1 («выбор одного из нескольких»), при этом 1 вопрос имеет 2 альтернативы с весомозначностью 10, 9

вопросов - 10 альтернатив с весомозначностью 1. Тогда РСр =(10*1*1/2 + 9*1/10) / 19 =(59/ 10) / 19 = 0,31 .

Таким образом, для сеанса, в котором вопросы имеют разную альтернативность и разный вес, РСр сдвигается в сторону значения Р; для вопроса с большим весом. 2.2. Типы заданий в тестовой форме

Автоматизированная система контроля знаний OpenTEST2 оперирует с заданиями в тестовой форме (вопросами) закрытого типа («выбор одного из нескольких», «выбор нескольких из нескольких», «соответствие») и открытого типа (свободный ввод ответа) [3]. Взаимодействие тестируемого с системой OpenTEST2 происходит через Web-интерфейс (диалоговое окно браузера), что накладывает определенные особенности на форму представления вопросов и вариантов ответов.

Типичная структура представления вопроса имеет следующий вид.

1) Описание ситуации - могут присутствовать текст, рисунки, графики, анимации и т.д. Эта часть вопроса не является обязательной, но все же рекомендуется ее применять, так как одна и та же ситуация может быть основой для множества однотипных вопросов.

2) Текст вопроса - должен быть сформулирован четко, не содержать двузначных формулировок. Текст вопроса достаточно часто может быть совмещен с описанием ситуации.

3) Выбор (ввод) ответов. В Web-интерфейсе выборочные варианты ответов на вопросы реализуются через radio-button ("выбор одного из нескольких"), check-box ("выбор нескольких из нескольких") или combo-box (выпадающий список для типа «соответствие»). Визуально они различимы, поэтому обучаемый всегда может определить, какой тип вопроса ему предложен. Порядок следования вариантов ответов в исходном задании теста абсолютно несущественен (при выдаче тестов происходит случайное перемешивание порядка следования вариантов ответов). При использовании вопросов открытого типа со свободным вводом ответа (ввод произвольной последовательности) последовательность вводится в одно или несколько полей ввода в Web-интерфейсе (input-box).

2.2.1.Выбор одного из нескольких

Это самый распространенный тип вопросных тестовых заданий, когда пользователю предлагается несколько (m ) вариантов ответов на поставленный вопрос, только один из которых правильный. За правильный ответ на вопрос тестируемый получает один балл (несколько баллов), за неверный ответ или отказ от ответа - 0 баллов. В системе OpenTEST2 эти вопросы определяются как «тип 1». На рис. 1 представлен внешний вид вопроса данного типа в Web-интерфейсе системы OpenTEST2.

К какомупоколению компьютеров (по ооше

Рис. 1. Вопрос «один из нескольких» в Web-интерфейсе системы OpenTEST2

При использовании вопросов закрытого типа очень важно не допустить возможности угадывания правильных ответов. Вероятность угадывания Р для вопроса типа «один из нескольких» составляет 1/m, где m - количество альтернатив вопроса данного типа. При этом возникает проблема количества и содержания неправильных ответов, которые принято называть дистракторами. С одной стороны, дистракторы должны быть достаточно правдоподобными, чтобы тестируемый не мог интуитивно выбрать правильный ответ, а с другой - не должны провоцировать тестируемого на неправильный ответ. Ведь конечная цель тестирования - определить объективный уровень знаний обучаемого, а не доказать ему, что он ничего не знает. Нецелесообразно также строить вопросы по негативному принципу, т.е. предлагать тестируемому выбрать неправильный ответ из предложенных. Это обусловлено тем, что обычно обучение сводится к изучению и анализу правильных знаний, а неправильные знания не являются предметом изучения. Исключениями здесь могут быть тесты по технике безопасности на производстве и правилам уличного движения, где четко указывается то, чего нельзя делать. При составлении вопросов первого типа существенную роль играет количество дистракторов. При малом их количестве (m=2, 3) возрастает вероятность угадывания правильного ответа, а следовательно, уменьшается оцениваемый диапазон. При большом количестве дистракторов (m>6) возрастает громоздкость вопроса и затраты времени на поиск правильного ответа. Оптимальными с количественной точки зрения являются m = 4, 5.

С точки зрения целевых установок тестирования, вопросы первого типа рекомендуется использовать при проверке знаний семантических фактов, а также при проверке умений и навыков по физике, математике и другим фундаментальным дисциплинам. С методической точки зрения этот тип вопросов целесообразно применять при итоговом контроле и на вступительных экзаменах. При этом следует не только учитывать возможность угадывания правильных ответов, но и возможность подстановки результатов, для чего в системе OpenTEST используются вопросы с задержкой появления ответов [5].

2.2.2.Выбор нескольких из нескольких

В этом типе вопросных тестовых заданий тестируемому предлагается т вариантов ответов на поставленный вопрос, из которых к правильные. За правильный ответ на вопрос тестируемый получает один балл (несколько баллов). Для вопросов типа «выбор нескольких из нескольких» в системе OpenTEST2 применяется так называемая «нестрогая стратегия оценивания»: если выбраны не все правильные ответы, то за ответ на данный вопрос тестируемый получает долю максимального балла. Это так называемый «частично правильный ответ». Если выбран хотя бы один неверный вариант ответа, весь ответ на вопрос признается неверным. За неверный ответ или за отказ от ответа тестируемый получает 0 баллов. Не рекомендуется использовать этот тип вопросов со всеми правильными ответами, так как в этом случае чисто психологически тестируемый будет искать неправильный ответ, которого на самом деле не существует, что искусственно будет увеличивать количество ошибок.

В системе OpenTEST2 эти вопросы определяются как «тип 2». На рис. 2 представлен внешний вид вопроса данного типа в Web-интерфейсе системы OpenTEST2.

Ч'Ш |кр.'чн[_|1'нши о Н1..1ЧС1 г я НЛШЛННРМ офнсно1|> пакета1

Рис. 2. Вопрос «несколько из нескольких» в Web-интерфейсе системы OpenTEST2

Вероятность угадывания с учетом частично правильных ответов при условии, что за полностью правильный ответ начисляется один балл (для упрощения изложения математических выкладок вопросы весом более одного балла не рассматриваются), может быть определена как отношение количества всех частично правильных ответов (с учетом долей балла за частично правильный ответ) к общему числу вариантов ответа для этого типа вопросов.

Количество всех частично правильных ответов вычисляется как сумма вариантов с одним правильным ответом, с двумя правильными ответами, ... , с к правильными ответами. При этом считается, что ответ с к правильными вариантами тоже является частично правильным, но за него назначается один балл. Число ответов с i правильными альтернативами (1 < i < к) определяется как число сочетаний из к по i (Ск) . Следовательно, указан-

к . i .

ная сумма имеет вид ^ С! * — и при подстановке с! вычисляется так:

!=1 к к к к. к к! * . к (к - 1)!*к *! = ¿1 к к ¿1 .!*(к -.)! к !=1 (.- 1)!*!*((к -1) - (. -1))! к

= 2 (k -1)! = ki-! ¿(i - 1)!*((k -1) - (i -1))! ¿1 k-1 k k

С учетом известных формул 2 C^ = 2k и 2 C^ = 2 -1, а также ck = ck = 1 полу-

i=0 i=1

k • , k-1 . , , х-1 /"^i—1 /"^i ik—1

чим 2 ck=2 ck^ = 2 . i=1 i=0

Общее количество вариантов ответов будет 2m, а с учетом рекомендации не использовать вопрос со всеми вариантами правильных ответов будет 2m -1.

Таким образом, для вопросов типа «выбор нескольких из нескольких» вероятность угадывания будет:

2 k-1

P = ---(4)

2m -1 , () где k - число правильных альтернатив; m - общее число альтернатив. Вычитание единицы в знаменателе учитывает возможность существования (но рекомендацию не использовать) вопроса этого типа со всеми правильными альтернативами. Если эту рекомендацию не учитывать, то вероятность угадывания будет:

2k-1 1

P = 2-=-1-7-. (5)

2m 2m-k+1

Например, для вопроса второго типа с m=8 и k=4 P=1/32 =0,031. Отметим, что точность вычисления вероятностей угадывания может быть ограничена тремя знаками после запятой. Это обусловлено способом подсчета набранных балов за тест в процентах от максимального балла, а вычисление с точностью больше, чем 0,1%, особого смысла не имеет.

При использовании вопросов типа «выбор нескольких из нескольких» важно, чтобы вероятность угадывания для них была меньше, чем для вопросов типа «выбор одного из

нескольких», т.е. m k+1 < — с равным общим числом альтернатив m. Следовательно,

m < 2m k+1. Выполнив логарифмирование, получим log 2 m < m - k +1. В интервале 3<m<8 условно можно считать, что log 2 m = 2 . Заменив логарифм его значением, получим 2 < m-k+1 или k<m+1-2, или k<m-1. Следовательно, в вопросах типа «несколько из нескольких» число альтернатив не должно быть меньше 4, и при этом k<m-1. Вопросы типа 2 с числом альтернатив m=2 теоретически не существуют, а с m=3 теоретически хотя и существуют, но смысла не имеют, так как может существовать только одна возможность множественного выбора (2 из 3) и таких вариантов будет всего 3.

Рекомендации по использованию вопросов «несколько из нескольких»:

- не рекомендуется использовать вопросы типа «несколько из нескольких» c числом альтернатив меньше 4 и больше 8;

- не рекомендуется использовать вопросы типа «несколько из нескольких» при одной правильной альтернативе;

- при использовании вопросов типа «несколько из нескольких» должно соблюдаться условие k<(m-1), т.е., например, при общем числе альтернатив 5 число правильных альтернатив не должно превышать 3;

- как и для вопросов первого типа, не рекомендуется использовать формулировки вопросов с отрицательными ответами.

С точки зрения целевых установок тестирования, вопросы второго типа рекомендуется использовать при проверке профессиональных знаний по принципу "что для чего". Данный тип вопросов рекомендуется использовать при итоговом тестировании в целях более

углубленной проверки знаний и умений обучаемых. Также данный тип вопросов целесообразно использовать при текущем контроле знаний по иностранным языкам и синтаксису языков программирования. Данный тип вопросов является самым перспективным для использования в компьютерных системах контроля знаний.

2.2.3.Соответствие

Данный тип вопроса предусматривает наличие двух столбцов: левого, содержащего к элементов, и правого, содержащего т элементов. Сутью вопросного тестового задания данного типа является установление соответствия между элементами левого и правого столбцов. Таким образом, вопрос на соответствие представляет собой композицию к вопросов первого типа, связанных общей тематикой и общим оцениванием. За установле-

1

ние одного правильного соответствия тестируемый получает — максимального балла за

к

2

вопрос, за два правильных соответствия - — и т.д. Такой ответ определяется как частично

к

правильный. При установлении к правильных соответствий тестируемый получает максимальный балл за ответ (один или несколько баллов). При установлении хотя бы одного неправильного соответствия за ответ на весь вопрос тестируемый получает нуль баллов. В правом столбце всегда присутствует альтернатива (по умолчанию) "ответ не выбран". За выбор данной альтернативы тестируемый получает нуль баллов, соответствующий элемент левого столбца исключается из рассмотрения, а тестируемый имеет возможность устанавливать соответствие для остальных элементов левого столбца. Если для всех элементов левого столбца в качестве соответствия выбрана альтернатива правого столбца "ответ не выбран", это соответствует отказу от ответа и оценивается в нуль баллов. Каждому элементу левого столбца соответствует один элемент правого столбца. Количество элементов правого столбца т>к+1 (за счет элемента "ответ не выбран"), но рекомендуется, чтобы т в среднем было в два раза больше к. Двойное соответствие (разным элементам левого столбца соответствует один и тот же элемент правого столбца или наоборот) недопустимо.

В системе OpenTEST2 эти вопросы определяются как «тип 4». На рис. 3 представлен внешний вид вопроса данного типа в Web-интерфейсе системы OpenTEST2. Напротив каждого элемента левого столбца находится выпадающий список с элементами правого столбца. Таким образом, имеется возможность установить явное соответствие между элементами столбцов, а не указывать только номера элементов, как это обычно происходит при бланковом тестировании.

Рис. 3. Вопрос «соответствие» в Web-интерфейсе системы OpenTEST2 Особенностью вопросов 4-го типа является то, что для однозначного понимания сути вопроса целесообразно указывать названия столбцов, т.е. явно указывать, между какими группами понятий устанавливается соответствие. В системе компьютерного тестирования названия столбцов могут указываться в Web-интерфейсе или непосредственно в тексте вопроса (в системе OpenTEST2 принят и используется второй вариант).

По аналогии с вопросами второго типа вероятность угадывания с учетом частично правильных ответов определяется как сумма вероятностей угадывания одного соответ-

ствия, двух соответствий и т.д. С учетом доли балла вероятность угадывания одного

1 1

соответствия определяется как — *--, где к - количество альтернатив левого столбца,

к т +1

т - количество альтернатив правого столбца. В этом выражении (т+1) используется за счет наличия в правом столбце альтернативы "ответ не выбран". Вероятность угадывания двух соответствий определяется как произведение вероятностей угадывания одиночных соответствий и так далее. Таким образом, общая вероятность угадывания для вопроса типа "соответствие" будет:

к 1 1

р = Е г--г. (6)

1=1к (т +1)1

1 1 к 1 Если вынести за знак суммы — , то получим : Р = — * Е

к' к 1=1 (т +1)1 '

Рассмотрим более подробно способ вычисления конечной суммы:

О к 1 1 2 3 4 5 к

^ = Е--:г = —-"г+т-"г+т-"г+т-^ +...+-

1=1 (т +1)1 (т +1) (т +1)2 (т +1)3 (т +1)4 (т +1)5 (т + 1)к . Рассматривать более 5 слагаемых не имеет смысла, так как даже при т=5 шестой член

несущественен: -6 = 1" = 0 0008 < 0,001. 66 65

Для аналитического вычисления указанной суммы рассмотрим сумму первых 5 членов геометрической прогрессии (к=5):

Д 1 * 21-1 1 2 4 8 16

= Е-*-=-+-+-+-+

2

1=1(т + 1) (т + 1)1-1 (т + 1) (т + 1)2 (т + 1)3 (т + 1)4 (т + 1)5

1 2 у которой первый член и^ =-, а знаменатель прогрессии q = -

(т +1) т +1

Для убывающей геометрической прогрессии известна формула вычисления суммы первых к членов:

s = и1- икд = и1- ulqk-1q = и1(1 - qk)

1 - q 1 - q 1 - q . ( )

Если учитывать, что число элементов правого столбца рекомендуется устанавливать примерно в два раза больше, чем число элементов левого столбца, то при к=5 для удобства вычислений целесообразно принять т=9. При этом

Г\ 5 5 ЛЛ

q5 =—2—- = = 32 = 0,00032 < 0,001 (т +1)5 105 100000 .

Следовательно, qk в формуле (7) можно не учитывать, и она преобразуется в известную формулу суммы бесконечно убывающей геометрической прогрессии S = и1 .

1 - q

Таким образом, сумма ряда S2 =

1 1 1

т +1 _ т +1 _т +1_ 1

2 т +1 - 2 т -1 т -1

1--- -

т +1 т +1 т +1

Рассмотрим разность г = | 81-82 | .

При т=9: 8^0,1+0,02+0,003+0,0004+0,00005=0,12345. В свою очередь 82=1/8=0,125. Таким образом, г = 0,125-0,12345 = 0,00155.

1 1

С учетом, что Р1 = — • 81, а Р2 = — • 82 можно вычислить разность к к

Р2 - Р1 = I • 82 -1 • =1 • @2 - ) = - = 0,00155 = 0,00031 < 0,001. к к к к 5

Следовательно, с учетом принятых в пункте 1.2.2 ограничений на точность вычислений Р в 0,1% можно считать, что приближенно Р1=Р2 и формула (6) преобразуется:

Р = 1 • = 1

к ^ т -1 к(т - 1) . (8)

Рассмотрим, как соотносятся вероятности угадывания однотипных вопросов второго и четвертого типов. При к= 4 и т =8 Р=1/(4 7)=1/28=0,036.

Таким образом, с точки зрения вероятности угадывания, вопросы "выбор нескольких из нескольких" и "соответствие" приблизительно одинаковы.

Рекомендации по использованию вопросов типа «соответствие»:

- в тексте вопроса всегда следует указывать наименование понятий (столбцов), между которыми устанавливается соответствие;

- не рекомендуется использовать в левом столбце больше 5 альтернатив, так как в этой ситуации число альтернатив правого столбца (с учетом т>2к) становится чрезмерно большим.

С точки зрения целевых установок тестирования, вопросы четвертого типа позволяют проверять так называемые ассоциативные знания. Это знания о взаимосвязи определений и фактов, авторов и произведений, сущности и явлений, о соотношении между различными предметами, свойствами, законами, формулировками, понятиями, датами. Данный тип вопросов используется в целях повышения активности учебной деятельности обучаемых путем усиления ассоциативной составляющей в процессе обучения. Вопросы типа «соответствие» рекомендуется использовать при текущем контроле и самоконтроле, и не рекомендуется использовать при итоговом контроле.

2.2.4.Свободный ввод ответа

В тестовых заданиях открытой формы нет предлагаемых для выбора вариантов ответов. Текст ответа вводится тестируемым в одном или нескольких (к) полях текстового ввода. Если к=1, вопрос называется однооконным, а если к>1, то многооконным. Количество символов, вводимых в 1-м окне, обозначается Li. В поле текстового ввода вводятся символы с компьютерной клавиатуры. С учетом разноязычных раскладок и клавиатурных регистров число возможных вводимых символов, которое обозначается т1, в целом может превышать 100.

Вопросы открытой формы формулируются в виде утверждений, которые превращаются в истинные высказывания, если в поле ввода вводится правильный ответ. Если ответ не правильный, то утверждение становится ложным. Ответ считается правильным, если вводимый ответ совпадает с эталоном. В качестве ответа на вопрос может вводиться произвольная буквенно-цифровая последовательность или так называемая «регулярная

1

последовательность». За правильный ответ в одном окне тестируемый получает — макси-

к

мального балла за вопрос, при неправильном ответе - нуль баллов. С точки зрения суммарного балла за вопрос окна являются независимыми, т.е. суммарный балл за вопрос формируется как сумма баллов (долей балла) за отдельные окна.

В системе ОрепТЕ8Т2 эти вопросы определяются как «тип 3». На рис. 4 представлен внешний вид вопроса данного типа в Web-интерфейсе системы ОрепТЕ8Т2.

Остаток времени: 00:55 54

Вопрос № 6 из 8

Режим jshuffle в аудио- в видеопроигрывателях означает перемешивание треков в случайном порядке. А режим ¡repeat - повторение воспронзведевпя списка треков.

Не забывайте нажинать кнопку Ответить!!!

OperTEST Testing System Завершить тест

Рис. 4. Вопрос «свободный ввод ответа» в Web-интерфейсе системы OpenTEST2

Для вопросов типа «свободный ввод» с многооконным вводом вероятность угадывания будет:

k 1 1

P =Е:---, (9)

1=1k m^

где k - число окон ввода, Li - количество символов в i-м окне; m^ - базовое число

вводимых символов в i-м окне. Если принять, что mi постоянно, а все окна имеют

одинаковый размер (Li - постоянно), то второй сомножитель в формуле (9) будет постоянным и независимым от i, а следовательно, его можно вынести за знак суммы, т.е.

1 k i ii k ii i P=mL-£rmLT£'=mLTk(10)

Таким образом, для многооконного вопроса свободного ввода ответа с одинаковыми окнами вероятность угадывания для всего вопроса равна вероятности угадывания для одного окна. При условии, что mi>100, вероятность угадывания для вопросов данного типа стремится к нулю. Например, при m=100 и L=10 P=(1/10010)=10-100. С учетом точности вычисления вероятности в 10-3, определенной в пункте 1.2.2, такую вероятность, естественно, можно считать нулевой.

Если в качестве эталона выступает произвольная буквенно-цифровая последовательность, то для определения правильности ответа происходит побитовое сравнение вводимой последовательности с эталоном. Если в качестве эталона используется "регулярная последовательность", то она задает шаблон ввода, сравнения и обработки вводимой последовательности. "Регулярные последовательности" могут использоваться для следующих видов эталонов:

- значения математических (физических, химических) констант с неуказанной точностью;

- попадание числа с указанный интервал;

- синонимы в эталоне;

- буквы одинакового начертания в разных клавиатурных (языковых) раскладках;

- обработка последовательностей пробелов при текстовом вводе.

При составлении вопросов открытого типа необходимо использовать принцип неотрицательности, т.е. не рекомендуется формулировать вопрос следующим образом: "Укажите, какие действия нельзя выполнять в определенной ситуации". Однозначно ответить на такой вопрос не представляется возможным, а следовательно, будут возникать постоянные конфликты при его оценивании.

Рекомендации по использованию вопросов типа «свободный ввод»:

- в формулировке вопроса необходимо указывать, в какой языковой раскладке, в каком регистре, в каком падеже, в каком лице и т.д. необходимо вводить ответ;

- не рекомендуется использовать больше трех окон ввода, если это не проверка правописания;

- не рекомендуется использовать совместно в одном сеансе тестирования вопросы со свободным вводом ответа и выборочные вопросы из-за существенной разницы в вероятностях угадывания правильных ответов.

С точки зрения целевых установок тестирования вопросы третьего типа целесообразно использовать, когда необходимо практически исключить вероятность угадывания ответов. Одной из областей широкого применения вопросов данного типа является проверка знаний и умений по использованию различных языковых конструкций (проверка правописания, применение конструкций языков программирования и т.д.).

З.Оценивание ответов

В компьютерных системах тестирования знаний особое внимание должно уделяться объективному оцениванию результатов, которые, как правило, выражаются в некоторых условных единицах (оценках). В шкалированных системах оценивания вычисляется процент правильных ответов за сеанс тестирования, и результат относится к одному из диапазонов шкалы оценивания (о -количество диапазонов шкалы оценивания). В системе компьютерного тестирования знаний OpenTEST2 применяется автоматическая шкала оценивания, учитывающая вероятности угадывания для различных типов вопросов (рис.5). При этом границы диапазонов шкалы оценивания вычисляются по формуле, которая ранее использовалась только для вопросов первого типа [4]. Нижняя граница первого диапазона принимается 0%, а верхняя граница последнего диапазона - 100%. Отметим, что первый диапазон шкалы соответствует зоне угадывания и оценивается оценкой «очень плохо».

Верхняя граница к-го диапазона (к = 1, Б) вычисляются по формуле:

к - 1 1 - РСР

Ск = [Рср + (1 - Рср) • ^-Т] • 100% = [Рср + (к - 1) • ——Р] • 100%. (11)

Б - 1 Б - 1

Нормирование полученной оценки в за сеанс относительно выбранной шкалы оценивания осуществляется с использованием неравенства: Ск-1 < В < Ск.

В качестве примера рассмотрим реальный сеанс тестирования из 10 вопросов закрытого типа, 4 из которых первого типа («выбор одного из нескольких»), три - второго типа («выбор нескольких из нескольких») и три - четвертого типа («соответствие»). Необходимо подсчитать, какую оценку получил тестируемый в национальной пятибалльной шкале оценивания (Б=5). Параметры вопросов и результаты прохождения сеанса одним из тестируемых приведены в таблице. В столбце «ответ» правильные ответы обозначаются «+», неправильные ответы «-», а частично правильные знаком «+» и дробью, указывающей количество выбранных правильных ответов из общего числа правильных ответов. Например, +(3/4) обозначает, что из четырех правильных альтернатив выбрано 3.

Параметры и результаты сеанса тестирования

Вопрос Тип т, к Балл за вопрос В1 Вероятность угадывания Р1 Р1* в1 Ответ Набранный балл

1 1 4 1 0,25 0,25 + 1

2 1 4 2 0,25 0,5 - 0

3 1 5 1 0,2 0,2 - 0

4 1 5 2 0,2 0,4 + 2

5 2 5, 3 1 0,125 0,125 + 1

6 2 6, 3 2 0,0625 0,125 - 0

7 2 6, 4 3 0,125 0,375 +(3/4) 2,25

8 4 6, 4 1 0,05 0,05 +(3/4) 0,75

9 4 8, 4 2 0,036 0,072 - 0

10 4 9, 5 3 0,025 0,075 +(3/5) 1,8

2 18 2,172 8,8 (48,9%)

Рср =2^ • В^/^Bi = 2,172/18 = 0,121, Аср = 8,26 .

Верхние границы диапазонов шкалы оценивания по формуле (11) следующие: Сх=12% -«очень плохо»; С2 = 34% - «неудовлетворительно»; С3=56% - «удовлетворительно»; С4 = 78% - «хорошо»; С5 = 100% - «отлично».

Таким образом, 8,8 набранных баллов за рассматриваемый сеанс тестирования из 18 возможных соответствуют оценке «удовлетворительно» в пятибалльной шкале оценивания.

48,9

О 12 34 56 78 100

Рис. 5. Диапазоны автоматической шкалы оценивания в системе OpenTEST2

4. Выводы

Научная новизна. Проанализирована вероятность угадывания для сеансов с разнотипными вопросами и разными весами и показано, что для вопросов одного типа вероятность угадывания не зависит от веса вопроса. Для всех типов вопросов определены формулы вычисления вероятности угадывания (3)-(5), (8), (10), исключающие суммы.

Практическая значимость. Система OpenTEST2 находится в опытной эксплуатации в учебном процессе ХНУРЭ. Применение всех четырех типов вопросов значительно расширило дидактические и методические возможности преподавателей при оценивании знаний студентов. Учет вероятностей угадывания позволил более объективно оценивать уровень знаний студентов, что особенно важно при использовании накопительной системы оценивания в рамках Болонского соглашения.

Перспективы исследования определяются . Список литературы: 1. НапрасникС.В., ЦимбалюкЕ.С., ШкильА.С. Компьютерная система тестирования знаний OpenTEST 2.0 // Сборник научных трудов 10-й международной конференции УАДО Образование и виртуальность - 2006. Харьков-Ялта. 2006. Харьков: ХНУРЭ. 2006. С. 454-461. 2. Прокофьева Н.О. Методы контроля знаний при компьютерном обучении // Сборник научных трудов 9-й международной конференции УАДО Образование и виртуальность-2005. Харьков-Ялта. 2005. Харьков: ХНУРЭ. 2005. С. 272-277. 3. Аванесов В.С. Формы тестовых заданий: Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. М.: Центр тестирования, 2005. 156 с. 4. ШкильА.С., Чумаченко С.В., НапрасникС.В. Компьютерная система тестирования знаний в дистанционном обучении // АСУ и приборы автоматики. 2003. Харьков: ХТУРЭ. Вып. 122. С. 85-95. 5. Напрасник С.В., Таранов В.Б., Шкиль А.С., Шкляров Л.И. Использование закрытых форм тестовых заданий в системе компьютерного тестирования знаний OpenTEST // Сборник научных трудов 9-й международной конференции УАДО Образование и виртуальность - 2005. Харьков-Ялта. 2005. Харьков: ХНУРЭ. 2005. С. 307-312.

Поступила в редколлегию 07.12.2006 Шкиль Александр Сергеевич, канд. техн. наук, доцент кафедры АПВТ ХНУРЭ. Научные интересы: проектирование и диагностика цифровых устройств, создание электронных учебников, технологии дистанционного образования. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326.

Чумаченко Светлана Викторовна, канд. физ.-мат. наук, доцент кафедры АПВТ ХНУРЭ. Научные интересы: технологии тестирования знаний. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326. E-mail: [email protected].

Напрасник Сергей Владимирович, инженер тестового центра ХНУРЭ. Научные интересы: системное администрирование сетей Windows и UNIX, проектирование и разработка Internet/Intranet приложений. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326.

Гаркуша Елена Владимировна, преподаватель кафедры автоматических систем управления войсками факультета "Телекаоммуникации" Полтавского военного института связи.