CC BY
20
УДК 001:002
А.С. ШКИЛЬ, С.В. ЧУМАЧЕНКО, С.В. НАПРАСНИК, А.В. БАБИЧ, Е.В.ГАРКУША
ПРИНЦИПЫ ПОСТРОЕНИЯ СЕАНСА ТЕСТИРОВАНИЯ В КОМПЬЮТЕРНОЙ СИСТЕМЕ ТЕСТИРОВАНИЯ ЗНАНИЙ OPENTEST2
Рассматриваются вопросы формирования частично адаптированного сеанса тестирования в компьютерной системе тестирования знаний OpenTEST2. Сеанс тестирования формируется как репрезентативная выборка из структурированной базы тестовых заданий с использованием методов дискретной оптимизации. Даются рекомендации относительно формирования структуры базы данных тестовых заданий системы OpenTEST2.
Введение
В Харьковском национальном университете радиоэлектроники (ХНУРЭ) разработана и в течение нескольких лет находится в эксплуатации компьютерная система тестирования знаний студентов OpenTEST, а с 2007 года - вторая версия этой системы OpenTEST2. В ней реализуется частично адаптированный алгоритм проведения контроля знаний со случайной выборкой заданий из тестовой базы данных на основе модели учебного материала. Адаптивность состоит в том, что тематическая структура набора тестовых заданий для каждого тестируемого, а также их качественные и количественные характеристики зависят от модели учебного материала.
Тестирование в системе OpenTEST2 осуществляется путем организации сеанса тестирования для каждого тестируемого. Сеанс тестирования представляет собой репрезентативную выборку из генеральной совокупности теста на основе его содержательной структуры, максимально покрывающей модель предметной области.
С точки зрения теории педагогических измерений сеанс тестирования - это фрагмент педагогического теста как системы заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых. Составной единицей педагогического теста является тестовое задание, отвечающее требованиям к заданиям в тестовой форме и статистическим требованиям известной трудности, дифференцирующей способности (вариации баллов), и положительной корреляции c результатами по тесту в целом [1].
Сеанс характеризуется длиной (количеством N тестовых заданий в сеансе), временем, отводимым на сеанс, и количеством попыток прохождения теста в рамках одного сеанса. Хотя задания в сеансе нумеруются в порядке возрастания трудности, тестируемый может отвечать на них в произвольном порядке.
Формой тестовых заданий в системе OpenTEST2 являются вопросы закрытого типа (типа «выбор одного из нескольких», «выбор нескольких из нескольких», «соответствие») и открытого типа (свободный ввод короткого ответа) с произвольным назначением весомоз-начности тестовых заданий в баллах в рамках одного теста [2].
Трудность и дифференцирующая способность тестовых заданий
В педагогических измерениях для количественной оценки содержания теста разными авторами используются понятия трудности, сложности и весомозначности тестовых заданий.
1. Весомозначность тестового задания обычно характеризуется баллом за правильный ответ и отражает субъективный взгляд автора теста на относительное влияние конкретного тестового задания на суммарную оценку за ответы на все предложенные тестовые задания.
2. Сложность тестового задания характеризуется количеством умственных или вычислительных операций, необходимых для получения правильного ответа. Эта мера широко используется в учебном процессе при нормировании времени, необходимого на усвоение определенного количества учебного материала.
3. Трудность тестового задания - это эмпирическая оценка отношения тестируемых к конкретному тестовому заданию путем правильных или неправильных ответов на него. В качестве меры трудности тестового задания принято использовать частоту (вероятность) получения правильного ответа на >е тестовое задание (р7) :
р; = Щ ,
где Ri - количество правильных ответов на 7-е тестовое задание; NN1- количество участий >го тестового задания в испытаниях.
Следует отметить, что р; на самом деле характеризует легкость тестовых заданий, поэтому между истинной трудностью тестового задания и величиной pi существует обратно пропорциональная зависимость, т.е. чем меньше значение pi , тем труднее тестовое задание.
При достаточно большой выборке испытуемых pi можно считать вероятностью получения правильного ответа,. р; характеризуется положительным числом в интервале от 0 до 1. В системах компьютерного тестирования знаний [3] при анализе трудности тестовых заданий принято выделять три уровня трудности:
- легкие (0,6 < р; < 0,8 );
- средние (0,4 < р; < 0,6 );
- трудные (0,2 < р; < 0,4 ).
Задания, у которых р; < 0,2 (очень сложные) и р; > 0,8 (очень легкие), не рекомендуется использовать в качестве тестовых, если они не несут какой-либо специальной нагрузки. Необходимо иметь в виду, что трудность, как эмпирическая мера количественной оценки тестовых заданий, требует предварительной апробации на достаточно представительной типичной выборке обучаемых. И только после этого тестовые задания могут быть отнесены к определенному уровню трудности.
В качестве меры дифференцирующей способности ^го тестового задания (вариации тестовых баллов) при дихотомической оценке правильных и неправильных ответов принято
использовать его дисперсию Di = р; * , где = 1 - р;. Таким образом, наилучшей дифференцирующей способностью обладают тестовые задания среднего уровня трудности, а максимальная дисперсия будет при р; = 0,5 .
Модель тестовой базы данных
В компьютерной системе тестирования знаний OpenTEST2 принята четырехуровневая иерархическая модель предметной области и соответствующая иерархическая структуризация тестовых заданий (вопросов):
«КАТЕГОРИЯ ТЕСТА» -> « ИМЯ ТЕСТА» -> «ИМЯ ТЕМЫ»-> «ВОПРОСЫ ТЕМЫ»->
«КАТЕГОРИЯ ТЕСТА» - это организационный уровень иерархии, который формируется для каждой конкретной инсталляции OpenTEST2 администратором системы. Система OpenTEST2 адаптирована для использования в учебных учреждениях со сложной структурой, поэтому организационное понятие «категория» связано с организацией учебного процесса в вузе. Под «категорией» обычно понимают кафедру или факультет (деканат). Такая категория позволяет пользователям значительно сократить время поиска тестов в базе данных системы OpenTEST2.
"ИМЯ ТЕСТА" обычно соответствует названию учебной дисциплины или ее части. Доступ к тесту (при организации сеанса тестирования) осуществляется по категории теста и имени теста.
"ИМЯ ТЕМЫ" обычно соответствует структурной единице учебной дисциплины, определенной в ее рабочей программе, и используется при формировании сеанса тестирования из тестовой базы данных.
"ВОПРОСЫ ТЕМЫ" - это тестовые задания (вопросы) разных форм, содержащие текстовые, графические и мультимедийные компоненты.
Три нижних уровня иерархии модели предметной области образуют содержательную структуру теста.
В соответствии с моделью предметной области и принятой системой градаций трудностей тестовых заданий, в системе OpenTEST2 формируется тестовая база данных, каждый тест в которой состоит из L тем, а каждая тема содержит К подразделов (по количеству уровней трудности тестовых заданий). Каждый подраздел содержит тестовые задания (вопросы), трудность которых находится в пределах, заданных для этого уровня трудности. На рис. 1 показана структура базы данных для теста, содержащего 10 тем по три уровня трудности в каждой теме. На данном рисунке ^ обозначает количество тестовых заданий соответствующего уровня трудности в каждой теме. Исходя из рекомендаций по общей длине теста целесообразно, чтобы соблюдалось условие ^ > 10.
Тестовые задания ТЕМЫ
Уровни трудности 1 2 3 4 5 6 7 8 9 10
1 (легкие) 11,1 11,2 11,3 11,4 11,5 11,6 11,7 11,8 11,9 11,10
2 (средние) 12, 12,2 12,3 12,4 125 126 12,7 12,8 129 12,10
3 (трудные) 13,1 %,2 13,3 13,4 13,5 13,6 13,7 13,8 13,9 13,10
Рис. 1. Структура теста в базе данных в системе ОрепТЕ$Т2 Покрытие учебного материала тестовыми заданиями
Для численной оценки степени покрытия учебного материала тестовыми заданиями определим С;,j - коэффициент покрытия учебного материала _)-й темы содержательной структуры теста, где ; = 1, К, j = 1, L. Он является чисто качественной характеристикой и отражает субъективную точку зрения автора теста на степень покрытия содержательной
структуры ) -й темы теста заданиями разных уровней трудности. Коэффициент С;, j задается автором теста для каждого уровня трудности темы или для всего теста целиком. В дальнейшем для простоты изложения будем считать С;,j равными для всех ) тем теста,
таким образом: С = (с1, с2, ... сК).
Определим, что предметная область покрывается полностью (на 100%), если в сеанс тестирования из каждой темы попадает хотя бы по одному заданию каждого уровня трудности. На практике это часто недостижимо, потому что длина сеанса является ограниченной и условие N > К * L трудновыполнимо. Но, с другой стороны, правильный ответ на задание 3-го уровня трудности предполагает наличие у студентов какого-то минимума знаний учебного материала, покрываемого заданиями 1-го и 2-го уровней трудности. Например, автор теста может принять, что задания первого уровня покрывают 30% учебного материала (с1=0,3) данной темы или теста в целом, второго - 40% (с2=0,4), третьего - 50% (с3=0,5) Любые два уровня в сумме не покрывают 100% учебного материала, а все три уровня в сумме покрывают 100%, но это не арифметическая сумма, а учет взаимного «перекрытия» учебного материала различных уровней трудности.
Определим пересечение («перекрытие») уровней трудности Е сумму частных коэффициентов пересечения е; для каждого уровня трудности:
К К
Е = (е1,е2, ...еК) , Е = £е;, Е = £с; -1 ,
¡=1 ¡=1
где К - количество уровней трудности тестовых заданий.
Значения отдельных е; назначаются экспертом по аналогии с;. Значение Е < 0 говорит о
неправильном выборе автором (экспертом) теста значений с;. Если Е = 0, то «перекрытие» между заданиями разного уровня трудности отсутствует, а это не совсем точно отражает содержательную структуру учебного материала (от простого к сложному).
Дополнительно определим групповые коэффициенты пересечения нескольких уровней
трудности учебного материала для одной темы:
^j ^j
су = Е с е .
;=1 ;=1
Например, для с1=0,3, с2=0,4, с3=0,5 Е = (0,3 + 0,4 + 0,5) - 1 = 0,2 .
При этом можно определить е1= 0,06, е2= 0,07, е3= 0,07 .
Следовательно, групповые коэффициенты покрытия вычисляются:
С1 2=(0,3 +0,4) - (0,06 + 0,07) = 0,57 , С13=(0,3 +0,5) - (0.06 + 0.07) = 0.67,
С2,3=(0,4 +0,5) - (0,07 + 0,07) = 0,76 , си,3= 1 (по определению).
Алгоритм формирования сеанса тестирования
Исходя из сказанного выше, в сеанс тестирования из тестовой базы данных должны включаться задания разных уровней трудности с максимальной дифференцирующей способностью и максимальным покрытием всех разделов учебного материала.
Формальная постановка задачи: построить выборку, содержащую N тестовых заданий с максимальными значениями дисперсии D; и коэффициентов покрытия учебного материала с ], где ; = ) = 1^.
Ограничения: количество тем в тесте L, количество уровней сложности в каждой теме К, из каждого уровня сложности любой темы в сеанс тестирования выбирается одно тестовое задание, при условии К * L < N .
Система OpenTEST2 построена таким образом, что все параметры сеанса тестирования и тестовой базы данных, за исключением количества уровней трудности К, задаются пользователем произвольно. Поэтому за базовый параметр при формировании сеанса тестирования выберем количество уровней трудности тестовых заданий.
Для решения поставленной задачи будем использовать методы дискретной оптимизации. Определим множество вариантов сеансов тестирования как К-мерное пространство
М(т1, т2,..., т К) с ограничениями т1 + т2 +... + т К < N и 0 < т; < L, где т; - количество тестовых заданий соответствующего уровня трудности [4].
Определим количество элементов пространства М первоначально без учета верхнего
ограничения на т;, т.е. только с учетом условия 0 < т;. Из практики решения комбинаторных задач [5] известно, что количество элементов такого пространства будет равно числу целых неотрицательных решений уравнения х1 + х2 +... + х К = N.
Если имеются целые неотрицательные числа Х1, Х2,..., Хк такие, что Х1 + Х2 +... + хк = N , то из них можно составить сочетания из К элементов по N, взяв Х1 элементов первого типа, Х2 элементов второго типа, ..., х к - К-го типа. Наоборот, имея сочетание из К элементов по N получим решение уравнения Х1 + Х2 +... + хк = N в целых неотрицательных числах, где х1 элементов первого типа, х2 элементов второго типа, ...,хк - К-го типа. Следовательно, между множеством всех сочетаний из К элементов по N с повторениями и множеством всех целых неотрицательных решений уравнения х1 + х2 +... + х к = N устанавливается взаимно-однозначное соответствие. Поэтому число решений равно ^ = С^К-1 или С^К-1 (по свойству симметрии биномиальных коэффициентов Ск = С ¡|-к).
Рассмотрим проекцию трехмерного пространства М(т1, т2, т3) на плоскость (т1, т2), при этом учитывая, что т3 = N - (т1 + т2). Если на данную проекцию наложить ограничение т; < L , то получим число элементов пространства М, равное :
Ъ = СМ+К-1 - К ' СМ-Ь+К -2 + К ' СМ-2(L+1)+К-1 . (1)
Вывод этой формулы достаточно сложен, а на алгоритм формирования сеанса практически не влияет, поэтому ввиду ограниченности объема статьи может быть опущен.
С точки зрения учета содержательной структуры теста, уровней трудности тестовых заданий и реальной длины сеанса тестирования в качестве примера рассмотрим структуру
сеанса при К=3, L=10, N=20. При этом количество элементов пространства М(т1, т2, т 3) будет:
Ъ = С20-10+3-2 - 3 ' С20-10+3-2 + 3 ' С2(0-22+3-1 =121- 3 ' СП + 3 ' С2 =121-3 ' 1110 + 0 = 231-165= 66.
Т N
Если число тем в тесте Ь < — , то сеанс, в котором из каждого уровня трудности в тест
К
попадает только одно задание, не существует. В этом случае из каждой темы в сеанс попадает больше, чем К заданий, но этот вариант в данной статье не рассматривается. Отметим, что для N = 20 минимальное число тем в тесте не может быть меньше 7.
На рис. 2 проекция пространства М на плоскость (ш1, Ш2) без верхних ограничений наШ; показана серым цветом без штриховки, а с ограничениями < 10 - заштрихованная область. Справа от этой области показаны координаты трех различных элементов пространства М.
Ш1 20 19 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1
0 I т2
т3 = 20 - (т1+т2)
Z=66
М1 (10, 0, 10) М2 ( 5, 6, 9 ) М3 ( 2, 10, 8 )
0123456789 10 12345678
9 20
Рис. 2. Модель трехмерного пространства М(ш1, ш2, ш 3)
Путем несложных расчетов можно рассчитать число элементов X для любой длины сеанса. Результаты для N от 10 до 20 приведены в таблице.
N 10 11 12 13 14 15 16 17 18 19 20
Z 66 75 82 87 90 91 90 87 82 75 66
Представим табличную модель сеанса тестирования (рис.3) с учетом, что ку = {0, 1}. Для упрощения изложения в качестве первого примера будем рассматривать середины
диапазонов уровней трудности тестовых заданий, для которых Р1 = 0,7 , Р2 = 0,5 , р3 = 0,3, хотя в базе данных присутствуют реальные коэффициенты трудности.
Коэффициенты Темы
Уровни Р с е 1 2 3 4 5 6 7 8 9 10
1 (т0 0,7 0,3 0,06 к1,1 к1,2 к1,3 к1,4 к1,5 к1,6 к1,7 к1,8 к1,9 кх,ю
2 (т3) 0,5 0,4 0,07 к2,1 к2,2 к2,3 к2,4 к2,5 к2,6 к2,7 к2,8 к2,9 к2,10
3 (т3) 0,3 0,5 0,07 к3,1 к3,2 к3,3 к3,4 к3,5 к3,6 к3,7 к3,8 к3,9 к3,10
Рис. 3. Модель сеанса тестирования в системе OpenTEST2
Данная модель строится на основе координат элемента пространства М(ш1, ш2, ш3). В ью строку, соответствующую уровню сложности \, записывается число единиц (ку = 1),
равное значению координаты mi. Для остальных (Ь — mi) элементов >й строки ку = 0. На рис. 4 показана модель сеанса тестирования для точки 2 на рис. 2, для которой М2 (5, 6, 9).
Коэффициенты ТЕМЫ
Уровни Р С е 1 2 з 4 5 6 7 8 9 10
1 (т0 0,7 0,з 0,06 1 1 1 1 1 0 0 0 0 0
2 (тз) 0,5 0,4 0,07 1 1 1 1 1 1 0 0 0 0
з (тз) 0,з 0,5 0,07 1 1 1 1 1 1 1 1 1 0
Рис. 4. Модель сеанса тестирования для М2 (5, 6, 9)
В данной работе весомозначность всех тем в тесте считается одинаковой, а способ распределения ку = 1 по темам принят произвольным (случайным).
Из подраздела темы, соответствующего определенному уровню трудности, задания в сеанс тестирования выбираются по случайному алгоритму. Рекомендуется, чтобы в каждом подразделе было не менее 10 тестовых заданий.
Введем оценку достоверности репрезентативной выборки из тестовой базы данных при формировании сеанса тестирования - коэффициент S. Примем, что среди множества вариантов формирования сеансов тестирования максимальной достоверностью, с точки зрения дифференцирующей способности тестовых заданий и максимального покрытия учебного материала, обладает тот вариант, у которого значение S максимально.
Коэффициент S вычисляется как сумма для всех Ь тем теста произведений средней дисперсии коэффициентов трудности тестовых заданий всех К уровней трудности на коэффициент покрытия учебного материала для каждого уровня трудности темы :
8
■=1
к
0 = ¿У ^^ = к1,]РЙ1 + к 2]Р2Я2 + к3, ]Рзд 3
■ ^ к1, ■ + к 2 + к3, ■ ,
I =1
С ■ = ку (1 — к 2, ■ )(1 — кз, ■ )С1 + к 2, ■ (1 — к1, ■ )(1 — кз, ■ )С2 + кз, ■ (1 — ку )(1 — к 2, ■ )Сз + + кдк 2, ■ (1 — кз, ■ )(С1 — е1 + С2 — е2) + кдкз, ■ (1 — к 2, ■ )(С1 — е1 + С3 — ез) +
+ к 2, ]кз, ■ (1 — кЦ )(с2 — е2 + Сз — ез) + кЦк 2, ]кз, ■ , где Ь - количество тем в тесте; К - количество уровней трудности тестовых заданий; С|, е; -коэффициенты покрытия и пересечения учебного материала для каждого уровня трудности.
Отметим, что 8тах => 0,25*Ь => 2,5, при условии р1 = р2 = рз = 0,5 .
Вычисление значений коэффициента 8 выполняется для всех вариантов сеанса тестирования (элементов пространства М), количество которых приведено в таблице. Так как количество вариантов в общем случае меньше 100, то использовать какие-либо специальные алгоритмы дискретной оптимизации нецелесообразно, достаточно использовать полный перебор вариантов для нахождения максимальных значений коэффициента 8.
На рис. 5-8 показаны результаты расчета достоверности 10 сеансов тестирования для разных вариантов р и с с максимальными величинами 8 для значений К=з, Ь=10, N=20.
Коэффициенты Структура сеанса (задания по уровням трудности)
Уровни Р С е 1 2 з 4 5 6 7 8 9 10
1 (т0 0,7 0,з 0,06 0 1 1 2 2 з 2 з 4 з
2 (тз) 0,5 0,4 0,07 10 9 10 8 10 7 9 10 6 8
з (тз) 0,з 0,5 0,07 10 10 9 10 8 10 9 7 10 9
8 1.748 1.726 1.721 1.705 1.695 1.684 1.67 1.669 1.662 1.649
Рис. 5. Структура сеанса тестирования (вариант 1) по уровням трудности
Коэффициенты Структура сеанса (задания по уровням трудности)
Уровни Р с е 1 2 3 4 5 6 7 8 9 10
1 (Ш1) 0,8 0,3 0,06 0 1 1 2 3 2 4 2 5 3
2 (шз) 0,5 0,4 0,07 10 10 9 10 10 8 10 9 10 9
3 (шз) 0,2 0,5 0,07 10 9 10 8 7 10 6 9 5 8
S 1.746 1.742 1.741 1.738 1.738 1.735 1.733 1.731 1.729 1.728
Рис. 6. Структура сеанса тестирования (вариант 2) по уровням трудности
Коэ( )фициенты Структура сеанса (задания по уровням трудности)
Уровни Р с е 1 2 3 4 5 6 7 8 9 10
1 (Ш1) 0,7 0,4 0,15 5 4 5 4 3 3 2 2 1 1
2 (Ш3) 0,5 0,5 0,15 5 6 10 10 7 10 8 10 9 10
3 (Ш3) 0,3 0,6 0,2 10 10 5 6 10 7 10 8 10 9
S 1.746 1.742 1.741 1.738 1.738 1.735 1.733 1.731 1.729 1.728
Рис. 7. Структура сеанса тестирования (вариант 3) по уровням трудности
Коэф )фициенты Структура сеанса (задания по уровням трудности)
Уровни Р с е 1 2 3 4 5 6 7 8 9 10
1 (Ш1) 0,8 0,4 0,15 5 4 3 2 1 0 1 6 2 5
2 (Ш3) 0,5 0,5 0,15 10 10 10 10 10 10 9 10 8 9
3 (Ш3) 0,2 0,6 0,2 5 6 7 8 9 10 10 4 10 6
S 1.575 1.567 1.56 1.552 1.545 1.537 1.516 1.506 1.494 1.478
Рис. 8. Структура сеанса тестирования (вариант 4) по уровням трудности
На рис. 9,10 показаны результаты расчетов S для К=3, L=10, N=15.
Коэс )фициенты Структу ра сеанса (задания по у зовням трудности)
Уровни Р с е 1 2 3 4 5 6 7 8 9 10
1 (Ш1) 0,7 0,3 0,06 0 1 0 0 2 0 1 1 0 0
2 (Ш3) 0,5 0,4 0,07 5 4 10 6 3 9 10 5 7 8
3 (Ш3) 0,3 0,5 0,07 10 10 5 9 10 6 4 9 8 7
S 1.399 1.377 1.374 1.363 1.356 1.348 1.347 1.342 1.328 1.323
Рис. 9. Структура сеанса тестирования (вариант 5) по уровням трудности
Коэф )фициенты Структура сеанса (задания по уровням т зудности)
Уровни Р с е 1 2 3 4 5 6 7 8 9 10
1 (Ш1) 0,8 0,3 0,06 0 1 2 0 1 3 2 0 0 0
2 (Ш3) 0,5 0,4 0,07 10 10 10 9 9 10 9 8 5 6
3 (Ш3) 0,2 0,5 0,07 5 4 3 6 5 2 4 7 10 9
S 1.279 1.257 1.235 1.234 1.213 1.196 1.191 1.19 1.179 1.174
Рис. 10. Структура сеанса тестирования (вариант 6) по уровням трудности
Анализ приведенных результатов позволяет сделать три основных вывода :
1) наивысшую достоверность имеют сеансы тестирования, у которых хотя бы по одному из уровней трудности заполнены все темы;
2) уменьшение дисперсии трудностей тестовых заданий (увеличение разброса значений р;) смещает структуру сеанса в область заданий среднего уровня трудности;
3) увеличение значений коэффициентов покрытия учебного материала смещает структуру сеанса в область заданий повышенного уровня трудности.
Таким образом, можно сформулировать алгоритм формирования частично адаптивного сеанса тестирования.
1. На основании значений К, L, N находится элемент пространства М (или несколько элементов) с максимальным значением достоверности.
2. На основании координат выбранной точки пространства М формируется модель сеанса тестирования (см. рис. 4).
3. На основании указанной модели из тестовой базы данных выбираются задания из соответствующих тем и уровней трудности.
Отметим, что в каждой теме могут быть свои соотношения числовых значений p; и О;, но это не влияет на общий алгоритм формирования сеанса тестирования.
В системе OpenTEST2 преподаватель может выбрать упрощенный неадаптивный алгоритм формирования сеанса тестирования (если количественные оценки уровней трудности всех тем фиксированы, и автор теста не задал коэффициентов покрытия учебного материала).
1. В сеанс тестирования из всех тем выбираются задания средней трудности с максимальной дисперсией.
2. Если после этого сеанс не заполнен, то в него из всех тем выбираются трудные задания.
3. Если и после этого сеанс не заполнен, то он дополняется легкими заданиями.
Данный алгоритм формирования сеанса также рекомендуется применять для тестов
неизвестного происхождения, которые импортируются в систему OpenTEST2 из внешних источников.
В заключение отметим, что весомозначность отдельных тем в тесте и способ распределения ky = 1 по темам существенно влияют на структуру сеанса тестирования. Но это предмет дальнейших исследований.
Выводы
Анализ расчетов достоверности для сеансов тестирования с разными параметрами показал, что при формировании сеанса многое зависит от соотношения параметров длины сеанса (N) и количества тем в тесте (L) при фиксированном количестве уровней трудности тестовых заданий.
При N > KL сеанса, формируемого по принципу «из каждого подраздела темы в сеанс попадает по одному заданию» не существует, а преподавателю, проводящему тестирование, следует задуматься о соотношении длины сеанса и тематической разбивки учебного материала.
При N < L длина сеанса такова, что задания из некоторых тем вообще не попадают в сеанс. Если эта ситуация преподавателя устраивает, то все в порядке, а если нет, то следует увеличить длину сеанса хотя бы до числа тем в тесте.
При L < N < KL длина сеанса считается оптимальной. Кроме того, данное соотношение может помочь автору теста в тематической разбивке учебного материала при заданных временных и количественных ограничениях на длину сеанса тестирования. Список литературы: 1. Аванесов В.С. Композиция тестовых заданий. Учебная книга, 3 изд. доп. М.: Центр тестирования, 2002. 240 с. 2. ШкильА.С., Чумаченко С.В., Напрасник С.В., ГаркушаЕ.В. Построение тестовых заданий в системе компьютерного тестирования знаний в OpenTEST2 // АСУ и приборы автоматики. 2006. Вып. 137. С.21-32. 3. Карпенко Д.С., Карпенко О.М., ШлихуноваЕ.Н. Система автоматического повышения качества тестовых заданий и мониторинг процесса усвоения знаний // Телекоммуникации и информатизация образования. 2001. № 1. С. 42-57. 4.СергиенкоИ.В., КаспшицкаяМ.Ф. Модели и методы решения на ЭВМ комбинаторных задач оптимизации. Киев: Наукова думка, 1981.288 с. 5. Ежов И.И., СкороходА.В., ЯдренкоМ.И. Элементы комбинаторики. М.: Наука, 1977. 80 с.
Поступила в редколлегию 07.12.2006 Шкиль Александр Сергеевич, канд. техн. наук, доцент кафедры АПВТ ХНУРЭ. Научные интересы: проектирование и диагностика цифровых устройств, создание электронных учебников, технологии дистанционного образования. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326.
Чумаченко Светлана Викторовна, канд. физ.-мат. наук, доцент кафедры АПВТ ХНУРЭ. Научные интересы: технологии тестирования знаний. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326. E-mail: [email protected].
Напрасник Сергей Владимирович, инженер тестового центра ХНУРЭ. Научные интересы: системное администрирование сетей Windows и UNIX, проектирование и разработка Internet/ Intranet приложений. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326.
Бабич Анна Витальевна, канд. техн. наук, старший преподаватель кафедры АПВТ ХНУРЭ. Научные интересы: сетевые технологии, технологии дистанционного образования. Адрес: Украина, 61166, Харьков, пр. Ленина, 14, тел. 70-21-326.
Гаркуша Елена Владимировна, преподаватель кафедры автоматических систем управления войсками факультета "Телекоммуникации" Полтавского военного института связи.
