CC BY
49
УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
В. Л .Токарев, Л. Б. Яблочкин (Тула, ТулГУ)
МЕТОДИКА ФОРМИРОВАНИЯ ТЕСТОВ ДЛЯ ОБУЧАЮЩЕЙ СИСТЕМЫ
Предложен принцип формирования теста из общего набора тестовых заданий для конкретной категории обучающихся, обеспечивающий получение адекватных оценок уровня знаний.
Одной из задач, возникающих при построении программного инструментального средства для создания обучающей системы, является разработка подсистемы контрол знаний обучаемых, основанной на электронном тестировании. Така система, как правило, должна обеспечивать следующие возможности:
- наполнение и корректировку преподавателем (автором учебного курса) базу данных, содержащую множество тестовых заданий ПХ. Каждое тестовое задание хе£2х представляется кортежем х=<”задание” -“ответ ”>, в котором под “ответом” понимается любая реакция обучаемого на ’’задание”;
- составление теста Х, т.е. набора тестовых задания (ТЗ) ограниченного объема Х=(х\, х2,.,хп}^ОХ„ обеспечивающего получение оценки знаний обучаемого, адекватной реаьному уровню знаний материала конкретной изучаемой дисциплины.
Получение такой оценки - это основна цель тестирования. Поэтому именно степень достижения этой цели определяет качество подсистемы контроля знаний обучаемых. Такое качество, в свою очередь, является функцией от многих переменных, в том числе:
— ваидность (¡1 - способность оценить степень усвоения учебного материала;
— надежность ¡2 - стабильность получаемых показателей при повторных тестирования в условиях (их нужно создать!), когда тестируемый не запомни свои ответы при прошедшем тестировании;
— дискриминативность - способность теста классифицировать результаты в соответствии со шкалой оценивания уровня знаний, задаваемой преподавателем;
— ранообраие форм ТЗ ^ (с выбором одного ответа из предъявленного множества; с выбором нескольких ответов из предъявленного множества; ТЗ на установление соответствия, ТЗ на установление правильной последовательности, ТЗ открытой формы и др. [1,2]);
— качество пользовательского интерфейса й5 (удобство
использования, легкость в обучении).
Возможны и другие критерии.
Для достижения высоких значений первых четырех критериев требуется соответствующа методика формирования тестов. Один из возможных подходов к созданию такой методики предлагается в данной статье.
Основна суть такого похода заключается в следующем.
Задачу составления теста X можно сформулировать как задачу выбора
а
X
где г, - некоторое решающее правило выбора X,, обеспечивающее соответствие требованиям Б в /-ой ситуации.
Обозначив через а фактический уровень знаний обучаемого, полученный им в результате изучения курса, задачу тестирования можно рассматривать как задачу оценивания характеристики а дискретной системы
у = о(х)+У
по измерениям «вход (х) - выход(у)» (рис.1)
(1)
V
X
У
а
Рис. 1. Представление задачи тестирования
Здесь под V понимаются погрешности отображения о — р, к которым можно отнести: насколько внимательно тестируемый
проанализировал ТЗ, насколько его понял (хорошо ли знаком с терминологией), дефицит времен (нет времени продумывать ответ),
внешние факторы в аудитории (шум, разговоры, ...), мотивация к получению хорошей оценки и т.д.
В теории сигналов, например, така задача известна как задача фильтрации Винера. Особенностью рассматриваемой здесь задач явлется качественный характер как измеряемых переменных х и у, так и оцениваемого значения а.
Тем не менее, критерий задачи оценивания можно сформулировать в «классическом» варианте:
р(9,а)-> min
(2)
X с QX
где р - метрика, позволяющая оценивать «расстояние» между полученной
оценкой а и действительным значением а.
Тогда задачу определения решающего правила ri составления теста Х из тестовых заданий xeQx можно сформулировать так:
r = arg min о(а,er)
Di eD
r< (3)
1ieT
neN
ПЄІ
где II - время тестирования; р - число ТЗ в тесте; ф - формы ТЗ; ж -понятность ТЗ (одно из средств повышения понятности - использование мультимедийных средств), ж можно оценивать статистически по времени реакции студена на ТЗ.
Такую задачу предлагается решить следующим обраом.
При условии, что тест Х отвечает всем указанным выше требованиям Б, оценивание значения о можно рассматривать как определение терма лингвистической переменой (ЛП) «УРОВЕНЬ»:
~ а] ,Ма, (2), ] = 1,-..,4) 2=пу / Пх, 2 е[0,0;1,0], (4)
а
j
принимающей значения а1=«НЕУДОВЛЕТВОРИТЕЛЬНО», а2 =
«УДОВЛЕТВОРИТЕЛЬНО», а3 = «ХОРОШО», а4 = «ОТЛИЧНО». Здесь пх —количество ТЗ в 1-м тесте; пу - количество правильных ответов. Значения функций принадлежности ма ) определяются
У
выражениями:
1-10(1-р)х-0,3) если 2 е [т1 ;т1 + 0,1/( 1 - в)\
М а (2) = 1-10(1 - в)(х -0,5), если 2 е [2 -0,1 /(1 - в); т2 + 0,1 /(1 - в)],
Ма^ (2 ) = 1-10(1- в)х -0,7), если 2 е [3 — 0,1/( 1 - в); т3 + 0,1/(1 - в)],
Здесь тге[0.0; 1.0] - моды функций принадлежности,
соответственно, термов а (, = 1,2,3,4), задающие шкау оценивания уровня знаний, устанавливаемую преподавателем; /3 - уровень «размытости» термов, который зависит в основном от качества теста Х т.е. насколько успешно решена задача (2).
Для оцени таких характеристик теста Х как, ваидностт d1 и дискриминативность d3, можно воспользоваться интеграьной оценкой, предложенной в [1]. Така оценка строится на основе характеристики я, (к) = т(к)/ т (т - количество тестирующихся, т(к) - количество
тестирующихся, правильно выполнивши к заданий теста, ке1,...,пх), распределение которой подчиняется нормальному закону. При этом, как
характеризует сложность теста Х, а среднеквадратическое отклонение 8 (к) -соотношение между челом тестирующихся, мао выполнивших ТЗ, и числом тестирующихся, успешно преодолевших большую часть ТЗ 1-го теста.
Тогда дискриминативность теста Х можно оценить как расстояния
Дискриминативность с13 существенно можно повысить путем вы бра формы тестовых заданий (критерий й4). Это проблема методическа. Для ее решения нужно ответить на вопрос: какой уровень знаний мы хотим оценить? Поскольку известно, что люба дисциплина содержит темы, о которых либо достаточно иметь представление (знания группы А), либо требуется изучить с полным пониманием их сути (знания группы Б), либо
Ма (2)= [1-10(1-в)х-0,9), если2 е [0,9-0,1/(1 -в); 0,9 + 0,1/(1 - в)\ 4 <
1, если 2 е [0,9; 1,0]
показано в [1], положение к, моды распределения
(2) между полученными значениями к, и 8,(к) и идеаьными, которые
/V
можно принять равными [1] к = п>/2 и8*(к) =2,4.
изучить настолько, чтобы их профессионаьно использовать в своей будущей деятельности (знания группы В). С этой точки зрения можно все известные формы тестов (исходя из накопленного опыта) разделить на группы.
А - тесты, способные оценить уровень знаний группы А.
Они обычно включают: 1) ТЗ аьтернативных ответов и
множественного выбора (с выбором одного ответа, с выбором нескольких ответов и с выбором области на рисунке); 2) ТЗ на установление соответствия: в ТЗ этой формы проверяется знание связей между элементами двух множеств; 3) ТЗ на установление последовательности: например, ТЗ с выбором последовательности действий; 4) ТЗ открытого типа - дополнения: предлагают студенту вписать одно слово (иногда два рядом стоящих слова) вместо пропущенных в предложении.
Б - тесты, способные оценить уровень знаний группы Б.
Они обычно состоя из ТЗ открытого типа с числовым ответом: ТЗ содержат условие задачи, исходные данные и размерность, в которой требуется ввести число, полученное в результате решения, ил представляют собой цепочные тесты. Цепочные тесты предлагают студенту пройти цепочку - последовательность упорядоченных вопросов -ТЗ открытого типа с текстовым или числовым ответом. Каждое последующее ТЗ связано с предыдущим: проверяет, насколько студент понимает суть ответа, данного им на предыдущий вопрос.
В - тесты, способные оценить уровень знаний группы В
Эти тесты формируются в виде минипроекта, этапы выполнения которого являются тестовыми заданиями, причем в различной форме. Во-первых, это составление этапов выполнения минипроекта - ТЗ с выбором последовательности действий. Во-вторых, выбор проектного решения на каждом этапе - выбор аьтернативы из заданного множества. В-третьих, выполнение расчетов - ТЗ с числовым ответом и т.д.
Это наиболее сложный вид теста, поскольку требует создания базы данных с необходимыми справочными материалами и программы оценки правильности проектных решений, принимаемых студентом, и
правильности расчетов, выполненных студентом при проектировании.
Из всего этого следует, что вся дисциплина не может быть представлена в одной форме теста, сколько бы ТЗ не содержал контрольный тест.
Таким образом, покзатель 3 размытости оценок м а (2) является
У
функцией
в = (рД-к )’ р/я(к) - (к)),ф,
где ф - показатель соответствия формы ТЗ виду оцениваемых знаний.
Практика показала, что, используя описанный выше подход (разнообразие форм ТЗ - Ф), можно добиться значения покаателя рамытости оценок
^а] ^^ на уровне р=0,25.
Надежность с12 тестаХ можно оценивать сравнением значений Сі(к), в аналогичных группах обучающихся (по возрасту, по среднему балу, по получаемой специаьности, и т.п.), используя ту же метрику (2),
П =с ¡(к) ~Ме[ф)],
где Ме[с(к)] — медиана вычисляется на всем множестве результатов, полученных обучающимися выбранной группы.
Таким обраом, используя описанный подход к измерениям (2) качества теста, можно предложить следующую методику формирования Х
1.Все темы дисциплины рабиваются натри группы: А, Б, В. Соответственно, формируются три группы ТЗ раличных форм. Оценивается успешность прохождения каждой группы ТЗ, что позволяет оценивать уровень а, как соответствие терму: А—а2; АлБ—а3;
АлБлВ——а4.
2. Каждая группа составляется из ТЗ, совокупность которых дает
/V
наименьшие значения р к(кі ~к ),ря(яі(к) ~ я (к) . Процедура получения такой группы итерационная, выполняющася с учетом результатов предыдущих попыток тестирования. Эту процедру можно провести в рамках эксперимента на небольшой группе обучающихся.
3. Для выполнения условия (2) решения задачи (3) необходимо обеспечить дальнейшее снижение покаателя р. Мероприятия по снижению данного показателя приведены в таблице.
Мероприятия по снижению показателя размытости р
№ Мероприятие Снижение р
1 Исключить (по возможности) обмен мнениями между студентами во время тестирования. Для это го следует формировать тесты случайным обраом из заданного набора тестовых заданий. -0,03
2 Исключить при тестировании возможность возврата к невыполненным по порядку тестовым заданиям. Возврат к таким ТЗ может быть допущен не более чем к двум - трем ТЗ для теста, составленного из 20 тестовых заданий. -0,04
3 Широкое использование мультимедийных средств (графика, звук, анимация) при подготовке тестовых заданий для повышения их понятности (л) для студентов. -0,03
Окончание таблицы
№ Мероприятие Снижение Р
4 Использовать сценарий адаптивного тестирования: от ТЗ среднего уровня сложности к ТЗ более высокого уровня сложности при успешном прохождении ТЗ среднего уровня, иначе - к ТЗ более низкого уровня сложности. -0,04
5 Время тестирования согласовывать как с количеством ТЗ, так и с уровнями сложности отдельных тестовых заданий. Количество ТЗ п должно быть таким, чтобы не превышао 1 часа. -0,03
6 Исключить возможность неоднозначного понимания ТЗ путем четкой формулировки (например, используя математическую символику ил профессиональные языки). -0,03
Таким образом, предложена методика формирования теста X;с£2Х, которая может служить основой при разработке программного инструментаьного средства для создания обучающей системы преподавателем, взявшим на себя труд информатизации учебного процесса обучения “своей” дисциплине.
Один из вариантов формирования теста по предложенной методике представлен в [3].
Библиографический список
1. Афанасьева С.М. Тесты для контроля знаний. Составление, тестирование и оценка качества: методическое пособие / С.М. Афанасьева, В.Л. Токарев. - Тула: ТулГУ, 2007. - 66 с.
2. Клайн П. Справочное руководство по конструированию тестов. / П. Клайн Киев: ПАН-ЛТД, 1994. - 272 с.
3. Яблочкгн Л.Б. Контроль знаний тестированием -управляющий элемент электронного учебника /Л.Б. Яблочки, В.Л.
Токааев // Вестник ТулГУ. Вычислительна техника. Вып.1. - 2007. - С. 151-155.
Получено 24.10.08
