CC BY
19
Тихомиров Юрий Валентинович
КОМПЬЮТЕРНАЯ СИСТЕМА ДЛЯ РАЗРАБОТКИ И ИСПОЛЬЗОВАНИЯ КОМПЬЮТЕРНЫХ ТЕСТОВ И ОБУЧАЮЩИХ ПРОГРАММ НА БАЗЕ РЕДАКТОРА MS Word
ВЕДЕНИЕ
Компьютерные системы (оболочки), предназначенные для разработки и использования в учебном процессе различных компьютерных приложений, достаточно широко известны. Они в первом приближении могут быть разделены на универсальные и специализированные. В качестве примера специализированных оболочек можно указать известную систему АСККО, предназначенную для разработки компьютерных тестов. Ясно, что специализированные программы решают только ограниченный круг задач, но на более высоком уровне, нежели универсальные.
Как правило, любая оболочка состоит из двух основных частей (подсистем). Одна часть предназначена для разработки программы и обычно называется редактором, а вторая часть используется при функционировании разработанной ранее программы и может коротко называться проигрывателем. При распространении учебные программы поступают, как правило, в комплекте с проигрывателем, но без редактора. За программу, позволяющую редактировать и адаптировать разработанные кем-то компьютерные курсы или тесты, требуется основательная доплата. При этом мно-
гие редакторы имеют свою особую специфику при работе с содержательной частью учебного материала, для освоения которой требуются значительные усилия. Исходные материалы для подобных систем часто имеют вид машинописных текстов или, в лучшем случае, должны быть представлены в электронной форме. В последнем случае при подготовке исходных материалов используются известные стандартные редакторы.
Наиболее распространенным в последнее время стал редактор MS Word, возможности которого вполне обеспечивают потребности большинства преподавателей. Особенно эффективно использование этого редактора совместно со вторым элементом комплекта MSOffice - программой разработ-
ОфАл гасйь кр&фЯл^АлгеАл рл^рлбо&ки программы л $*%оор&& юс&ъ при фцАки/иоАиро$лАии ... прагрлммм и короЛко мофеЛ проигр-м&л&емм.
ки презентации, называемой Power Point. Значительно расширились возможности этой системы с момента выхода версии MS Word 97, которая позволила подключить к стандартной системе макросов всю дополнительную мощь платформы VBA (Visual Basic For Applications).
Наличие указанных особенностей последних версий редактора MS Word позволило создать оболочку, основанную на использовании документов, разработанных с помощью этого редактора, в качестве исходных для создания и применения компьютерных обучающих программ и тестов. Используется технология так называемых закладок (bookmarks), с помощью которых размечается исходный текст. Для облегчения разметки применяется специально разработанный документ-редактор, в котором все операции выполняются после нажатия нескольких кнопок на дополнительной панели. Размеченный документ становится компьютерной программой, работающей в среде MS Word и обеспечивающей тестовый контроль знаний и умений. Данная система называется TestumW, а ее прототипом послужила специализированная программа Testum [1], созданная в 1990 году и работающая в нескольких вузах России и ближнего зарубежья. Ниже приведено короткое описание разработанной системы.
ПРЕДНАЗНАЧЕНИЕ И СОСТАВ
Система предназначена для дополнения информационных файлов, созданных редакторами MS Word, интерактивным режимом, обеспечивающим контроль уровня освоения информации, содержащейся в этих файлах. Другими словами система превращает любые информационные файлы в обучающие программы. Достоверность контроля знаний приближается к 100% в результате использования самых эффективных современных методов тестирования с помощью тестовых заданий всех известных форм. Система может работать с редакторами MS Word, начиная с версии 97.
Лие ftaju&MMUx juexuftuc (bookmarks)...
Особенностью системы является предоставление обучающемуся не только возможности ответить на вопрос, выбрав ответ из некоторого набора, но и возможности самостоятельно сконструировать ответ из определенных элементов, что в наибольшей степени отвечает естественному варианту контроля знаний при очном контакте с преподавателем.
Система включает в себя несколько документов, содержащих необходимые макросы. Минимальный набор состоит из 6 основных документов
1. Редактор TSEdit_r.doc, обеспечивающий создание тестовых заданий внутри текста, созданного редактором.
2. Проигрыватель TSPlayer.doc, который обеспечивает выполнение отдельных заданий.
3. Вспомогательный документ NoName.doc, с помощью которого формируется информационный файл, содержащий тестовые задания.
4. Тестирующий документ TestPlay.doc, который обеспечивает тестирование уровня освоения учебного материала на различных этапах обучения.
5. Документ-тест для тестирования по заданному алгоритму testXXXX.doc, работающий совместно с пилот-файлом testXXXX.plt. Дополнительные вспомогательные документы.
Интерактивная база тестовых заданий создается с помощью документа-редактора и обслуживает всю систему тестирования. Ее можно использовать как саму по себе, так и для работы с документ-тестами testXXXX.doc, записывая соответствующее имя базы в таблицу, появляющуюся при запуске документа-теста, или вписывая непосредственно в текст пилот-файла с помощью простейшего текстового редактора. В состав системы, кроме указанных, могут быть включены утилиты, обеспечивающие генерацию экзаменационных билетов, обработку результатов тестирования с использованием современной технологии, основанной
на Item Response Theory, и другие полезные компоненты.
ПОДГОТОВКА К РАБОТЕ С СИСТЕМОЙ
Первым шагом при подготовке к работе с системой TestumW является точное определение цели, которая должна быть достигнута (в педагогике это называется «постановка дидактической задачи»). Учебный материал представляется, как правило, в виде совокупности логических утверждений, имеющих идентификаторы, например, названия. В качестве утверждений могут выступать определения, законы, записанные в символьной или словесной форме, алгоритмы, инструкции, схемы и т. д. Кроме того, в учебный материал курса должны быть включены логические связи между указанными утверждениями (например, выводы формул), а также исторические и другие связи. Предполагается, что для каждого утверждения заранее определено, на каком уровне оно должно быть освоено. В таблице 1 кратко суммирована необходимая для этого информация [2].
Желательно, чтобы у пользователя имелись представления о современной компьютерной технологии контроля знаний. Под контролем знаний принято понимать контроль «уровня освоения учебного материала». Представим в таблице 2 кратко информацию о формах компьютерных тестовых заданий, которые позволяют решить поставленную выше дидактическую задачу
'Иер&им магом при по^гоЛо^ке к рабо&е ... ЛогНое определение цели...
(проконтролировать, освоил ли данный обучающийся данное утверждение учебного курса на заданном уровне) [3].
ОБРАБОТКА СУЩЕСТВУЮЩИХ ТЕКСТОВЫХ ФАЙЛОВ И РАЗРАБОТКА ТЕСТОВЫХ ЗАДАНИЙ
Основой для разработки тестовых заданий служит текст определенного учебного материала, составленный с помощью какого-либо текстового редактора (например, Notepad, Wordpad, Word и т. д. ). Это может быть текст конспекта лекций, описания к лабораторным работам, текст каких-либо инструкций и т.д.
Указанный текст должен быть предварительно обработан. В нем должны быть
Таблица 1. Детализация требований по уровню освоения учебного материала
Уровень освоения Способность выполнить определенные действия с элементом учебной информации (утверждением)
1 Представление Способность воспроизвести утверждение в общих чертах, опуская несущественные детали
2 Знание Способность воспроизвести утверждение полностью, со всеми деталями
3 Умение Способность использовать данное утверждение при решении конкретных известных проблем за практически неограниченное время
4 Навык Способность использовать данное утверждение при решении конкретных известных проблем за весьма ограниченное время («автоматически»)
5 Творческий Способность использовать данное утверждение при решении ранее не встречавшихся (неизвестных) проблем
Таблица 2. Формы компьютерных тестовых заданий
Форма задания Краткое описание Особенности Номер уровня
1 Закрытая (с выборочным ответом) Выбирается один ответ из предложенного набора правдоподобных вариантов ответа Определяет способность выбрать ответ. Имеет высокую вероятность угадывания. Высока вероятность запоминания неверной информации. 3, 4
2 Открытая Записывается ответ в произвольной форме Очень сложен процесс компьютерного анализа правильного ответа, велика вероятность неверной оценки ответа. 1-5
3 На установление соответствия Связываются начальные и конечные части нескольких утверждений Контролирует освоение информации в общих чертах, то есть на уровне представления 1
4 На конструирование ответа Конструируется ответ из предложенного набора элементов, в котором могут содержаться и неиспользуемые (лишние) элементы Наиболее эффективный способ тестирования, отличающийся высокой достоверностью оценки и малой трудоемкостью как процесса разработки тестов, так и процедуры тестирования. 1-4
Обработка текста учебного материала начинается с загрузки в редактор Microsoft Word (версии 97 и более поздних) документа-редактора (TSEditor.doc или TSEdit_r.doc) системы TestumW. Далее производится вставка текста из файла учебного материала.
Затем с нажатия кнопки <Question> на служебной панели системы <TSEditor> начинается формирование задания. В графу 2 появившейся таблицы необходимо вписать номер задания. На первом этапе формирования последовательно выделяются логические элементы (слова, группы слов, элементы формул и т. д.), и для каждого элемента нажимается кнопка <Element> на служебной панели системы <TSEditor>. Эти элементы при тестировании будут «спрятаны» в тексте «шаблона» и помещены в специальную таблицу для выбора. Можно заметить, что после обработки данного элемента в его начале и в его конце появляются квадратные скобки.
От количества «спрятанных» элементов (вакансий) в утверждении будет зависеть трудность задания, то есть требуемый
выделены основные определения, законы, положения, формулировки, формулы и т. п., которые составляют основу (ядро) содержания данной учебной дисциплины. В соответствии с нормативными требованиями определяется, на каком заданном уровне (представление, знание, умение, навык, творчество) должен быть освоен обучающимся каждый элемент (логическое утверждение) основного содержания. Освоение каждого логического утверждения контролируется с помощью отдельного тестового задания.
"ЦкаулЯЯый faeKctû уалфеЯ
для его правильного выполнения уровень освоения данного утверждения.
После идентификации всех элементов разрабатывается задание. Для этого надо только выделить все контролируемое утверждение и нажать кнопку <ZStatement> на служебной панели системы <TSEditor>. На этом ввод задания заканчивается.
Примечание 1
1. В появившийся шаблон можно ввести исправления или дополнения. Например, символ «*» в конце шаблона обеспечит повышение трудности задания в результате того, что шаблон не будет предъявляться при тестировании.
2. Для повышения трудности задания в таблицу для выбора можно ввести «лишние» элементы, которые по смыслу близки к тем, которые необходимы для выполнения задания. Суммарное количество необходимых и лишних элементов не должно превышать 10. Целесообразно печатать «лишние» элементы в строке после таблички задания.
Если элементы в контролируемом утверждении повторяются или не удается иметь один вариант правильного ответа, используется запись эталона (ответа), в которую вносятся номера верных элементов, заполняющих вакансии в процессе их появления.
После завершения работы над данным текстом его надо обработать и сохранить. После этого будет записан вспомогательный файл с именем NameNo1.doc, имя которого надо изменить, используя стандартные средства Windows.
Если нравятся задания с выборочным ответом, тогда все утверждение целиком будет одним логическим элементом, и потребуется допечатать рядом с ним и выделить другие похожие, но неверные утверждения, которые и будут предложены при тестировании. Трудоемкость разработки задания с выборочным ответом увеличивается пропорционально количеству вариантов ответа для выбора.
В четвертую графу таблички задания система сама вносит инструкцию по запус-
"Шрудоемсхк&и рл^рлёоЛки с
ЬибороШхм оЛеЛом у$елиги$ле&с& пропори/хоНллъНо колигесЛу 6лрилНЛо& оЛбеЛл...
ку задания. Выполнив эту инструкцию прямо в редакторе, можно опробовать выполнение задания и исправить обнаруженные недостатки.
Примечание 2
Существуют еще несколько вспомогательных макросов, которые обеспечивают больше удобств при составлении задания:
1. Макрос для проверки номера и имени закладки для данного элемента текста. Он запускается кнопкой «Bookmark» (Alt+B) и при размещении маркера на данном элементе показывает номер его закладки и ее имя.
2. Макрос для удаления закладок в выделенном тексте, запускаемый кнопкой «DelB-marks» (Alt+Del). Этот макрос очень полезен, если приходится переделывать разметку всего утверждения после неудачной проверки (или по другим причинам).
3. Макрос с кнопкой «Controls» активизации всех элементов панели «TSEditor».
4. Макрос с кнопкой «ShowAll» для визуализации всех спецсимволов текста.
5. Макрос с кнопкой «Help_On» инициирует выдачу вспомогательной информации и сигнала.
ВЫПОЛНЕНИЕ ОТДЕЛЬНЫХ ЗАДАНИЙ
Существует 2 варианта выполнения отдельных заданий, созданных с помощью системы Testum-W.
Первый вариант применяется в основном при самоконтроле. В редактор загружается документ MSWord, содержащий информационную интерактивную базу. Выполняя указания, приведенные в табличке каждого задания, надо выделить табличку с номером задания, нажать <воТе8Й^> и выполнить задание. В нижней части экрана будет сформировано утверждение, которое является верным. При тестировании предоставляется несколько попыток для выполнения каждого задания. Количество попыток пропорционально числу «скрытых» элементов (одна дополнительная попытка на каждые три вакансии). Данный режим является основным.
Второй вариант соответствует нормативному тестированию. После загрузки служебного файла TSPlayer.doc в появившуюся табличку вводится номер задания и индекс файла интерактивной базы, в котором оно содержится. После этого можно выполнять появившееся задание.
ВЫПОЛНЕНИЕ ТЕСТОВ
Тестом называется совокупность тестовых заданий, обеспечивающая с заданной степенью точности определение уровня освоения заданного объема учебного материала. В системе TestumW для этого служит документ TestPlay.doc.
При выполнении тестов используются два основных способа: ручной и автоматический. При ручном способе вся информация, требуемая для работы системы тестирования, вносится в специальную таблицу, образец которой представлен ниже (см. таблицу 3).
Второй способ запуска тестирования использует пилот-файл TestPlay.plt, который позволяет вводить в таблицу только информацию об обучающемся (фамилию и группу).
Как видно из таблицы, задания в тесте можно выдавать либо подряд, то есть в том порядке, в котором они содержатся в файле (режим 1), либо в случайной выборке (режим 2), содержащей задания в количестве, определенном заранее. И во втором случае задания будут выдаваться в порядке возрастания их номера в файле, то есть в последовательности изложения материала на лекции.
Содержание (тематика) файлов и выбор режима тестирования позволяют проводить самый широкий спектр контрольных мероприятий:
- текущий контроль уровня освоения темы - файл содержит материал темы и является единственным в приведенной таблице, задания выдаются подряд;
- рубежный (периодический) контроль освоения раздела - файл содержит материал раздела и также является единственным или используется комплексный режим с несколькими файлами, каждый из которых содержит материал одной темы, задания выдаются в случайной выборке;
- итоговый (семестровый) контроль -используется несколько файлов, каждый из которых содержит материал одного раздела, задания выдаются в случайной выборке.
Файлы, используемые при тестировании будут теми же, что и для обучения, то есть файлами конспекта лекций, обработанными с помощью редактора TSEdit_r. Однако большой объем таких файлов (особен-
Таблица 3. Служебная таблица системы тестирования
Число. Месяц 21 10
Количество файлов (разделов). Каталог файлов. 2 d:\redactorX
Индекс файла раздела 1. Количество заданий. ts_hf1 2
1-подряд. Номер первого 1 5
Фамилия. Группа Тихомиров АК-1
но разделов) может затруднить и замедлить работу компьютера. Если такое будет наблюдаться, необходимо составить отдельные файлы для тестирования, убрав тексты из информационных файлов и сохранив их под новым именем, удобным для дальнейшего использования.
ЗАДАНИЯ НА КОНСТРУИРОВАНИЕ ОТВЕТА БЕЗ ШАБЛОНА
При обычном использовании заданий на конструирование ответа (несколько вакансий в тексте) в верхней части экрана предлагается так называемый ШАБЛОН, то есть текст контролируемого утверждения, в котором, вместо пропущенных элементов, стоят символы нижней черты (вакансии). Наличие шаблона существенно облегчает процесс восстановления в памяти нужной информации и соответствует использованию так называемой «поддержки». Подобные задания целесообразно использовать на рабочих этапах процесса освоения информации (обучения). На заключительных этапах более эффективными являются задания, в которых шаблон не показывается, а в зоне ответа воспроизводится только начальная часть контролируемого утверждения, которая, как правило, содержит только его идентификатор (название). Для того чтобы тестирование происходило без предъявления шаблона, необходимо в конце шаблона напечатать символ «*», и при тестировании система превратит данное задание в задание на «конструирование ответа без шаблона».
ЗАДАНИЯ НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ
Задания данной формы используются, как правило, при контроле освоения материала, содержащегося в нескольких темах, с помощью одного тестового задания. В таком задании фигурируют несколько утверждений. Каждое утверждение мысленно разбивается на две части - начальную и конечную. Начальные части всех утверждений образуют первую группу логических
Лого-, гЛоби ЛесЛиробаЛие происходило бе^ префъ&6леЛи& шаблона Необходимо 6 коЩе шаблона Напега&аЛ-ъ символ "*"...
элементов, а конечные части - вторую.
Рекомендуется дополнить элементы второй группы похожими, но не используемыми логическими элементами, чтобы суммарное их количество приближалось к 10. При предъявлении элементы во второй группе перемешиваются (помещаются в таблицу для выбора). Обучающийся должен поставить в соответствие каждому элементу первой группы соответствующий элемент второй группы.
Такие задания, как и конструируемые, содержат несколько вакансий.
КОНТРОЛЬ УМЕНИЯ РЕШАТЬ ЗАДАЧИ
Умение решить физическую задачу является очень сложным комплексным умением, включающим не только способность обучающегося воспроизвести требуемые основные определения, законы и формулы, но и способность вспомнить алгоритм решения и реализовать все его элементы. В
Обугаащийся должен пос&лби&ь 6 сооЛбеЛсЛбие каждому злемеЛЛу пербой группи сооЛбе&сЛбуощ/ш злемеЛЛ бЛорой группи.
самом общем случае данный алгоритм содержит 10 основных шагов.
1. Анализ условия задачи с выделением объекта, процесса (состояния) и окружения.
2. Выбор физической модели для каждого элемента задачи.
3. Выбор основных определений, законов и закономерностей, относящихся к данной задаче.
4. Краткая запись условий с выделением физических характеристик объекта, процесса и окружения, переводом их единиц измерения в систему СИ.
5. Схематическое изображение на рисунке всей описанной в условии ситуации с обозначением соответствующих объектов и характеристик.
6. Применение основных законов и закономерностей к условиям данной задачи.
7. Составление системы уравнений.
8. Решение системы уравнений. Получение формулы ответа в общем виде.
9. Проверка размерности ответа.
10. Проверка физического смысла ответа и запись ответа.
Выполнение каждого шага алгоритма требует владения несколькими позициями (пунктами) учебного материала на самом высоком уровне, вплоть до творческого. Особенно это касается первого, второго и третьего шагов. Без успешного прохождения этих подготовительных шагов невозможен осознанный переход к рабочим шагам решения.
Рассмотрим, какие тестовые задания обеспечивают контроль способности обучающегося решать физические задачи.
1. При анализе условия задачи целесообразно применять задания на установление соответствия, включив, например, в первую группу элементов «объект», «процесс», «окружение», «модель объекта», «модель процесса», «модель окружения».
2. Затем рекомендуется проконтролировать освоение процедуры выбора основ-
... оболочка
6 кагесЛ&е обуюощкх ефограмм ч
ных законов с помощью либо заданий на соответствие (если законов много), либо с помощью заданий на конструирование (если требуется «собрать» одну-две формулы).
3. Применение основных законов для данной задачи завершается составлением уравнений, правильность которых можно проконтролировать только с помощью заданий на конструирование.
4. С помощью задания в той же форме следует проконтролировать и формулу ответа в общем виде.
Для контроля числового значения ответа применяется конструирование числового значения из цифр, включенных в комплект элементов для выбора (цифры являются элементами таблицы для выбора). При этом ввод эталона ответа обязателен.
Окончательно можно сделать вывод, что решение одной задачи контролируется с помощью 5 тестовых заданий, а каждое задание может быть разработано с помощью системы
ЗАКЛЮЧЕНИЕ
Разработанная оболочка TestumW позволяет использовать документы, созданные стандартными редакторами, в качестве обучающих программ и компьютерных тестов.
Тестирование знаний с помощью системы TestumW позволяет:
- обеспечить максимальную объективность контроля освоения учебного материала на требуемом уровне, включая и возможность самоконтроля обучающегося;
- проводить объективный контроль знаний на различных этапах обучения, включая контроль на каждом занятии (в частности, на лабораторных работах), рубежный (блочный) контроль, семестровый контроль (зачеты, экзамены);
- проводить практические занятия и контрольные работы по решению различных задач со случайным выбором вариан-
тов заданий и практически равной нулю вероятностью совпадения двух тестов;
- формировать тесты на бланках, например, при проведении вступительных или семестровых экзаменов;
- формировать комплексный тест, состоящий из заданного количества заданий из любого другого теста, а также предъявлять задания обучаемому в случайном порядке;
- разрабатывать тесты с большим количеством разнообразных заданий (до 100 заданий в одном тесте) всех известных форм: открытые, закрытые (с выборочным ответом), на соответствие и с конструируемым ответом,
- корректировать любое задание из ранее разработанных тестов, добавлять но-
вые задания в существующие тесты, компоновать новые тесты из ранее созданных.
С использованием данной оболочки разработан большой пакет учебных программ различного назначения для всего курса физики в техническом университете. Пакет размещен на персональной странице автора [4] и на СБ, распространяемом в студенческих группах. Ведется разработка комплекта материалов для довузовского обучения по курсу элементарной физики.
В качестве дополнения к данному материалу прилагается демонстрационно-обучающая программа, в которой представлены некоторые особенности работы с данной оболочкой.
Литература.
1. Тихомиров Ю.В. Инструментальная система ТЕСТУМ для разработки компьютерных тестов, обучающих программ и компьютерных учебников. Материалы конференции «Информатика и новые информационные технологии в системе лицей-вуз». МИФИ, 1995. 0,5 с.
2. Тихомиров Ю.В. Теоретические основы и технические средства компьютерного тестирования знаний. Труды Международной научно-технической конференции «Современные научно-технические проблемы ГА». РИО МГТУГА. М., 1996. С.131-138.
3. Тихомиров Ю.В. Компьютерное тестирование. РИО МИИГА. М., 1992. 48 с.
4. Tikhomirov Yu.V. Internet Personal Page. http://www.mstuca.ru/pages/tikhomirov 1997-2003, Moscow, RF.
(g) Наши авторы, 2003. Our authors, 2003.
Тихомиров Юрий Валентинович, профессор кафедры физики Московского государственного технического университета гражданской авиации.
