CC BY
211
Educational Technology & Society 10(3) 2007
ISSN 1436-4522
Сравнительный анализ программных комплексов TestMaker и ACT^est
И.Х. Галеев1, В.Г. Иванов2, Н.В. Аристова3, В.Г. Урядов4 1 кафедра педагогики и методики высшего профессионального образования Казанский государственный технологический университет, Казань, Россия
[email protected] 3кафедра органической химии Казанский государственный технологический университет, Казань, Россия
АННОТАЦИЯ
Работа посвящена сравнению свойств программных комплексов TestMaker и ACT-Теst, предназначенных для разработки тестовых заданий и проведения контрольно-оценочного этапа учебного процесса с использованием компьютерных технологий. Сравнение проводится на примере двух тестов из десяти тестовых заданий по дисциплине «Органическая химия» по теме «Углеводороды. Алканы». Рассматривается конструирование тестовых заданий и самих тестов, с учетом инструментального обеспечения комплексов, а также свойства тестов и выполнение тестирования. Делаются выводы о целесообразности применения комплексов TestMaker и ACT-Теst для различных форм контрольно-оценочного этапа.
Ключевые слова
программный комплекс, конструирование тестов, тестирование, сравнение.
Введение
Совершенство и разнообразие методов и средств современной информатики обеспечили ее достойное положение в среде образования (Глинский Б.А., 1990). Информатизация является приоритетным направлением в развитии и модернизации системы образования, а также основой коренного изменения технологии обучения. Важным свойством основного инструмента информатики - компьютера, является возможность индивидуализации учебного процесса при сохранении его целостности за счёт программируемости и динамической адаптированности автоматизированных учебных программ. При этом компьютер является мощным средством повышения эффективности обучения. Диапазон использования компьютеров в учебном процессе велик - от тестирования учащихся, с учётом их личностных особенностей до специализированных компьютерных обучающих программ.
Одним из наиболее актуальных направлений развития информационных технологий в образовании является разработка компьютерных систем тестирования знаний обучаемых (Аванесов В.С., 1994).
Применение компьютерных технологий для контроля знаний обучаемых по учебной дисциплине с использованием тестовых заданий обеспечивает:
- повышение объективности оценки знаний;
- снижение возможности подсказок и списывания;
- снижение «карательных» функций преподавателя, связанных с контролем знаний и проставлением оценок и, как следствие, улучшение психологического климата в учебной группе;
- повышение производительности труда преподавателя за счет автоматизации функций контроля и оценки знаний;
- увеличение количества контрольных мероприятий и, как следствие, улучшение контролируемости и управляемости учебного процесса.
При этом количество систем компьютерного тестирования неуклонно увеличивается: еАиШог, еЬеатт^ Server, TestMaker (Галеев И.Х., 2005;
свидетельство № 8022, 2007), АСT-Тest (Свидетельство №990474, 1999) и т.д.
Целью данной работы является сравнительный анализ свойств программных комплексов TestMaker и АСT-Тest на примере тестовых заданий и тестов по дисциплине «Органическая химия».
Условия применения компьютерных технологий для оценивания свойств личности в высших образовательных учреждениях
История развития методов установления параметров личности, представляет собой длительный диалектический процесс обновления и восхождения по спирали на более высокие ступени развития науки о методах и средствах измерений, их единстве и способах достижения заданной точности. Настоящее время характеризуется становлением стандартизованного компьютерного дидактического оценивания (СКДО) параметров личности (Тягунова Т.Н., 2003). Становлению СКДО способствуют унификация компьютерных дидактических материалов и технологий, с сохранением для образовательных учреждений возможности самостоятельного выбора, дополнения заданий и совершенствования технологий, отражающих специфические возможности каждого образовательного учреждения. Наиболее распространенной формой применения компьютерных технологий, является контрольно-оценочная учебная деятельность с использованием программнодидактических тестовых заданий (ПДТЗ) (Аванесов В.С., 1994). Данная процедура, позволяет объективно, с заданной вероятностью, установить степень обученности каждого конкретного индивида (Васильев В.И., 2002).
ПДТЗ представляет собой форму мышления, в которой с помощью повествовательного предложения отображается наличие или отсутствие фактов, свойств или отношений между знаками тестового утверждения (Васильев В.И., 2002). Причем каждое ПДТЗ должно иметь форму однозначного, краткого и ясного суждения или системы подобных суждений. Однозначность, краткость и ясность являются неотъемлемыми чертами ПДТЗ. ПДТЗ может быть представлено в одной из следующих стандартизованных форм (Стандарты ЦТПО, 2003):
- закрытая (с выбором одного или нескольких заключений);
- открытая (расширенная открытая)
- на установление правильной последовательности;
- на установление соответствия.
Квалиметрически выверенная система ПДТЗ, предназначенная для измерения качеств свойств личности, изменение которых возможно в процессе
систематического обучения - составляет тест (Аванесов В.С., 1994). Использование теста предполагает существование стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов.
Применительно к программно-дидактическим материалам, используемых в сфере среднего, высшего и дополнительного профессионального образования на содержание накладывается строгое условие соответствия методологическим требованиям к программно-дидактическим материалам и технологиям
компьютерного тестирования (Стандарты ЦТПО, 2003). Требования основываются на положениях законов РФ «Об образовании» (Федеральный закон от 13.01.96 №12-ф3 «Об обеспечении единства измерений») и «О стандартизации», нормативных документов Госстандарта России и Международных стандартов (спецификаций) ГМБ (Гадельшина Г. А., 2006).
Базовые требования к содержанию программно-дидактических материалов предусматривают соответствие государственным образовательным стандартам (ГОС) и ориентация на компьютерные технологии. При этом рекомендуется использовать тесты из 60 тестовых заданий, в различных тестовых формах, для математических и естественно научных дисциплин и не менее 100 для гуманитарных дисциплин. Содержание ПДТЗ должно быть ориентировано на получение от тестируемого однозначного заключения. Основные термины ПДТЗ должны быть явно и ясно определены. Тестовые задания должны быть прагматически корректными и рассчитанными на оценку уровня учебных достижений студентов по конкретной
области знаний. ПДТЗ должны формулироваться в виде свернутых кратких суждений. В содержании ПДТЗ определяющий признак должен быть необходимым и достаточным. При конструировании тестовых ситуаций необходимо применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала. Количество слов в ПДТЗ не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области. Среднее время выполнения студентом ПДТЗ не должно превышать 1.5 минуты (Стандарты ЦТПО, 2003).
Ориентация на компьютерные технологии тестирования реализуется путем создания качественного механизма оценки, введения режима адаптивного тестирования (Зайцева Л.В., 2006) и применения интернет-технологий (Зайцева 2004). Использование компьютерных технологий в процессе тестирования должно обеспечивать: дружественность интерфейса к испытуемому; возможность
инициирования диалога со стороны респондента, самостоятельного регулирования темпа тестирования; возможность возврата к ранее пропущенным ПДТЗ; приспособление (адаптацию) категорию меры трудности тестовых ситуаций к поведению тестируемого; оценку уровня достижений студента по результатам его заключений; автоматическую регистрацию результатов, ведение протокола заключений испытуемых; автоматическое формирование протоколов тестовых испытаний (Стандарты ЦТПО, 2003).
Инструментальная среда тестирования должна обеспечивать: возможность ввода, сохранения и модификацию содержания тестовых заданий из различных областей знаний; наличие гибкой шкалы оценки; рациональное управление (адаптацию и оценку) процессом тестовых испытаний; автоматическую распечатку протоколов тестовых проверок; возможность формирования множества композиций тестов с учетом требований государственных образовательных стандартов к уровню обученности студентов (Стандарты ЦТПО, 2003).
Культура формирования ПДТЗ предполагает возможность формулировки тестируемым однозначного утверждения; анализ содержания тестового утверждения в строгом соответствии с правилами их проектирования; воспроизведение тестовой ситуации с учетом методологических правил и требований стандарта с целью корректного представления смысла и значения ПДТЗ и узнаваемости формы любого задания респондентом; максимальную степень приближения смысла задания к содержанию исходного учебного материала; соответствие каждого задания требованиям эстетических и эргономических показателей, когда его элементы не содержат ничего лишнего, а подчеркивают ясность и четкость смысла конкретного утверждения; учет преподавателями и экспертами всех возможностей, которые им представляются инструментальными средствами; проникновение в сущность требований задания, поскольку последние определяют меру трудности тестового утверждения для тестируемого (Стандарты ЦТПО, 2003).
Сравнение программных комплексов ТеБ!Макег и АСТ-ТеБ!
1. Контрольно-оценочная деятельность.
Контрольно-оценочный этап является обязательным компонентом учебной деятельности (Ананьев Б.Г., 1980). С этим этапом связана реализация так называемой «обратной связи» при обучении, т. е. получение информации о ходе усвоения, выявление трудностей, ошибок, пробелов в знаниях. Часто на данный этап возлагается устранение ошибок (доучивание) или определение и корректировка последующих обучающих воздействий. Таким образом, с точки зрения педагогики КОЭ может выполнять ориентирующую, диагностическую, обучающую, воспитательную, развивающую, контролирующую и управляющую функции.
С точки зрения места контроля знаний в учебной деятельности различают предварительный, текущий и итоговый контроль. Цель первого - получение информации о текущем состоянии знаний обучаемого для принятия решения о содержании и формах последующих обучающих воздействий. Отсутствие определенных знаний может служить препятствием для дальнейшего обучения, кроме того, в соответствии с учением о зоне ближайшего развития, в изучаемой
предметной области могут быть выделены элементы, находящиеся «на стыке» уже изученных и новых для обучаемого, образующие зону, в которой обучение понятиям, навыкам и действиям наиболее эффективно.
Задача текущего контроля заключается в проверке хода усвоения нового материала, определении числа заданий, необходимых для выработки конкретных навыков, закреплении изученного. Текущий контроль связан с проверкой отдельных порций - понятий, алгоритмов, действий, знаний простой структуры. Разнообразие моделей организации текущего контроля определяется различными исходными предположениями о составе и характеристиках заданий и влиянии контроля на процесс обучения (Ананьев Б.Г., 1980).
Итоговый контроль связан с проверкой усвоения определенного раздела учебной дисциплины, выявлении понимания обучаемым сущности, структуры, взаимосвязей с другими разделами. На этом этапе происходит обобщение и обсуждение.
Основная задача оценивания - отобразить результаты контроля, выраженные в форме эмпирической системы с соотношениями в числовую систему с соотношениями и обеспечить интерпретацию оценок в соответствии с целями контроля. При решении задачи оценивания знаний обучаемых компьютерными технологиями необходимо применение ПДТЗ, специально разработанных для этой цели. Соответственно, необходимы целые программные комплексы позволяющие проводить разработку ПДТЗ с заданным уровнем надежности и валидности, а также выполнять контрольно-оценочный этап с применением разработанных ПДТЗ.
С целью проведения разработки тестов и тестовых заданий, а также оценки уровня обученности в высших образовательных учебных учреждениях центром тестирования профессионального образования разработан и внедряется программный комплекс АСT-Тest (Свидетельство №990474, 1999). В Казанском государственном технологическом университете (КГТУ) для этих целей используется программный комплекс TestMaker (Галеев И.Х., 2005; свидетельство № 8022, 2007).
2. Установка программных комплексов
Программный комплекс TestMaker (ТМ) является свободно распространяемым программным продуктом, который можно загрузить с сервера ВосточноЕвропейской Подгруппы Международной Федерации «Образовательные технологии и общество» http://ifets.ieee.org/russian/depository. ТМ не требует выполнения специальной программы установки на компьютер. Достаточно скопировать все файлы ТМ на жесткий диск компьютера в отдельную папку (директорию). В полный комплект поставки входят следующие компоненты: модуль разработчика; модуль обучаемого и справочная система. Модуль разработчика предназначен для проектирования тестовых заданий. Он позволяет создавать наборы ПДТЗ (далее ТЗ), открывать и изменять ранее созданные, сохранять вновь созданные или измененные ТЗ. С помощью этого модуля возможно также проведение пробного выполнения ТЗ. Модуль разработчика включает непосредственно исполнимый файл модуля (Test.exe), который запускает модуль разработчика и файл настройки (Editor.ini), который содержит информацию о состоянии модуля разработчика (размеры и положения окон, флаги состояния и др.).
Модуль обучаемого - предназначен для проведения тестирования с использованием предварительно созданных в модуле разработчика файлов ТЗ. Данный модуль включает исполнимый файл (Runer.exe), который используется для воспроизведения процесса тестирования, а также файл результатов (Results.tst), который содержит результаты проведения всех тестирований обучаемых.
Справочная система содержит справочную информацию о работе с системой ТМ. Доступ к справочной информации осуществляется непосредственно из программы разработки ТЗ вызовом пункта меню «Помощь», а в нем подпункта «Справка». Поддерживается возможность контекстного вызова справочного материала в зависимости от того, какой элемент является активным в текущий момент при проектировании ТЗ.
Структуру данного комплекса можно представить в виде нескольких блоков. Эти блоки и их взаимосвязи представлены на рис. 1.
Рис. 1. Структура программного комплекса ТезІМакег
Наряду с TestHaker в КГТУ используется модуль, предназначенный для разработки тестов, называемый «Конструктором Тестов Адаптивной Среды Тестирования» Конструктор тестов, используемый в КГТУ, представлен ЦТПО. Наряду с конструктором тестов в комплекс ACT^est (АСТ) входит справочная система, а также модуль обучаемого, содержащий программу тестирования. Воспользоваться данной программой возможно через интернет на сайте ЦТПО в режиме on-line. Следует отметить, что «Конструктор тестов» предусматривает возможность проведения пробного тестирования с использованием разработанных ТЗ и тестов, что используется нами в ходе разработок методического обеспечения учебного процесса.
Функциональные элементы ACT включают:
- конструктор тестов;
- мастер ТЗ;
- база ТЗ;
- механизм адаптации;
- механизм оценивания и классификации;
- администратор.
3. Инструменты конструирования тестовых заданий и тестов в программном комплексе TestMaker
Основным инструментом для разработки ТЗ и тестов проводится с использованием «Дизайнера вопросов». С его помощью можно создавать тесты любого объема и по любым темам, а также настраивать условия проведения тестирования системой выполнения. Построение конкретного вопроса происходит путем размещения необходимых компонентов теста на форме вопроса, и изменения свойств этих компонентов. Построение вопроса соответствует канонам визуального программирования и не требует написания какого-либо сценария. Дизайнер может выполнить редактируемый тест, запустив его в системе выполнения, для отладки и проверки правильности. Главное окно «Дизайнера вопросов» представлено на рис. 2.
Главное окно дизайнера можно разбить на три области. Область проектирования представляющая собой панель, на которой размещаются элементы теста. Размер панели соответствует размеру вопроса, который он будет иметь при выполнении. Если панель не помещается в области проектирования, то область снабжается полосами прокрутки, с помощью которой её можно сдвигать в нужном направлении. В левом верхнем углу главного окна дизайнера расположена панель инструментов, которая содержит кнопки, выполняющие различные команды дизайнера. Эту панель можно настроить, добавив или удалив из нее некоторые команды. В правом верхнем углу главного окна дизайнера расположена панель элементов, которая содержит кнопки, соответствующие формам ТЗ. Кнопки этой панели являются переключателями, т.е. после нажатия кнопка находится в нажатом состоянии до тех пор, пока пользователь не поместит выбранный форму в области проектирования или не нажмет на другую кнопку. Повторное нажатие также отменяет выбор элемента. Кроме того, на панели элементов размещены кнопки: статичного текста (пояснения), рамки, для размещения других элементов, стрелка, с
помощью которой можно отображать горизонтальные и вертикальные отрезки и кнопка внедрение ОЬБ-объектов.
Рис 2. Внешний вид дизайнера вопросов.
Кроме главного окна дизайнера, на экране могут постоянно присутствовать еще два окна: окно «список вопросов» и окно «палитра выравнивания». Эти окна можно скрыть или высветить в любой момент. Окно «список вопросов» предназначено для быстрой смены текущего ТЗ. В списке показаны все ТЗ, которые составляют конструируемый тест. Текущий вопрос соответствует выделенному элементу списка. Окно «палитра выравнивания» содержит кнопки управления группой выделенных элементов. С помощью этих кнопок можно определенным образом располагать выделенные элементы относительно друг друга или относительно окна, на котором они находятся.
На рис.3 представлено окно дизайнера вопросов с окном списка вопросов, которое отражает информацию о подготовленном тесте, включающем 20 вопросов (ТЗ)._____________________________________________________
Редактор теста - С:\Мои документы\УВГ\Методработа\тесты\КГТУ\Урядов\Те51МакегСт\Алкан21Д51 |^~||*П||5Г|
Правка Вопросы Настройка Помощь
► X
да Ем? Щ Щ ЦЛ Ц _г ^_|
СНз
>|Вбрите правильные заключения . 3-м етил-1- буте н Г 2-м етил-1-буте н Г" 2-метил-2-Вутен V 2-метилбутан Г н-бутан Г" 2-метилпропан
вопрос 1 Вопрос 2 Вопрос 3
Рис 3. Внешний вид дизайнера вопросов со списком вопросов (ТЗ)
Непосредственное конструирование ТЗ в программном комплексе ТМ выполняется с использованием контекстных диалоговых окон. Для выбранного типа ТЗ, на панели проектирования в области, выделенной для введения элементов ТЗ, вызывается контекстное диалоговое окно. С помощью этого окна вводится элементы ТЗ и формулировка задания (установите соответствие; выберите правильное заключение и т. д.) (рис. 4). Изложение описания задания вводится в форме статичного текста, что также достигается с применением контекстного диалогового окна (рис. 5).
а и! а йц
едактор теста - C:\Moh документы\УВГ\Методрайота\тесты\КГТУ\Урядов\Те&ШакегСг\Ал..
Файл Правка Вопросы Настройка Помощь
► х
Редактор закрытого многозначного вопроса
____ [270 1*41 Ширина [¿30 |%Ц Заголовок__
ВЬр» |ШЩ№>™:1Ї05ІЗ
Ответы
Г" 1-пропанол Г- 2-пропанол !■/ 2-метил-2-пропанол |7 2-пропанон
-Варианты—
1 -пропанол 2-пропанол 2-метип-2-пропанол 2-пропанон
Удалить | Добавить 11
Элементов: 1
Вопрос 1
Вопрос 2 Вопрос 3 Вопрос 4 Вопрос 5 Вопрос Є Вопрос 7
РиСуНКИ, 1^ - МІСГ050." ТвЛ
Рис 4. Вид дизайнера вопросов с контекстным диалоговым окном для разработки ТЗ закрытого многозначного типа
Рис 5. Вид дизайнера вопросов с контекстным диалоговым окном для введения
статического текста
Введение ОЬБ-объектов, иллюстрирующих описание задания, или
составляющих множество элементов ТЗ, также достигается путем вызова контекстного диалогового окна связывания и внедрения ОЬБ-объектов. Данное окно содержит команду «создать объект» (рис. 6), которая предусматривает вызов еще одного контекстного окна, позволяющего сделать выбор типа ОЬЕ-объекта (рис. 7).
'едактор теста - С: УМон докуменгы\УВГ\Методра6ата\тесты\КГТУ\Урядов\ГезШакегСг\Ал... | _ і □ X
Файл Правка Вопросы Настройка Помощь аЬссіе і
► X
:пада гидропероксида .
_______________□
> тт Ширина^ 21 [%|| с [ЗО Высота |і 21 \УЩ Создать оВьект
;ЗЭ?СТЕ0 ГС-СК'Э
- |-|-(-р.-1Р р 1-і,- ы
Г ■ Ір- ан.і Г ^ гр:-ан:г Г 2 гет.-п 2 т:сп: оп Г" ; гр--.ііі-і
Вопрос: 9/9 -Элементов: 3 Изменен
Вопрос 1 Вопрос 2 Вопрос 3 Вопрос 4 Вопрос 5 Вопрос Є Вопрос 7
Рис 6. Вид дизайнера вопросов с контекстным диалоговым окном для введения
OLE-объекта
Рис 7. Вид дизайнера вопросов с контекстным диалоговым окном выбора типа
OLE-объекта
Рис 8. Вид панели проектирования дизайнера вопросов контекстным диалоговым окном задания свойств ТЗ.
Рис 9. Вид панели проектирования дизайнера вопросов контекстным диалоговым окном задания свойств теста.
Свойства ТЗ, включающие размещение ТЗ на панели проектирования и уровня сложности ТЗ задаются с помощью диалогового окна, вызываемого командой «Настройка вопроса» в меню «Настройка». Свойства теста, включающие максимальную длительность, перемешивание вопросов, показ правильного ответа при ошибке и учет сложности также задаются с помощью диалогового окна, вызываемого командой «Настройка теста» в меню «Настройка». Окончательно сформированное ТЗ, включающее множество элементов ТЗ, статичный текст и ОЬБ-объект представлено на рис.10.
Рис 10. Вид панели проектирования дизайнера вопросов с окончательно
оформленным ТЗ
4. Инструменты конструирования тестовых заданий и тестов в программном комплексе АСТ-Тез!
Конструктор тестов адаптивной среды тестирования существенным образом отличается от «дизайнера вопросов» комплекса ТМ. Главное окно конструктора -АСТ предусматривает только наличие панели инструментов, которые обеспечивают вызов других окон с наборами команд (рис. 11). Окна специального назначения и соответствующие команды обеспечивают конструирование ТЗ, формирование тестов и баз наборов тестов. В качестве примера на рис.12 приведено окно накопителя ТЗ. С помощью окон специального назначения устанавливают показатели количественно и качественного характера для ТЗ, например, уровень сложности, выбор алгоритма тестирования: последовательный, возрастание сложности, случайный выбор и две формы адаптивного, а также установление шкалы отметок.
В программном комплексе АСТ конструирование ТЗ и формирование тестов предусматривает использование нескольких окон, что с одной стороны увеличивает объем работы разработчика, по сравнению с конструированием ТЗ и формированием тестов в программном комплексе ТМ. С другой стороны обеспечивается дружественный интерфейс разработчика с программой, а также более строгий контроль за качеством тестов, что в последствии позитивно отразится на объективности в установлении степени обученности тестируемых. Непосредственное конструирование ТЗ в программном комплексе АСТ предусматривает три уровня сложности ТЗ, четыре поля ввода содержания ТЗ в зависимости от формы, а также пошаговый алгоритм. На первом шаге (Рис. 13) определяется форма ТЗ. При этом возможно конструирование ТЗ всех основных четырех форм, а также определить положение (уровень ТЗ) в накопителе, формирующем сам тест.
На втором шаге определяется содержание ТЗ, что включает введение только текста или предусматривается введение объектов (ОЬБ-объект) (рис. 14).
Рис 11. Главное окно конструктора тестов
Рис.12. Окно накопителя ТЗ
• і ІіуиК = ТоЬаІ Соттапсіег 5,5... ій| CilTeKCTA.rtf -Місг,,, ій| Рисунки.гЬР - Місгоїо... Конструктор Тесюв,,. Ій АСО/СЬетЗкеЬсЬі Рге... РІ_І 2:55
Рис.13. Окно выбора поля содержания ТЗ
Мастер Тестового Задания
Закрытая форма
Содержание ТЗ
Г" Текст (Ввести непосреаственно)
с* [Другое [ Файл, Рисунок, Формула, др. объект |
Содержание эталонного ответа
Текст (Ввести непосредственно ]
Другое (Файл, Рисунок. Формула, др. объект ]
?пуск И ТоЬа! Сйгптапс)ег 5.5.^
--І Констоуктоо Тестов Л.'
Рис. 14. Окно выбора содержания ТЗ
На третьем и четвертом шаге, в зависимости от количества шагов в алгоритме, собственно создается ТЗ. Например, вводятся элементы групп для ТЗ на соответствие (рис.15). Вводятся ОЬБ-объекты (рис.16).
Рис.15. Окно ввода элементов для ТЗ на соответствие (пятишаговый алгоритм)
Рис.16. Окно ввода ОЬЕ-объекта и формулировки задания для ТЗ закрытого типа (шестишаговый алгоритм)
Рис.17. Окно ввода элементов ТЗ закрытого типа (шестишаговый алгоритм)
Элементы ТЗ при конструировании с использованием шестишагового алгоритма вводятся на четвертом шаге (Рис. 17). При выполнении ТЗ программа сама сдвигает элементы в группах относительно друг друга.
На четвертом шаге алгоритма из пяти шагов или на пятом шаге алгоритма из шести шагов задается характеристика ТЗ, соответствующая трем уровням сложности: базовое, сложное или стандартное, устанавливается время выполнения ТЗ и присваивается авторское имя, с которым данное ТЗ будет храниться в накопителе (рис. 18 и 19).
Рис.18. Окно задания свойств ТЗ для пятишагового алгоритма
Рис.19. Окно задания свойств ТЗ для шестишагового алгоритма
На пятом и/или шестом шаге представляется окно пробного тестирования, где разработчик может внести коррективы по формулировке задания и оформления элементов задания. Далее командой «выход» можно вернуться к предыдущему шагу и принять решение по дальнейшему использованию ТЗ (Рис. 20).
Комы рун юр нм юа А( |_ 1 К. 1. 1 ||н|(|М1К' иыни ии-ниг нм юкпи мд.тмм
Укажите продукты распада пцроперокснда. образование которого возможно в процессе ок>| Верный ответ
ац Г 2-пропанои
Н3С —с —о- ом Н/С
Г 2-мепи-2-пропанол
Г 2-ман.чпропнналь
Г 2-пропанол
Г пронаналь
Сждрошлв ■ооо| 00 00 <10
Рис. 20. Окно пробного тестирования
Целесообразно провести выполнение ТЗ, чтобы убедиться в обеспечении получения верного ответа при выполнении ТЗ другими тестируемыми. Командой «прервать» и подтверждением своего намерения после дополнительного запроса программы - можно снова вернуться к предыдущему шагу и дать команду «сохранение» после чего программа возвращает разработчика ко второму шагу и предоставляет возможность приступить к разработке следующего ТЗ.
5. Разработка тестовых заданий и тестов
С использованием программных комплексов АСТ и ТМ нами проведена разработка двух пар тестов по дисциплине «Органическая химия» из десяти ТЗ. Исходные материалы для конструирования ТЗ взяты из работы Аристова Н.В. (Аристова Н.В., 2004). Содержание исходных данных приведено в табл. 1 и 2.
Таблица 1. Алканы. Вариант 1
1. □ Укажите эмпирическую формулу алканов. 1 ' <? нч ^ к к о ст м й о а
2. □ Назовите следующий алкан по международной номенклатуре ШРАС: Н3С-СН2-СИ—с2н5 Н3С—СИ—С2Н5 A. 3-метил-4-этилпентан; Б. 2,3-диэтилпентан; B. 1-метил-2,3-диэтилбутан; Г. 3-метил-4-этилгексан;
3. • Установите соответствия элементов одного множе-ства (название элементов по номенклатуре ИЮПАК) элементам другого мно-жества (название алканов по рациональной номенклатуре). 1. 2,4,5-три-метилгептан; 2. 2,4-диметил-3-этилпентан; 3. 3- этилпентан. A. триэтилметан; Б. этилдиизопропилметан; B. метилдиэтилизопропилметан; Г. метилэтилизопропилметан; Д. метилдибутилметан.
4. □ Укажите один из структурных изомеров пентана. A. метилпропан; Б. 2,2-диметилбутан; B. 2,3-диметилбутан; Г. 2-метилпентан; Д. диметилпропан.
5. □ Укажите количество структурных изомеров октана, содержащих один третичный углеродный атом. A. 6; Б. 3; B. 0; Г. 7;
6. о Из двух множеств -реагентов и продуктов в реакции восстановления галогензамещенных алканов - выберите одно правильное соответствие. 1. хлористый метил; 2. хлористый этил; 3. хлористый пропил; 4. хлористый изопропил; 5. хлористый изобутил. A. 2-метилпропан; Б. 2-метилбутан; B. 2-метилпентан; Г. 3-метилпентан; Д. 2,2-диметилпропан.
7. ■ Какие углеводороды образуются при действии металлического натрия на смесь иодистого изопропила и иодистого пропила. A. гексан; Б. пропан; B. 2-метилпентан; Г. 2,3-диметилбутан; Д. 2-метилбутан Е. изопропан;
8. □ Укажите основной продукт реакции жидкофазного нитрования 2-метилбутана в условиях реакции Коновалова (с учетом лишь стабильности промежуточного радикала). A. 1-нитро-2-метилбутан; Б. 2-нитро-2-метилбутан; B. 2-нитро-3-метиплбутан; Г. 1-нитро-3-метилбутан;
9. ■ Укажите продукты распада гидропероксида СН3 1 3 СН3—С -о -он 3 1 СН3 образование которого возможно в процессе окисления алканов. А. СН3-С- СН3 3 II 3 о • Б. пропанол-2; В. метанол; Г. 2-метил-2-пропанол.
10 Рассмотрите основные химические А. 1-бутен; Б. 1-пропен; В.
■ превращения радикала • бутан;
Ш3-Ш2-Ш2- CH2 при крекинге. Укажите продукт(продукты) диспропорционирования этого радикала. Г. октан.
Таблица 2. Алканы. Вариант 2
1. □ Укажите тип гибридизации атома углерода в молекуле метана. A. нет гибридизации; Б. Бр; B. Бр2; Г. Бр3; Д. Бр3а2.
2. □ Назовите следующий алкан по международной номенклатуре ШРАС: СН2 Сн3 СН-СН, 1 2 31 3 СН3 СН3 A. 4-метил-5-изопропилпентан; Б. 1-этил-2-метил-3-изопропилпропан; B. 2,4-диметилгексан; Г. 2-метил-1-этил-3-изопропилпропан;
3. • Установите соответствия элементов одного множества (название элементов по номенклатуре ИЮПАК) элементам другого множества (название алканов по рациональной номенклатуре). 1. 3,4-диметил-3-этилпентан; 2. 2,4,6-три-метилгептан; 3. 2- метилбутан. A. диметилэтилметан; Б. метилэтилизопропилметан; B. триэтилметан; Г. диэтилизопропилметан; Д. метилдиизобутилметан.
4. □ Укажите один из структурных изомеров гексана. A. метилпропан; Б. 2,2-диметилгексан; B. 2,2-диметилбутан; Г. изопентан; Д. изогептан.
5. □ Сколько структурных изомеров гептана, не содержащих третичных атомов углерода, можно написать. А. 1; Б. 4; В. 0; Г. 3.
6. о Из двух множеств -реагентов и продуктов реакции каталитического гидрирования алкенов -выберите одно правильное соответствие. 1 этен; 2. 2-метил-2-бутен; 3. 2-метилпропен; 4. 2-пентен; 5. 2-метил-1-бутен. A. бутан; Б. 2-метилпентан; B. метан; Г. изобутан; Д. 2,3-диметилбутан.
7. ■ Из какого хлоралкана удобнее всего синтезировать по реакции Вюрца 2,3-диметилбутан? A. хлористый изопропил; Б. хлористый пропил; B. 2-хлорбутан; Г. 2,3-дихлорбутан;
8. □ Определите продукты реакции монобромирования (8кЗ 3-этилпентана и расположите их в порядке убывания содержания этих веществ в реакционной смеси (с учетом лишь стабильности промежуточного радикала). 1. 3-бромпентан; 2. 3-метил-2-бромпентан; 3. 3-этил-2-бромпентан; 4. пентан; 5 .3-метил-3-бромпентан; 6. 3-этил-3 -бромпентан; 7. 3,5-диэтилоктан; 8. 3-этил-1-бромпентан.
9. ■ Укажите продукты распада гидропероксида сн3—си- о -он ¿Из , образование которого возможно в процессе окисления алканов (при низких температурах). A. 1-пропанол; Б. 2-пропанол; B. пропаналь; Г. CH3-C- CH3 3 II 3 O .
10 ■ Рассмотрите основные химические превращения радикала сн3 —¿и—сн2—Сн2 3 при крекинге. Укажите продукт(продукты) диспропорционирования этого радикала. А. 3-метил-1-бутен; Б. 2-метил-1-бутен; В. пропен; Г. бутан.
На рис. 3 - 10 приведено окно дизайнера вопросов программного комплекса ТМ для разных стадий при разработке теста, соответствующего данным табл. 1. В качестве конкретного примера фигурирует ТЗ закрытого типа №9. Аналогично на рис. 11 - 14, 16, 18 - 20 приведена последовательность шагов при конструировании указанного ТЗ в условиях программного комплекса АСТ. Итоги выполнения двух тестов, разработанных на основании данных табл. 1 и 2 с использованием программы пробного тестирования комплекса АСТ приведены на рис. 21.
Рис.21. Окно результатов тестирования комплекса АСТ
Тестирование с использованием файла Runer.exe, требует выполнения большего числа операций, чем для АСТ. На рис. 22 - 27 приведен вид окон программы тестирования Runer.exe при выполнении ТЗ и теста.
: Редактор теста - лопате.Ы
Рис 22. Запрос программы тестирования ТМ
Рис 23. Вывод ТЗ в окне Runer.exe
Рис 24. Запрос программы тестирования после выполнения ТЗ
Рис 25. Итог выполнения ТЗ
Рис 26. Программа сообщает о выполнении теста
Рис 27. Итог выполнения теста
Приведенный демонстрационный материал показывает различия в порядке конструирования ТЗ и тестов, а также в порядке проведения тестирования. В табл. 3 и 4 приведены сравнительные данные программных комплексов ТМ и ACT, использованных при конструировании двух версий тестов для компьютерного тестирования с использованием материалов табл. 1 и 2.
№ п/п Сравниваемое свойство TestMaker АСT-Тest
1 Количество окон для конструирования 1 7
2 Количество меню 5 6
3 Количество 17 18
4 Количесвво 3 4
5 Количество команд на панели 25 14
6 Задание формы ТЗ Кнопки «Элементы теста» на панели «дизайнера Первый шаг алгоритма
7 Порядок Контекстовый Пошаговый
8 Задание свойств ТЗ Команда т меню «Настройка Пятый шаг алгоритма
9 Проверка ТЗ Вызов ТЗ из списка вопросов Шестой шаг алгоритма
Данные табл. 3 показывают, что «дизайнер вопросов» программного комплекса TM в одном окне полностью обеспечивает конструирование отдельных ТЗ и формирование тестов. АСТ для этого требуется 5- 6 шагов. Такая особенность АСТ обуславливает более жесткую регламентацию действий разработчика в формировании ТЗ и, следовательно, большую гибкость в формировании ТЗ обеспечивает комплекс ТМ.
Таблица 4. Сравнительные данные по инструментальному обеспечению конструирования теста
№ п/п Сравниваемое свойство TestMaker АСT-Тest
1 Количество меню 1 3
2 Количество команд 4 6
3 Количество подпунктов в меню - 2
4 Количество подпунктовых меню - 2
5 Количество команд на панели 4 4
6 Задание свойств теста Команда в меню «Настройка» Меню «конструктора тестов»
7 Проверка теста Runer.exe (с демонстрацией правильного ответа при ошибке) Меню «конструктора тестов
8 Перенос ТЗ внутри теста Копированием из буфера обмена Кнопка на панели «конструктора
9 Перенос ТЗ между тестами Копированием из буфера обмена Кнопка на панели «конструктора
Данные табл. 4 также свидетельствуют о более высокой инструментальной оснащенности АСТ по сравнению с ТМ. Однако как видно из рисунков 3-9 и 13 - 18 более высокий уровень оснащенности АСТ не дает существенного преимущества при разработке теста в комплексе ТМ. Далее в табл. 5 и 6 приведены данные по условиям конструирования ТЗ и тестов соответственно.
№ п/ п Форма задания ТЗ TestMaker АСT-Тest
1 Открытая Окно редактора, с двумя строками «Значение», где записывается условие без ключевого слова и «ответ», где записывается ключевое слово; предусматривается возможность отклонение формулировки ключевого слова от оригинала. Выбор типа ТЗ на первом шаге алгоритма и ввод условий на третьем и четвертом шаге.
2 Открытая, расширен- ная Окно редактора с двумя полями «Значение»; «ответ» Выбор типа ТЗ на первом шаге и ведение нескольких значений задания командой «доба-вить» на четвертом шаге алгоритма
3 Закрытая Окно редактора со строкой, где записывается условие; поле вариантов, на котором набирают предлагаемые элементы; поле ответов, где представлены элементы, значком отмечается верный Выбор типа ТЗ на первом шаге алгоритма и ввод условий на третьем и четвертом шаге.
4 Закрытая, расширен- ная Окно редактора со строкой, где записывается условие; поле вариантов, на котором набирают предлагаемые элементы поле ответов, где представлены элементы значком отмечаются верные Введение нескольких значений задания командой «добавить» на четвертом шаге алгоритма
5 Установле- ние соответст- вия Окно редактора со строкой, где записывается условие; разделенное поле; в верхней части записывается задание; в правом и левом поле вводятся элементы в порядке соответствия. Для ввода пары элементов в верхнюю строку активируют элемент в правом поле и щелкают мышкой элемент в правом поле. Выбор типа ТЗ на первом шаге алгоритма и ввод условий на третьем и четвертом шаге.
6 Установле- ние последова- тельности Аналогично расширенной открытой форме Выбор типа ТЗ на первом шаге алгоритма и ввод условий на третьем и четвертом шаге.
7 Введение текста Команда «Статичный текст» Введение на третьем и четвертом шаге алгоритма
8 Введение ОЬБ- объектов Команда «ОЬБ-объект» Команда на втором и введение на третьем шаге алгоритма
№ п/п Сравниваемое свойство TestMaker ACT-Test
1 Формирование базы тестов Папка с файлами Накопитель ТЗ
2 Диагностика базы тестов Просмотр списка вопросов Диагностика НТЗ
3 Генерация теста Команда в меню «Файл» Меню на панели «конструктора
Данные табл. 5 и 6 показывают, что конструирование ТЗ и тестов в обоих комплексах предполагает выполнение практически одинаковых операций. Различие в том, что для комплекса ТМ операции выполняются с использованием одного окна при меньшем количестве инструментов специального назначения. Разработка ТЗ в условиях АСТ требует специального окна практически для каждой операции. Это накладывает больше ограничений на действия разработчика, но, с другой стороны, способствует достижению более высоко уровня надежности и валидности разрабатываемых ТЗ. Обратной стороной повышения уровня качества явится сужение круга вопросов, пригодных для создания ТЗ и тестов и, соответственно, сложатся условия для количественных ограничений в вопросах разработки. В комплексе ТМ большая гибкость в порядке введения текста и OLE-объектов, а следовательно возможна большая широта охвата учебного материала. Например, рис. 10 и 26 в сравнении с рис. 20. Это способствует расширению круга вопросов, на основании которых возможна разработка ТЗ и тестов.
Физические свойства программных комплексов TM и АСТ проявленные при тестировании с использованием компьютерных версий данных табл. 1 и 2 приведены в табл. 7.
Таблица 7. Свойства файлов ТЗ и тестов
№ п/п Форма задания ТЗ TestMaker ACT-Test
1 Одно ТЗ занимает на диске, КБ 16 19
2 Размер файла одного теста, КБ 193 184
Данные табл. 7 демонстрируют практически равные характеристики
комплексов ТМ и АСТ.
Заключение
Оба комплекса являются отечественными программными продуктами, в которых остро нуждаются образовательные учреждения. Применение компьютерных технологий характеризует уровень постановки учебного процесса. Задача организации инновационного обучения неразрешима без широкого внедрения компьютерных технологий в учебный процесс. Данный подход, в первую очередь, должен быть использован при контроле эффективности и качества обучения. Программные комплексы ТеБШакег и ЛСТ-ТеБ! в настоящий момент являются наиболее доступным средством разрешения этого вопроса.
Литература
1. [Аванесов В.С., 1994] Аванесов В.С. Научные проблемы тестового контроля знаний.- М: Учебный центр при ИЦПКПС, 1994. - 136с.
2. [Ананьев Б.Г., 1980] Ананьев Б.Г. Избранные психологические труды, в 2-х т. - М.: Педагогика, 1980, т.2. - 287 с.
3. [Аристова Н.В., 2004] Аристова Н.В., Урядов В.Г., Офицеров Е.Н. Тестовый контроль по дисциплине «органическая химия». Углеводороды. Метод. Пособие./Казан. гос. технол. ун-т. Казань, 2004. 220с.
4. [Васильев В.И., 2002] Васильев В.И., Тягунова Т.Н. Культура
компьютерного тестирования . Часть II. Программно-дидактическое тестовое задание. - М: МГУП, 2002. -90с.
5. [Гадельшина Г.А., 2006] Гадельшина Г.А.,. Составление тестовых заданий для контроля знаний студентов с использованием системы компьютерного адаптивного тестирования АСТ-ТЕСТ./ Методические указания. Казан. гос. технол. ун-т. Казань, 2006- 48с.
6. [Галеев И.Х, 2007] Галеев И.Х. Динамика развития международного электронного журнала «Образовательные технологии и общество» // Educational technology & Society - 2007 (http://ifets.ieee.org/russian/periodical/journal.html)- V. 10 -N 1.- С. 315-328. - ISSN 1436-4522.
7. [Галеев И.Х, 2005] Галеев И.Х., Иванов В.Г., Храмов Д.Л., Колосов О.В. Компьютерный контроль знаний (локально и дистанционно). Казан. гос. технол. ун-т. Казань, 2005. - 126с.
8. [Свидетельство № 8022, 2007] Галлеев И.Х., Храмов Д.Л. Свидетельство об отраслевой регистрации разработки № 8022. - М.: 2007. 30 марта.
9. [Глинский Б.А, 1990] Глинский Б.А. Философские и социальные проблемы информатики М.: Наука, 1990. - 103с.
10. [Зайцева Л.В. 2006] Зайцева Л.В., Буль Е.Е. Адаптация в компьютерных системах на базе структуризации объектов обучения. Educational Technology & Society. - Nr.9(1), 2006 ISSN 1436-4522 (Международный электронный журнал). / Интернет. - http://ifets.ieee.org/russian/depository/v9 i1/html/1.html
11. [Зайцева, 2004] Зайцева Л.В., Прокофьева Н.О. Модели и методы
адаптивного контроля знаний // Educational Technology & Society. - Nr.7(4), 2004 ISSN 1436-4522 (Международный электронный журнал). / Интернет. -
http://ifets.ieee.org/russian/depository/v7 i4/html/1.html
12. [Свидетельство №990474, 1999] Тягунова Т.Н., Васильев В.И., Малышев Н.Г., Тягунов С. А. Свидетельство об официальной регистрации программы для ЭВМ №990474. - М.: 1999. 6 июля.
13. [Стандарты ЦТПО, 2003] Методологические требования к программнодидактическим тестовым материалам и технологиям компьютерного тестирования. -М.: ЦТПО, 2003.
14. [Тягунова Т.Н., 2003] Тягунова Т.Н. Философия и концепция
компьютерного тестирования //Моск. гос. ун-т печати. - М: МГУП, 2003. -246с.
