CC BY
98
Анализ программных комплексов TestMaker и VCE
Exam Simulator
Галимов Рустам Юрисович Студент группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (917)8900354, rustam.galimoff@yandex.ru
Абзалова Лилия Радиковна Студентка группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (927)4276813 vangog.zanov@gmail.com
Усков Леонид Геннадьевич Студент группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (967)3644072 leonid_uskov@mail. ru
Аннотация
Работа посвящена сравнению двух систем компьютерного тестирования -TestMaker и VCE Exam Simulator. Рассматривается функционал программ, возможности конструирование тестовых заданий, с учетом инструментариев, предоставляемых системами.
The work is devoted to the comparison of two computer-based testing systems -TestMaker and VCE Exam Simulator. We consider the functionality of the program, the possibility of the construction of test tasks, taking into account the toolkits provided by the system.
Ключевые слова
система дистанционного обучения, Система тестирования, учебный контент, учебнаяя система, тестовые задания
remote training system, testing system, educational content, educational system, tests
Введение
Информатизация является наиболее важным направлением в развитии системы образования. Информатизация обучающего процесса создаёт возможность индивидуализации учебного процесса при сохранении его целостности, за счёт про-граммируемости и динамической адаптированности автоматизированных учебных программ.
Одним из наиболее актуальных направлений развития информационных технологий в образовании является разработка компьютерных систем тестирования знаний обучаемых. [1]
Применение компьютерных технологий для контроля знаний обучаемых по учебной дисциплине с использованием тестовых заданий обеспечивает:
- повышение объективности оценки знаний;
- снижение возможности подсказок и списывания;
- снижение «карательных» функций преподавателя, связанных с контролем знаний и проставлением оценок и, как следствие, улучшение психологического климата в учебной группе;
- повышение производительности труда преподавателя за счет автоматизации функций контроля и оценки знаний;
- увеличение количества контрольных мероприятий и, как следствие, улучшение контролируемости и управляемости учебного процесса.
Целью данной работы является сравнительный анализ свойств программных комплексов TestMaker и VCE Exam Simulator .
Обзор возможностей программных комплексов TestMaker и VCE Exam Simulator
TestMaker - является локальной программной системой и позволяет проводить тестирование в учебной аудитории на отдельном компьютере и в локальной сети. Он позволяет создавать наборы тестовых заданий, открывать и изменять ранее созданные, сохранять вновь созданные или измененные наборы тестовых заданий (тест) в файл теста. [2-5]
VCE Exam Simulator (Visual CertExam Suite) - это специализированное программное решение, разработанное для создания, редактирования и проведения экзаменационных тестов. В частности, осуществляется поддержка приема сертификационных экзаменов от Microsoft, HP, IBM, Oracle, Novell, Sun, Cisco. [6]
На рис. 1 и рис.2 представлены интерфейсы программных комплексов TestMaker и VCE Exam Simulator.
¡^■j Редактор теста - noname.tst _1"1@1 S3 sa Вопросы
1 Файл Правка Вопросы Настро ячш Q ж йка Помощь .....................................................................................; т t
= □ ааа »ж? t i.
Вопрос: 0/0 Элементов: 0
Рис.1. Интерфейс программного комплекса TestMaker
VCF 1?иЦ)пегОяпп
Рис. 2. Интерфейс программного комплекса VCE Exam Simulator
Функциональные возможности программных комплексов TestMaker и VCE Exam Simulator для компьютерного тестирования:
■ Поддержка форматирования текста вопроса
■ использование изображений и любых OLE-объектов;
■ быстрое переключение в режим просмотра создаваемого теста в режиме обучаемого.
Оба программных решений не требуют поддержки специалиста.
Разновидности вопросов в TestMaker и VCE Exam Simulator
Далее приведены типы вопросов, реализованные в программных комплексах TestMaker и VCE Exam Simulator.
Закрытый однозначный вопрос представляет собой набор вариантов ответа, из которых только один правильный, а остальные неправильны, неточны или неполны. Имеется возможность указать любое число вариантов (сколько поместится на экран).
Какой обычно размеру синапса'/
С юмкм С ' WNW С м<м
2 см
Рсдлк И»р VlK|ih I' il< няничпл'м Н '-.CI
Пеео 77 -нрнна ||"!П [\1 -
Верх |90 О Высота |l60|g| Ответ
л * -
Рис.3. Пример создания вопроса с выбором одного варианта ответа в TestMaker
Аналогичный вопрос в VCE Exam Simulator, представлен множественным выбором (один ответ) позволяет выбрать один правильный ответ из набора вариантов ответов. К вопросу можно добавить до 26 ответов. Ответы можно оставить как в первоначально установленном варианте, так и есть возможность их перемешать. Так же разрешается задать сложность вопроса.
Кроме этого есть разновидность этого вопроса Множественный выбор (один ответ) с описанием ситуации, где помимо вопроса можно записать к примеру, условие задачи)
U txaml ■ - VCl Designer ipemo
Op«.« вид J.1JM(H £»pWt*
P - ^ и» ® G* Ч Ъ Ш H # ^ %
Стп.шри^*0&ичП(.йи1р»ф - - В I if [jfe!Ml & fe E с 'И к3 *<
нанигмор экзамена
V. Щ.
; Свойства
Колинит» Нр» 4
С«гцмя {«Ч г
Кцлпг» 1|Я1 лжьрлштннн. (tCMfWMI 1
и тем -rny-iW. 1ПГД.Т с*
о В и:--м6о
О С'
• О рагглсяния [резгня)
и п ппплрлчнпи г.рчрнлл приводятся тогкхп к одной р.1Г1Нпдгй1::пу1С<л|лП
Рис.4. Пример создания вопроса с множественным выбором варианта ответа в
VCE Exam Simulator
Закрытый многозначный вопрос похож на закрытый однозначный вопрос за исключением того, что правильных ответов может быть несколько (или ни одного). Имеется возможность указать любое число вариантов ответа, и любые из них могут быть правильными.
IILJIB.1 *
Файл Правка Вопросы Настрс йка Помощь
й «еще о В£ W f«; В7; Щ Щ В □ J
- ааа »-х?
Ни какие типы делят нейрокомпьютеры по степени универсальности ?
I- Стандартные Г~ Универсальные
Специализированные Г" Уникальные
Редактор закрытого
I—"-I
Ответы
I Стандартные [7 Универсальные [7 Специализирс Г У|
Лево [ЁЗ [j^f Ширина |235 j^j Заголовок Верх |ЕЕГШ ++ Высота |175 Щ \
-Цосот-'—
Стандартные Универсальные
Специализированные
Рис.5. Пример создания вопроса с выбором нескольких вариантов ответа
в Тез1Макег
Аналогичный вопрос в VCE Exam Simulator, представлен множественным выбором (несколько ответов): вопрос с запросом нескольких ответов (так же можно установить один ответ) разрешает пользователям выбрать несколько правильных ответов. К вопросу можно добавить до 26 вариантов ответов. Ответы можно оставить как в первоначально установленном варианте, так и есть возможность их перемешать. Так же разрешается задать сложность вопроса.
Кроме этого есть разновидность этого вопроса: Множественный выбор (несколько ответов) с описанием ситуации, где помимо вопроса можно записать к примеру, условие задачи)
ЁЗ Examl* ■ VCE Designer Demo г 6ЩШ
№ Of»«» JiKA ¿¿ми»
У «If Oh Qt V %
И«ИГ{ПОр Гаме* a
У В юн случ JO, КР!ДИ Uliyrpi-iWfli twu P Ct'-Ч..нн прнйоДЯКЯ ЮЛЬТО1 од>кй рдаед
л Ifebaml Продольно СИЛО, l№WW»l ди^ирницпм.
Lfc Ks U А сдан Гй
С В. шгнЬн
Ш С ¡сэсапм
fat D. ¡рИТШОМ«)
СООЙСТЮ
"I и
Ин4?*ж1ння ■■ь
Последний <н W! D
1
РирпщпыК
с""и' . (Hl-j w
.„иро.о«. RlliqHH н
Soiwex* Donp MHOXiCT* (ИГ) \ UorlWvll ,
Рис.6. Пример создания вопроса с множественным выбором нескольких вариантов ответа в VCE Exam Simulator
Этот элемент несколько более сложен, чем обычный открытый вопрос. Основное отличие заключается в формировании поля «Ответ» (это некоторая структура со своим алфавитом, грамматическими конструкциями и соответствующим алгоритмом проверки правильности ответа обучаемого). Расширенный открытый вопрос в отличие от обычного открытого вопроса может быть многострочным (в виде простой фразой на естественном языке). В расширенном открытом вопросе отсутствует возможность игнорирования опечаток.
Рис.7. Пример создания расширенного открытого вопроса в TestMaker
Заполнить поле: ответ на вопросы с запросом ввода пропущенного текста основываются на точном соответствии тексту. Недостатком является то, что варианты ответа с орфографическими ошибками считаются неверными.
Рис.8. Пример создания расширенного открытого вопроса в VCE Exam Simulator
Вопрос на соответствие представляет собой три списка. Требуется найти соответствие между элементами левого списка и элементами правого списка (щелкнуть мышью сначала на левый, затем на правый элементы). Ответ автоматически занесется в верхний список. Из верхнего списка правильный ответ можно удалить двойным щелчком. Один элемент любого списка может иметь несколько соответствий из другого или не иметь ни одного. Ответ на вопрос считается правильным, если указаны все заданные соответствия и не указаны ложные соответствия. Порядок ответа не играет роли. Удаленные двойным щелчком ответы из верхнего списка не учитываются. Количество вариантов, как в левом, так и в правом списках не ограничено.
Mil Пр|«>л Dor-ккм MjcTJMwti ПйМСш.
йе&Еа ле^е* as = т ► X ЯйкЕ^ЩЩЩП-г^
в
Сопоставьте уровни 1IK и их описание. ГКИ Гип-.> -—— Ч-БИС.
Чсв*лъ| ЛсСивмГь|[ Ладеч НС.. [«4!«nt< в «комком fcwc, «иС н т> 1
l*op*m<*aaaii "Трсиршммии 1 реи рвмммо- а пл а о at идо Ч1П8р31НЫЙ •жлпигнчкасоь «r/ntflM.Ti«ft илгеыпгнчеааи лодопяй ДаЛ*Л11 Ж. рОАПНПОЬЛНКЫА в HOKOtOfrClU «пшяитнпм Сдмг.в фркхретмом. РИС, С8ИС н • 41) зля ?;фе»,т.1Е-чог5 иыепимвами НС Лод+пн мс. Лр^ршьмп рядлмдляаммы» на •iOfteiV HL Т'УРМ^С' рМЧИОМ* !6f«UI ПКЛЦОНЩМ« -С WKT Ufl4lHtt.| JloSifttnbj |
Ок. | Отмдц [
1Г Р-"
8СЛООС ?10£> УЛ«иоктС4 г НШ+м«н f
Рис.9. Пример создания вопроса на поиск соответствия в TestMaker
В вопросах с запросом установить соответствие требуется установить соответствие элементов из разных графических областей. Вопрос с запросом установить соответствие может включать разное количество элементов.
it ^гг - >r«. - ° КЛ
С»нл Qp>i»j Днл (Ifllii Ю - ь Ы е^ Навигагор иСшМП.а ж Ц.% Ев S> 1-Й ч. Л *
Зжшнпк пропуски я гянядлагнаккпи д»рм» языке« г^грлиинрпвдмля
^ tS я»««нА [в Ecnpflt 1
1 '1
Свойства * "liA Pascal tMto 1ввй-и»
Иифпмния (пусто) —1 HniWMt c»Uk* Смдмиот мм icru«. (лет) САОЖНОЩЬ S v Игшйрлаг.«. КОЛМСЦИЯ HJBbpIXt-W». »Ф1НН10 с C« lÜW-ыв
** ШфМ*
JoimnA flft-f-s-i t« 1 Брынгънч, Н.нПнн ип.пгг oca^-wm. inn) •! ^^f WJh-
Рис.10. Пример создания вопроса на поиск соответствия в VCE Exam
Simulator
Открытый вопрос представляет собой поле редактора, в которое требуется вписать некоторую строку. Эта строка и будет считаться ответом на поставленный вопрос. Можно задать текст, которым поле будет заполняться по умолчанию при его отображении. При выборе «Допускать опечатку» варианты ответа с орфографическими ошибками засчитываются верными._
gi аа® ► х ?
- РЛДляГалеева^МойТестЦ^
Настройка Помощь
\ ««а в
Кик называется ехидной киши нейрон»?
РсД.ККф olkp и
1=30 l'J- Щ иис не | -1 И I Uec< |ИГИ foic:-s | И | V- -HI-- [
Г~ Допускать опечатку OK | Отмена |
Элементов: 3
Изг
"Г
Рис.11. Пример создания открытого вопроса в TestMaker
Аналогичный элемент в VCE Exam Simulator, представлен вопросом с заполнить поле: ответ на вопросы с запросом ввода пропущенного текста основываются на точном соответствии тексту. Недостатком является то, что варианты ответа с орфографическими ошибками считаются неверными.
13 Examl * - VCE Designer Demo
! Файл Правка Вид Экзамен Справка
| 5-t I 11 1 В 1*1 Ч "я ■ а S ® « К
Стиль шрифт« Обычный шрифт - Норга.льный - В 1 U ЦЕВВ Ё
Ш Qv Exam л ¿1' Экзаг
L-lib в.
В том случае, когда внутренние силы в попедечьюм сечении приводятся только к одной равнодействующей -продольной силе, возникает деформация..._
Объяснение / Справка
Секция
Изображен!
Коллекция и:
Экзаг*
И(нет)
X
1САР ['■!I !'.' | ^
Рис.12. Пример создания открытого вопроса в VCE Exam Simulator
Запрос ранжирования не является отдельным типом вопроса, так как его можно смоделировать как вопрос на соответствие.
Рымктор ИМ»« 41 ■■ЫЯ
ацу! ► х ?
Вопрос ¿"ЗШ
Рис.13. Пример создания вопроса ранжирования в TestMaker
Вопросы с запросом ранжирования предлагают расставить ряд элементов в правильном порядке.
1юи
Exam 1 * - VCE Designer Demo
Файл Правда Вид Энзамен Справка
Ei - Ь Ы вИ|'1р1Й,В|'ПГ«|Ч.'к|И|нв|« 1«»|«»
Стиль шрифт.: Обычный шрифт -Нормальный - Б 1 В ||Jiii ЕЕ«>? X ^ Q
Навигатор экзамена
Й %
Examl
¿¡I взамен А ' g Вопрос 1
■i W
Заголовок ynops Заголовок упорядо1 Изображения (пусто) Порядок Е
Секция (нет)
Сл(
Изображения
Коллекция H3o6f
Расположите
cjjiegKOjumhgjo^ в порядке возрастания мощности
Объяснение / Справка
Заголовок списка ответов
National Super Computer Center in Guangzhou China DOE/SC Ridge National Laboratory
DOE/NNSAiLANLiSNL
Texas Advanced Computing Center
I Добавить Изменить I Удалить I
~||СДР НИШ/О
Экзамен А Вопрос 1 из 1
Рис.14.Пример создания вопроса ранжирования в VCE Exam Simulator
Помимо перечисленных разновидностей вопросов, в VCE Exam Simulator имеются следующие виды вопросов:
• Прицелиться и выбрать Вопрос с использованием графических элементов. Для ответа на данный вопрос, необходимо установить, по щелчку мыши, область на изображении.
• Горячая область. Вопрос с использованием графических элементов. В отличие от "Прицелиться и выбрать", для ответа необходимо указать одну или несколько уже выделенных областей.
• Создание дерева. В данном вопросе представлен неполный граф отношений. Необходимо заполнить пропуски в графе из поля с вариантами ответов.
• Вопрос "Бросить и соединить" представлен двумя элементами "объект" и "соединитель". Два элемента типа "объект" необходимо соединить одним элементом типа "соединитель". Для ответа следует установить все связи объектов и соединителей.
Анализ и оценка разработки
Перечислим основные достоинства и недостатки программных комплексов :
1. TestMaker - это система локального тестирования. Для мобильности системы TestMaker необходимо сделать копии на какой-либо носитель, либо в облачное хранилище данных. В VCE Exam Simulator предусмотрены возможности удаленного администрирования без постоянного доступа к интернету.
2. В VCE Exam Simulator имеется возможность установления пароля для защиты данных экзамена от несанкционированного копирования, редактирования или печати. В TestMaker такая функция отсутствует.
3. VCE Exam Simulator - это платная платформа, а TestMaker является свободно распространяемым программным продуктом, который можно загрузить с сервера.
4. Обе программы имеют интуитивно понятный и легко усваиваемый интерфейс.
5. Программный комплекс Visual CertExam Suite имеет широкий функционал и больший спектр типов вопросов, по сравнению с TestMaker.
6. Инсталляционный файл Visual CertExam Suite занимает на диске не больше 8 Мб. Приложение возможно установить на операционных системах Windows XP, Vista, Windows 7 и не требуется больших системных требований.
Программный комплекс TestMaker универсален и работает в любой операционной системе. TestMaker занимает небольшой объем памяти на съемных носителях, либо в облачных хранилищах данных. Объем занимаемой памяти программным комплексом TestMaker зависит от наличия графических объектов и количества вопросов (без учета тестов - 1,21 Мб).
Заключение
Выбор конкретной среды или программы зависит от целей тестирования, уровня подготовки разработчика в области владения компьютером, выбора типов тестовых заданий.
В результате проведенного сравнительного анализа можно заключить, что система Visual CertExam Suite имея более широкий функционал и больший спектр типов вопросов, является более предпочтительным при выборе программных комплексов для создания набора тестовых заданий.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ Галеева И.Х.
Литература
1. Аванесов B.C. «Композиция тестовых заданий». Учебная книга. 3 изд. доп. М.: Центр тестирования, 2002г.
2. Галеев И.Х., Храмов Д.Л., Светлаков А.П., Колосов О.В. Адаптивное обучение и тестирование. //Материалы Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования», 17-18 апреля 2003 г. - С. 33-35.
3. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) // И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. - Казань: Казанский государственный технологический университет, 2005. - 126 с.
4. Галеев И.Х., Колосов О.В., Филяев А.И.. Сравнительный анализ систем компьютерного контроля знаний // Материалы Международной научно-практической конференции «Информационные технологии в многоуровневой системе образования» - 2005.- Казань: ЗАО "Новое знание" - С. 101-105.
5. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество
(EducationalTechnology&Society)" - 2007 - Т. 10 -N 3. - С.336-360. - ISSN 1436-4522.URL: http://ifets.ieee.org/russian/periodical/journal.html
6. http://getintopc.com/softwares/education/visual-certexam-suite-free-download/
