CC BY
79
Сравнительный анализ тестирующих программ TestMaker и RichTest
Аляутдинова Гузель Рафиковна Студентка группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, 8(906)1100333 [email protected]
Игнарина Екатерина Сергеевна Студентка группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань,420111,8(950)3266445 [email protected]
Пайгина Лилия Рафаэльевна Студентка группы 4408 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, 8(996)9520831 [email protected]
Аннотация
В данной статье приводится описание двух тестирующих программ: TestMaker и RichTest. Выбранные программы предназначены для создания, редактирования тестов, а также проведения контрольно-оценочных мероприятий.
В статье представлено описание возможностей данных программных комплексов, приводится их сравнительный анализ, где указываются достоинства и недостатки каждой из систем и в результате подводятся итоги по результатам сравнения.
This paper describes the two testing programs: TestMaker and RichTest. Selected programs are designed to create, edit, test, and conduct test and evaluation activities.
This article shows description of capability's data comparative analysis pointing out advantages and disadvantages of each system .As a result summed up the results of the comparison.
Ключевые слова
Система тестирования, обучающая система, локальная система, учебный контент, тестовые задания
Testing system , training system , local system , learning content , tests
Введение
В настоящее время в сфере образования все чаще используют современный подход к оценке знаний учащихся - компьютерное тестирование. Данный подход позволяет сократить время пользователя на создание набора тестовых заданий,
повысить эффективность контроля знаний обучающихся, сократить время, затрачиваемое на проведение и анализ результатов тестирования.
В связи с тем, что существует значительное количество программных комплексов, перед пользователем стоит непростая задача выбора наиболее эффективной системы. В выборе определенной программы может помочь подробный сравнительный анализ существующих систем тестирования. В связи с актуальностью выбора тестирующей системы представлен сравнительный анализ двух программных сред RichTest и TestMaker.
Представление функциональных возможностей систем TestMaker и ШсИТев!
TestMaker - это локальная программа компьютерного тестирования знаний, предназначенная для создания и проведения тестов. TestMaker позволяет создавать набор проверочных заданий для обучения и дальнейшего контроля знаний обучаемых, редактировать ранее созданные тесты, а также сохранять результаты тестирования.
RichTest- это пакет программ, позволяющий составлять тестовые задания и проводить тестирования. Программный комплекс состоит из трех модулей: Админ (RichTestAdmin), Клиент (RichTestCustomer) и Отчеты (RichTestTestReports). Модуль RichTestAdmin предназначен для создания и редактирования тестовых заданий, модуль RichTestCustomer предназначен для проведения тестирований, модуль RichTestTestReports предназначен для сбора и анализа результатов тестирования в виде отчетов.
На рис.1 и рис.2 представлены интерфейсы программных комплексов TestMaker и RichTest.
>3 Нгдактпр тпгтл — ОХ Файл Правка ©опросы Нвотрсйка Помощь
ОЛЩЕа Г-, К
5га С* ОЙ "А!
Тест по теме "Искусственный интеллект" Вопрос N«1
Программы решения интеллектуальных дядям подразделяются на:
Г шроььае лрогрзмыы
РсПНЛ шч щи 1>4ЯП*11 Л" М|к II р. 11>ии
Г" |.|>эыкапь ныв программы | Уин;1К1и1Ш-гф(1г|п;г.1м1.!
Г~ 11РОГОЗММЫ создания проиэьеаен»и (рафпкх и >э*вспнсн
□опрос: 1*30 элеиенгм: л
Рис.1. Интерфейс программного комплекса TestMaker
□ ВкМег: г «дмии пмсль - 1Мо1мй тсст] □ Флнл ПЪнфш ур*1?А г« п Яш» 11 япулшуг| 0 Прснршыг *
В 1 ^ 1 Ы 1 ^' 1 р 1 Ф ^ 1 Щ 11евый | Опсрчг» | Ссфлнктъ | Кал-» кчтрос« | Ры*(=ор оцемо* | Пр«ф<л теста НкгреЛпч 1 ''пр«м | -
□ В -ест по тн»е "Мосгсстыич»* мтлмо'
- М в / и ¡р» ■ д а» га ^
Г1 Тест по гене "Искусственный интеллект" Вопрос №1 Программы решения интеллектуальных задач подразделяются на:
ОтеетЧП отшпмг | ^ Огиг »1 | V Сткт»Ч_1.!Л И / и шят А А»*«! [вЗу' Л Г Г СфИТЬ ®ОЧ
Ес1 ее гвеимотоьиоыые профаммы (олвнитл): 3 ТгсушкА кт: 2
—- .....
Рис. 2. Интерфейс программного комплекса RichTest
В программных системах TestMaker и ШсИТеБ! поддерживается:
• Создание разных типов вопросов
• Добавление графических изображений
• Ввод ограничений по времени для прохождения теста
• Генерирование вопросов в случайном порядке
• Отображение результатов тестирования в процентах
• Хранение результатов тестирования
Для повышения качества оценки знаний обучающихся программный комплекс систем КюМ^ предоставляет следующие возможности: переход к теории для подготовки к прохождению тестирования, задание сложности каждого вопроса, прикрепление подсказки к вопросу (отображение подсказки во время тестирования приводит к получению штрафных баллов), переход пользователя в обучающий режим, где выводится верный ответ в случае ошибки. Также программа КтсМ^ позволяет строить отчеты по результатам тестирования, пример отчета показан на рис.3.
Ф Шв1- - Отчеты - 0 X
Добавьте все необходимые файлы Ы. го (естественно они потуг ниеть другое ник}. Добавлял новый файл, содершое его автоматически попадает в таблицу ниже
Добавить результат
C:\Program 1гЬ (хВДШея\геиЬя
Сделайте отметки напротив интересующих Бас записей. Только выделенные записи попадут в Экспорт
«л п ♦НО | Группа Тест Время начала | Время окончания | Общ... | Балл... Вомшнпек. | Оценка | Прав... 11о р.. | Вопросовбез.. | Использован.. | Ст.^огь^
01 Иванов 4409 Е№ Иплиси- 03.03.201722:. 03.03.201722:.. 0 4,8 8 удовя 5 « 0 1' 0,2
41 Петоов 4409 V. 04.03.2017 1 2: 04.03.201712:.. о ] 8 Неуд 1 « 0 2 0,4
03 Сидоров 4409 тест 04.03.2017 1 2: 04.03.201712:.. 0 3 8 удовя 3 1 0 0 0
Просмотр детальной статистики
Экспорт в >
Подключите файлы тестов, и Бы сможете посмотреть детальную информацию о каждом тестировании.
Версия 3.4 (сборка 98)
Нажмите кнопку 'Экспорт в' и выберите выходной формат. Б. случае выбора сзу - существующий файл будет перезаписан (он не должен быть занят никакой о программе... другой программой)
3
Рис. 3. Отчет по результатам тестирования из программного комплекса ШсИТез!
Типы вопросов в TestMaker и RichTest
1. Выбор единственного верного ответа:
В TestMaker есть возможность создания закрытого однозначного вопроса, в котором можно задать неограниченное число вариантов ответа. Пример конструктора вопроса представлен на рис.4.
В RichTest предоставляется возможность указания любого числа вариантов ответа, один из которых будет правильный. Задача тестируемого найти верный вариант ответа. Программа позволяет отображать варианты ответов в случайном порядке. Есть возможность использования подсказки, за которую будут сниматься баллы (баллы можно указать любые). Пример конструктора вопроса представлен на рис.5
= га М О ЛI МЙ ?
Л]Ю1 ]'аМГЗЫ [Ч'1
нтрллестуальных задач
Л<Т1 |1'- ^ |
I- рта I
1
У
Рис. 4. Создание одиночного вопроса в Тез1Макег
О I" I у I ¡$ Га I № I ^ I *
□ 3
лЫ-
■ ■ ■ ^ у^
Рис. 5. Создание одиночного вопроса в RichTest
2. Выбор множественного верного ответа:
В TestMaker закрытый многозначный вопрос подобен закрытому однозначному вопросу, различие заключается в том, что в этом вопросе правильных ответов может быть несколько. Пример конструктора вопроса представлен на рис. 6.
В RichTest данный тип вопросов позволяет пользователю выбрать более одного верного ответа. К вопросу можно добавить любое число вариантов ответов. Есть возможность отображать ответы в случайном порядке. Пример конструктора вопроса представлен на рис.7.
= з ¡515»
Про гра м нъ) решен нн н НМЛ долуишш задач
, рг^ »„ргэ
О Чхкимвг^яычл.
—- ¿—I
^п|т| 77. чд л
-IV ■■ ■ ^ — - - • | 1(1* кЧ >
Рис. 6. Создание многозначного вопроса в Те«!Макег
Рис. 7. Создание многозначного вопроса в Ш^Тез!
3. Вопрос на поиск соответствующих ответов: В ТеБШакег вопрос представляет собой три области, в которых необходимо подобрать соответствия между компонентами левой и правой областями. Выбор ответов из левого и правого окна автоматически заносится в верхнее окно. Неверный ответ можно удалить двойным щелчком. Один элемент любого списка может иметь несколько соответствий из другого или не иметь ни одного. Ответ на вопрос считается правильным, если все соответствия указаны верно. Количество вариантов не ограничено. Пример конструктора вопроса представлен на рис.8
В ШсМ^ задание на соответствие представляет собой два столбца - для каждого варианта из первого столбца необходимо указать соответствующий вариант из второго. Одному варианту из первого столбца может соответствовать только один вариант из второго. Количество вариантов в столбцах должно быть одинаковым. Пример конструктора вопроса представлен на рис.9.
Фь>л ГЬ«*1 Внфесы Нктдойи Пемса*
-э огаа ► х?
иг»
* и
^ шш в
р
—Г
Йо
¡а.
Е1П
Рис. 8. Создание вопроса на поиск соответствия в TestMaker
Рис. 9. Создание вопроса на поиск соответствия в RichTest
4. Вопрос на ранжирование:
В ТеБШакег вопрос на ранжирование не является отдельным типом вопроса, так как его можно смоделировать как вопрос на соответствие. Пример конструктора вопроса представлен на рис. 10.
В ШсМ^ тестируемому необходимо для каждого варианта ответа указать его порядковый номер. В списке может быть неограниченное количество вариантов ответа. Пример конструктора вопроса представлен на рис. 11
Ргдоктор иддмиа и* ■
ВГчм* [^13
Ечи выси.
J
и
Рис. 10. Создание вопроса на ранжирование в TestMaker
□ Ы'ш ■ Ьят >Р» |лп]
V "пН ♦'"и III Л ш ^Ги
* *• 1к4
Рис. 11. Создание вопроса на ранжирование в Ш^Те*!
5. Открытый вопрос:
В ТеБШакег открытый вопрос представляет собой пустую строку, в которую требуется вписать соответствующее пропущенное слово или правильный ответ. Орфографические ошибки, допущенные в ответах, не учитываются (если настроить данный функционал в конструкторе). Пример конструктора вопроса представлен на рис.12.
В RichTest открытый вопрос представляет собой пустое окно, в которое необходимо ввести ответ на вопрос или заполнить отсутствующую часть. Можно задать только один вариант ответа, пользователь не имеет возможности допустить опечатку (ответ будет засчитан как неверный). Пример конструктора вопроса представлен на рис.13. (баллы можно указать любые). Пример конструктора вопроса представлен на рис.5
я
ЙЧВД «ЭДН Б В
= ■ аиа ► >; г
Логическая фуш
ц отличил от обы'п
имеет только логические значения истины или лжи - это—
X 1". Я« :
ы* ШЦ »и, км!
0* I 1
Рис. 12. Создание открытого вопроса в Те«1Макег
□ Ы'ш ■ Ьят >Р» |лп]
ш
Рис. 13. Создание открытого вопроса в RichTest
6. Расширенный открытый вопрос:
В TestMaker это открытый вопрос с возможностью расширения правильного ответа, но без допуска опечаток. Ответ может содержать несколько строк. Пример конструктора вопроса представлен на рис. 14. В ШсМ^ нет данного типа вопроса.
1 ж ■ ■■ ■ да
К,1 кон блок н нтелл«/1глл ькой ■ е| <ны ;л тм:: Ч (т иен работу НСГНН7
Рип-Чгр №<рМ| X
О*» 1» а.*.-. |Ч5 ¡а г В*. Вмел* ™ ».и-
Ш
Рис. 14. Создание расширенного открытого вопроса в TestMaker
Сравнение возможностей систем TestMaker и RichTest
Каждая из систем тестирования предоставляет широкие возможности для создания разнообразных тестов, однако, для того, чтобы понять, какая из систем лучше, необходимо провести сравнительный анализ. Сравнительный анализ возможностей систем представлен в таблице 1.
Таблица 1.
Возможность системы тестирования Система Система
тестирования ШсИТез! тестирования Те«1Макег
Создание разных типов вопросов + +
Создание вопроса типа расширенный ответ - +
Добавление графических изображений в тест + +
Применение форматирования ко всем вопросам/подсказкам/ответам + -
Запуск теста из конструктора - +
Установка пароля для теста + -
Авторизация пользователей перед началом тестирования + -
Просмотр теоретической части перед прохождением тестирования + -
Ввод ограничений по времени для прохождения теста + +
Запрет на преждевременное закрытие теста во время его прохождения +
Использование подсказок при прохождении тестирования + -
Генерирование вопросов в случайном порядке + +
Генерирование ответов в случайном порядке + -
Допуск опечатки при прохождении теста - +
Возврат к предыдущему вопросу при прохождении тестирования + -
Отображение результатов тестирования в процентах + +
Отображение результатов тестирования в оценках + -
Построение отчетов по результатам тестирования + -
Основные достоинства и недостатки программных комплексов
Основные достоинства системы RichTest:
1. Наличие бесплатной версии программы;
2. Работает на Windows 2000/XP/Vista/Server 2003/Server 2008/7, что позволяет сделать вывод об универсальности данной программы;
3. Возможность гибкой настройки теста (Применение форматирования ко всем вопросам/подсказкам/ответам, генерирование вопросов/ответов в случайном порядке и т.д.);
4. Построение отчетов по результатам тестирования с подробной информацией о прохождении тестирования (в каком вопросе пользователь допустил ошибку, как часто брал подсказки и т.д.), что позволяет провести более глубокий анализ результатов тестирования;
5. Установка пароля для теста. Данный функционал поможет пользователю защитить свой тест от третьих лиц;
6. Наличие технической поддержки по вопросам, связанным с системой тестирования;
7. Возможность просмотра теоретической части перед прохождением тестирования.
Недостатки системы RichTest:
1. Отсутствие возможности создания вопроса типа расширенный ответ. Данный недостаток довольно существенен, так как наличие вопроса типа открытый ответ не позволяет создавать более сложные тесты с различным вводом верных значений;
2. Отсутствие возможности запуска теста из конструктора, что замедляет работу пользователя с данной системой.
Основные достоинства системы TestMaker:
1. Наличие бесплатной версии программы;
2. Интуитивно понятный и современный интерфейс;
3. Работает на Windows 2000/XP/Vista/Server 2003/Server 2008/7;
4. Является портативной системой, т.е. обладает возможностью простого переноса с одной машины на другую с помощью носителя.
Недостатки системы TestMaker:
1. Нет возможности построения отчетов по результатам тестирования;
2. Нет возможности просмотра теоретической части перед прохождением тестирования.
Заключение
В настоящее время выбор инструментальных средств для проектирования и разработки программных сред для тестирования очень широк. Что касается программ, рассмотренных нами в данной работе, мы можем сказать следующее: система RichTest предоставляет огромные возможности, но при этом требует высокий уровень подготовки разработчика. Программа TestMaker отличается очень удобным интерфейсом, который с легкостью освоит даже начинающий пользователь. Что касается программного инструментария продуктов TestMaker и RichTest, нельзя однозначно сказать, у какого из продуктов функционал шире. В программной среде RichTest применяются такие возможности, которые отсутствуют в программе TestMaker: установка пароля для теста, применение форматирования, просмотр теории перед прохождением теста, использование подсказок во время прохождения, генерирование ответов в случайном порядке, возврат к предыдущему вопросу при прохождении. Но в программной среде TestMaker также используются свои «фишки», которых нет в RichTest. Например, добавление картинок в тест, запуск теста из конструктора, допуск опечатки при прохождении теста.
Подводя итоги, хотелось бы сказать, что каждая рассмотренная среда уникальна и выбор зависит от предпочтений пользователя.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева И.Х.
Литература
1. Галеев И.Х., Храмов Д.Л., Светлаков А.П., Колосов О.В. Адаптивное обучение и тестирование. //Материалы Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования», 17-18 апреля 2003 г. - С. 33-35.
2. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) // И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. - Казань: Казанский государственный технологический университет, 2005. - 126 с.
3. Галеев И.Х., Колосов О.В., Филяев А.И.. Сравнительный анализ систем компьютерного контроля знаний // Материалы Международной научно-практической конференции «Информационные технологии в многоуровневой системе образования» - 2005.- Казань: ЗАО "Новое знание" - С. 101-105.
4. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество
(EducationalTechnology&Society)" 2007 г., Т. 10 - N 3, С.336-360. - ISSN 14364522. URL:http://ifets.ieee.org/russian/periodical/journal.html.
5. Горбаченко И.М. Сравнительный анализ существующих систем тестирования // Тестирование в сфере образования: проблемы и перспективы развития: материалы Всероссийской научно-практической конференции. (Красноярск, 19-21 мая 2008 г.) / отв. ред. Г.П. Карлов. - Красноярск: СибГТУ 2008. - С. 177-183.
