CC BY
257
Сравнительный анализ программных комплексов TestMaker и Indigo
Глазов Артем Валерьевич Студент группы 4407 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (904)6682346
Емельянова Вероника Николаевна Студентка группы 4407 института компьютерных технологий и защиты информации Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (904)6761773
Аннотация
В данной работе представлен сопоставительный анализ двух компьютерных систем тестирования знаний TestMaker и Indigo. Каждая из них, в свою очередь, предназначена для формирования тестовых заданий и проведения контрольно-оценочного этапа учебного процесса. Выполненный анализ данных КСТЗ включает в себя рассмотрение конструирования тестовых заданий с учетом инструментариев каждой из систем, а также сопоставление типов вопросов, реализованных в программных комплексах, и основных характеристик указанных выше систем. В конце данной статьи представлены основные преимущества и недостатки систем тестирования TestMaker и Indigo.
This paper presents a comparative analysis of the two computersystem of testing of knowledge (CSTK) TestMaker and Indigo. Each of them, in turn, is designed to generate test tasks and carrying out control and assessment phase of the educational process. Data Execution CSTK analysis includes consideration of the construction of test items based toolkits each of the systems, as well as a comparison of the types of issues, implemented in software systems, and the main characteristics of the above systems. At the end of this article shows the main advantages and disadvantages of test systems TestMaker and Indigo.
Ключевые слова
компьютерная система тестирования знаний, анализ, тестовые задания, TeatMaker, Indigo
computer system of testing of knowledge, analysis, tests, TestMaker, Indigo Введение
На сегодняшний день в России, как и во всем мире, стремительно развиваются информационные технологии, в том числе в сфере контроля знаний. На фоне информатизации системы образования, системы компьютерного тестирования знаний получили широкое распространение, поэтому актуальной является задача разработки автоматизированных информационных систем, которые могут объективно и эффективно оценивать знания и навыки обучаемых.В мире существует множество программных продуктов, обеспечивающихвозможность проверки способностей обучаемых. Они имеют общую функцию - обеспечение контроля обучения студентов как локально, так и дистанционно.
Из-за разнообразия систем компьютерного тестирования знаний на рынке, большинству пользователей сложно остановить свой выбор на конкретном продукте без предварительного тестирования возможностей системы, это также говорит об актуальности данной проблемы.
Представление функциональных возможностей систем TestMakern Indigo
TestMaker - это программный комплекс системы компьютерного тестирования знаний, предназначенный для создания и редактирования тестов, включаемых в учебные курсы. TestMaker предлагает все необходимое для быстрого создания набора проверочных заданий на освоенный материал, для обучения и контроля знаний обучаемых, позволяет также сохранять и открывать ранее созданные тесты и вносить изменения в них, сохранять результаты тестирования в текстовом/зашифрованном формате. [1-4].
Indigo - профессиональный инструмент для автоматизации процесса тестирования и обработки результатов, который предназначен для решения различного спектра задач: тестирование и контроль знаний, определение профессионального уровня сотрудников, проведение психологического тестирования, проведения опросов, организация олимпиад и конкурсов. Имеется демонстрационный вариант системы, который можно скачать на официальном сайте, а также приобрести лицензионную копию [5].
Редактор тестов Indigo имеет:
• Типы теста:
o контроль знаний; o обучение; o опрос.
• Неограниченное количество вопросов.
• Организация вопросов теста в многоуровневой иерархии произвольной структуры.
• Типы вопросов:
o выбор одного варианта ответа; o выбор нескольких вариантов ответа; o ввод ответа с клавиатуры; o установка соответствия; o расстановка в нужном порядке.
• Подтипы вопросов «ввод ответа с клавиатуры»:
o числовой ввод - сравнение с эталоном или определение
принадлежности числа заданному диапазону; o текстовый ввод - сравнение с эталоном или проверка
соответствия Perl-совместимому регулярному выражению; o произвольный ввод.
• Настройка навигации:
o запрет пропуска вопросов;
o запрет возврата к пройденным вопросам;
o запрет завершения тестирования до ответа на все вопросы.
• Ограничение тестирования по времени.
• Настройки перемешивания и случайной выборки задаются для каждой группы вопросов, что обеспечивает широкие возможности автоматической генерации вариантов тестов при каждом запуске тестирования.
• Перемешивание вариантов ответов в случайном порядке для всех или некоторых вопросов.
• Импорт вопросов всех типов из текстовых файлов (TXT).
• Объекты «Сообщения» с произвольным наполнением.
• Объекты «Пояснения», которые могут выводиться в зависимости от заданных настроек:
o при нажатии на кнопку «Пояснение»; o при неправильном ответе;
o при просмотре результатов после завершения тестирования.
• Задание для одного теста неограниченного числа шкал оценивания.
• Произвольный ввод формулы расчета баллов для каждой шкалы, с возможностями подстановки в формулу баллов за вопросы и группы вопросов, и использованием арифметических операций, математических функций и условного оператора.
• Произвольный ввод делений для каждой шкалы.
• Произвольное задание шаблона результатов, который выводится пользователю после завершения тестирования.
• Возможность подстановки в шаблон результатов любых данных, полученных в результате вычисления шкал оценивания.
• Одновременная работа в редакторе с несколькими тестами.
• Копирование вопросов и групп вопросов из одного теста в другой.
Типы вопросов TestMaker:
1. Выбор одного правильного ответа
2. Выбор нескольких правильных ответов
3. Поиск соответствия
4. Открытый вопрос (запрос ввода пропущенного текста)
5. Расширенный открытый вопрос. Типа вопросов Indigo:
1. Выбор одного правильного ответа
2. Выбор нескольких правильных ответов
3. Поиск соответствия
4. Открытый вопрос (запрос ввода пропущенного текста)
5. Установка соответствия
Сравнение типов вопросов
• Выбор одного правильного ответа.
TestMaker: вопрос представляет собой выбор одного правильного ответа из нескольких, остальные либо неточны, либо неправильны. Можно указать количество вариантов ответа сколько поместится на экране.
Каков блок организует всю работу системы. А гак же является основным блоком по пересылке информация и ее переработке. В нем хранится вся промежуточная информация. Он выполняет роль интерфейса между интеллектуальной системой и ЭВМ.
Выберите ответ: С Базазнаний Г Решатель ЭВМ С Система объяснения С Система доверия
Рис. 1. Выбор одного правильного ответа в среде TestMaker
Indigo: данный вид вопроса аналогичен системе TestMaker, но предоставляется возможности выбора количества баллов за правильный ответ и добавить примечание к вопросу. Вариантов ответа можно указать сколько угодно (количество неограниченно экраном).
Тип вопроса "Выбор одного варианта ответа". Пример:
Основоположник античной диалектики, автор слов "В одну реку нельзя войти дважды"?
Пояснение Л
К вопросам может добавляться "Пояснение" с произвольным содержимым, Пояснения могут выводиться в разных случаях в зависимости от заданных настроек:
1. При нажатии на кнопку '"Пояснение".
2. При неправильном ответе.
3. При просмотре ошибок в ответах после завершения тестирования,
Платон Протагор Фалес Гераклит
Рис. 2. Выбор одного правильного ответа в среде Indigo
• Выбор нескольких правильных ответов.
TestMaker: данный тип вопроса аналогичен закрытому однозначному вопросу, но имеется возможность выбора нескольких (или ни одного) ответов.
Для решенпя задач в определенной предметной области необходимо в начале
Выберите отает
Г~ Собрать информацию о предметной области : Г~ Создать концептуальную модель этой области : I- Создать теорию данной научного представления : I- Решить основную проблему предметной области
Рис. 3. Выбор нескольких правильных ответов в среде TestMaker
Indigo: имеется возможность выбрать несколько ответов из заданного списка возможных вариантов.
Тип вопроса "Выбор нескольких вариантов ответа". Пример:
Укажите философские категории:
Пояснение v
О революция
бытие Q материя
интеграция (_) власть сознание
Рис. 4. Выбор нескольких вариантов ответа в среде Indigo
• Поиск соответствия.
TestMaker: представляет собой три списка. Нужно найти соответствие между элементами левого и правого списка (щелкнуть левой кнопкой мыши сначала на элемент в левом списке, а затем на элемент в правом). Ответавтоматическиотобразится в верхний список.
Сопоставьге определения пгр:
Топологические игры игры в которых необходимо учитывать не только
Компьютерные игры дерево игры, задаваемое возможными
последовательностями кодов противников, но и
Стохастические игры структурой самой позиции, как целого
е процессе игры возникают вероянотностые шаги
игры с жесткой схемой, в которых интеллекта"
практически нет
Рис. 5. Поиск соответствия в среде TestMaker
Indigo: вопрос представлен как таблица с двумя столбцами. В правом столбце необходимо из всплывающего списка выбрать ответ, соответствующий
фразе или слову из левого столбца.
Тип вопроса "Установка соответствия". Пример:
Соотнесите слово с его переводом:
Слово Перевод
wall выберите ответ •w
window выберите ответ •w
bath выберите ответ •w
door выберите ответ •w
Рис. 6. Поиск соответствия в среде Indigo
• Открытый вопрос (запрос ввода пропущенного текста).
TestMaker: открытый вопрос представляет собой поле, в которое нужно написать правильный ответ с клавиатуры. Введенная последовательность символов будет считываться и сравниваться с эталоном, указанным при редактировании вопроса.
Кто делает программы для решения задач искусственного интеллекта?
¡Введите ответ
Рис. 7. Открытый вопрос в среде TestMaker
Indigo: отличие системы в том, что в редакторе вопроса можно указать тип ответа (числовой ввод, произвольный ввод или проверка соответствия Perl-
совместимому регулярному выражению).
Тип вопроса "Ввод ответа с клавиатуры". Пример:
Введите число Пи с точностью до сотых:
Рис. 8. Открытый вопрос в среде Indigo
• Расширенный открытый вопрос.
TestMaker: представлен как отдельный тип, который является модифицированным вариантов типа «Открытого вопроса» и отличается полем «Ответ», которое представляет структуру с собственным алфавитом, грамматическими конструкциями.
Рис. 9. Расширенный открытый вопрос в среде TestMaker
• Установка соответствия.
Indigo: вопрос представляет собой окно, в котором посредством мыши нужно перетаскивать элементы вверх или вниз.
Тип вопроса "Расстановка в нужном порядке". Пример:
Расположите в хронологическом порядке имена правителей Руси:
(.перемещайте варианты ответов указателем мыши вверх или вниз)
1. t Пётр ] Великий
2. * Екатерина II Великая
3. t Иван IV Грозный
4. * Владимир Мономах
5. * Александр Невский
Рис. 10. Установка соответствия в среде Indigo
Достоинства и недостатки систем.
Основные достоинства системы Indigo:
1. Данная система хранит информацию о пользователях системы и может предоставить информацию о пройденных тестах пользователем, а также оформить отчет по данной информации.
2. Имеется русскоязычный форум, где можно задать интересующие вопросы разработчикам, а также попросить помощи в решении проблем с работой системы.
3. Программа обладает интуитивно понятным и современным интерфейсом.
4. Можно подразделять пользователей на группы и отправлять им e-mail рассылки. А также импортировать и экспортировать списки пользователей для быстрого переноса информации на другую машину.
5. Возможен импорт вопросов из файла.
6. Разбиение вопросов на группы и подгруппы, что позволяет установить индивидуальные настройки для каждой группы.
Недостатки системы Indigo:
1. Платность программы.
2. Размер программы достигает 125 Мб (без учета тестов).
Достоинства системы TestMaker:
1. Система TestMaker имеет локальный характер, то есть для переноса всех данных достаточно сделать копию на носитель и перенести на другую машину.
2. Не требуется регистрация пользователей, что ускоряет работу с данной системой.
3. Является свободно распространяемым программным продуктом, который можно загрузить с сервера.
К недостаткам системы можно отнести:
1. Устаревший интерфейс.
2. Нерегулярное обновление программного продукта.
Заключение
Оба комплекса являются хорошими программными продуктами, в которых остро нуждаются образовательные учреждения. Программный комплекс Indigo поддерживается любой операционной системой. Регулярно обновляется разработчиками, что расширяет функционал данной системы и делает его более привлекательным на рынке тестирующих систем.
Таким образом, на сегодняшний день имеется широкий выбор программных комплексов для реализации тестирования. Выбор конкретного продукта зависит от цели тестирования. В итоге сделанного сравнительного анализа можно сказать, что Indigo является наиболее лучшим вариантом для пользователей.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева И.Х.
Литература
1. Галеев И.Х., Храмов Д.Л., Светлаков А.П., Колосов О.В. Адаптивное обучение и тестирование. //Материалы Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования», 17-18 апреля 2003 г. - С. 33-35.
2. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) // И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. - Казань: Казанский государственный технологический университет, 2005. - 126 с.
3. Галеев И.Х., Колосов О.В., Филяев А.И.. Сравнительный анализ систем компьютерного контроля знаний // Материалы Международной научно-практической конференции «Информационные технологии в многоуровневой системе образования» - 2005.- Казань: ЗАО "Новое знание" - С. 101-105.
4. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество
(EducationalTechnology&Society)" - 2007 - Т. 10 -N 3. - С.336-360. - ISSN 1436-4522.URL: http://ifets.ieee.org/russian/periodical/joumal.html
5. Документация и руководство по использованию программного комплекса.URL: http ://indigotech. ru/manual(Дата обращения 22.03.2016).
