CC BY
52
Обзор возможностей программных комплексов TestMaker и VeralTestEditor
Ильина Татьяна Владимировна студентка группы 4408 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (999)1639417 tatyanka-ilina-1995@mail. ru
Кузьмин Александр Иванович студент группы 4408 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (999)1643445 AlexMind@icloud. com
Мамонова Валерия Сергеевна студентка группы 4408 института компьютерных технологий и защиты информации, Казанский Национальный Исследовательский Технический Университет имени А.Н. Туполева (КНИТУ-КАИ), ул. К. Маркса, 10, г. Казань, 420111, (987)4071467 [email protected]
Аннотация
В данной работе представлен сравнительный анализ двух компьютерных систем тестирования знаний TestMaker и VeralTestEditor. Каждая из данных систем предназначена для создания тестовых заданий и оценки знаний, полученных в ходе учебного процесса. Данный анализ выбранных систем содержит примеры конструирования тестовых заданий, а также сравнение типов вопросов и важнейших характеристик указанных систем. В заключении статьи представлены преимущества и недостатки систем тестирования TestMaker и VeralTestEditor.
This work presents a comparative analysis of the two computer systems for testing knowledges TestMaker and VeralTestEditor. Each of these systems is designed to create and test tasks of control and assessment of knowledge acquired during the educational process. The analysis of selected systems contains examples of the construction of various types of tests, using the tools of each program, as well as a comparison of these question's types and the most important characteristics of these systems. In conclusion, the article presents the advantages and disadvantages of test systems TestMaker and VeralTestEditor.
Ключевые слова
компьютерная система тестирования знаний, анализ, тестовые задания, TestMaker, VeralTestEditor,
computer system of testing knowledges, analysis, tests, TestMaker, VeralTestEditor.
Введение
В настоящее время стремительно развивается область контроля знаний. Из-за растущего уровня информатизации образовательных систем, системы
компьютерного тестирования знаний получают все большее распространение. Вследствие этого актуальной становится задача разработки автоматизированных информационных систем, качественно оценивающих знания обучаемых. На данный момент количество программ, проверяющих способности обучающихся, значительно. Для них характерна общая функция - обеспечить высокий уровень контроля качества обучения учеников локально и дистанционно.
Из-за разнообразия систем компьютерного тестирования знаний перед пользователем стоит сложная задача выбора необходимого продукта без возможности протестировать систему заранее, что подчеркивает актуальность данной проблемы.
Представление функциональных возможностей систем TestMaker и VeralTestEditor
TestMaker - это компьютерная система тестирования знаний, целью которого является создание тестов, использующихся в учебных курсах, а также их редактирование. TestMaker предоставляет возможности проектирования заданий для проверки усваиваемости материала, для оценки знаний учащихся.[1-4].
VeralTestEditor - пакет программ, обеспечивающий проведение тестирования обучаемых или аттестацию работников предприятия. Главное достоинство -простота и удобство интерфейса. Используется для создания автономных .exe тестов, которые можно запустить на любом персональном компьютере на платформе Windows без установки дополнительного программного обеспечения. Этот редактор тестов позволяет создавать вопросы разных типов, проводить тестирование по различным схемам и настраивать шкалу оценок. Также есть возможность создавать «бумажные тесты» для проведения тестирования без компьютера. [5].
В редакторе тестов VeralTestEditor поддерживаются следующие типы вопросов: единичный выбор ответа, множественный выбор ответа, ввод текстового ответа, ввод числового ответа, сопоставление. Единичный выбор ответа предполагает выбор одного варианта ответа из нескольких. В вопросах с множественным выбором тестируемому предлагается выбрать один или несколько вариантов ответов из предложенных. Ввод текстового ответа предполагает введение текстовой строки в качестве ответа. Ввод числового ответа подразумевает ввод числа в качестве ответа. Вопрос с сопоставлением удобно применять в случаях, когда требуется упорядочить элементы или сгруппировать какие-либо элементы по определенным признакам.
В редакторе тестов вопрос каждого типа может быть записан в двух различных форматах: "Стандартном" и "Свободном". Формат записи вопроса определяет способ расположения текста вопроса и вариантов ответов. При стандартном формате текст вопроса и варианты ответа располагаются отдельно друг от друга, и их расположением управляет система тестирования. При свободном формате поля для ввода ответов располагаются прямо в тексте вопроса, в местах, указанных явно при составлении вопроса.
В VeralTestEditor имеется функция "Импорт вопросов", которая позволяет импортировать в редактор тестов вопросы, созданные в других редакторах. Импорт возможен из текстовых файлов (*.txt) и из файлов Rich Text Format (*.rtf). Таким образом, можно импортировать файлы, созданные как в простых текстовых редакторах, таких как "Блокнот", так и в мощных текстовых процессорах, таких как Microsoft Word и OpenOffice.org Writer.
При создании теста имеется возможность выбрать режим вывода вопросов: последовательный или случайным образом.
В данном редакторе тестов вопросам можно присвоить уровень сложности, а
именно:
- любой уровень (вопросы выводятся всегда вне зависимости от установленного уровня сложности);
- легкий уровень (вопросы минимального уровня сложности);
- средний уровень (вопросы среднего уровня сложности);
- сложный уровень (вопросы максимального уровня сложности).
В редакторе тестов для каждого вопроса может быть выбран один из двух режимов обработки ответа: "Баллы за вопрос" и "Баллы за ответ". В режиме обработки ответа "Баллы за вопрос" тестируемый получает заданное кол-во баллов (указывается при составлении вопроса) только в случае правильного и полного ответа. Во всех остальных случаях, например, если дан неполный ответ на вопрос, тестируемый получит 0 баллов. В режиме обработки ответа "Баллы за ответ" для каждого варианта ответа задается свой "вес" в баллах. Итоговое количество баллов за вопрос равно сумме баллов выбранных вариантов ответа.
При создании теста имеется возможность выбрать режим вывода ответов: последовательный или случайным образом.
Тест в VeralTestEditor может выполняться в трех режимах: пошаговый режим, пошаговый с сообщениями, список.
Пошаговый режим. В этом режиме вопросы выводятся на экран по одному. Пользователь должен дать ответ на вопрос и нажать кнопку "Ответить", чтобы перейти к следующему вопросу. Пользователь может так же нажать кнопку "Пропустить", чтобы отложить ответ на текущий вопрос и перейти к следующему (можно пропускать вопросы только в пределах текущей секции, переход к следующей секции произойдет, только после ответа на все вопросы текущей секции).
Пошаговый с сообщениями. Тоже, что и пошаговый, но по мере выполнения теста будут появляться сообщения, если они определены в тесте.
Список. В этом режиме выводятся на экран одновременно все вопросы единым списком. Тестируемый должен дать ответы на все вопросы и нажать кнопку "Ответить" в конце списка. В режиме "Список" сообщения не выводятся.
При выполнении теста тестируемому предоставляется информация о ходе выполнения:
• общее количество вопросов;
• количество пройденных вопросов;
• общее количество секций;
• количество пройденных секций;
• максимально возможное количество баллов за тест;
• текущее количество баллов за тест.
По завершении теста предоставляется информация о количестве выполненных вопросов и секций и о набранном количестве баллов.
Отличительной чертой этого редактора теста является разделение на секции. Секции предназначены для группировки вопросов по тематике и по уровню сложности.
Группировка вопросов по тематике осуществляется следующим образом. Если тест охватывает несколько тем (разделов) того или иного предмета, то при помощи секций можно сгруппировать вопросы по темам, указать режим вывода вопросов в каждой теме (последовательно, случайным образом), а также указать количество предлагаемых тестируемому вопросов для каждой темы. Наряду с группировкой вопросов по темам, при помощи секций можно дополнительно сгруппировать вопросы по уровню сложности, сформировав таким образом тест подходящий для пользователей с различной подготовкой и уровнем знаний. Перед началом тестирования можно указать необходимый уровень сложности, при этом в
ходе выполнения теста будут выводиться вопросы, соответствующие указанному уровню сложности.
Если в тесте существуют секции, в которых вопросы сгруппированы по уровню сложности, то тест можно запускать в Адаптивном режиме, указав перед началом тестирования уровень сложности "Авто".[6]. В адаптивном режиме уровень сложности теста автоматически подстраивается под возможности тестирования, при этом уровень сложности в первой секции устанавливается максимальным, а во всех остальных секциях уровень сложности выбирается исходя из набранного количества баллов в предыдущей секции, как показано в таблице 1.
Таблица 1.
Набранное кол-во баллов в предыдущей секции Уровень сложности новой секции
Максимально возможное Максимальный
Больше 0, но меньше максимально возможного Средний
0 Минимальный
Сообщения в VeralTestEditor предназначены для выдачи информации пользователю в процессе выполнения теста
В системе тестирования есть два типа сообщений:
- для вопросов (сообщение выдается после ответа на вопрос);
- для секций (сообщение выдается после выполнения секции).
Для каждого типа можно указать конкретные номера секций или вопросов, для которых предназначено сообщение, а также результат (минимальный, средний, максимальный), по достижению которого будет показано сообщение.
Данный редактор тестов позволяет просмотреть отчет о выполненном тесте, который выводит на экран список вопросов, заданных в ходе тестирования, с указанными ответами тестируемого.
Сравнение типов вопросов
❖ Единичный выбор ответа.
В TestMaker данный тип вопроса подразумевает выбор одного правильного ответа из нескольких, остальные не являются верными. Максимального ограничения на количество вариантов ответа нет. На рис.1 и рис.2 представлены примеры в TestMaker и VeralTestEditor.
Редактор закрытого однозначного вопроса X
Пию |25 Ширина |565 ^ Заголовок Верх Высота |340]§] |
Ответ
Г Менеджер по знаниям д ИшмирпоанатяМ С Гпаеный по зимни Г Дфектод знаний Варианы
Менеджер по знаниям Инженер по Знаниям Главньй гто знаниям Директор знаний
Удалить | Добавить | | ОК | Отмена |
Рис. 1. Редактор выбора одного Рис. 2. Выбор одного правильного
правильного ответа в среде TestMaker ответа в среде VeralTestEditor
В VeralTestEditor вопрос с выбором одного правильного ответа аналогичен вопросу системы TestMaker, но имеет дополнительные функции: вывод вариантов ответа в случайном порядке и выставление количества баллов за правильный ответ. Ограничение на количество ответов - 6.
❖ Множественный выбор ответа.
В TestMaker данный тип вопроса схож по интерфейсу с закрытым однозначным вопросом, но возможен выбор нескольких (или ни одного) ответов. На рис.3 и рис.4 представлены примеры в TestMaker и VeralTestEditor.
Редактор закрытого многозначного вопроса X Лево |15 ¡¿Д Ширина |б00 ^ Заголовок В Виде № О X Файл Правка Вид Фориат Ответь Перевод ^ Соирачить й шрхть X УДалапь 9 Следующий аоярос * Предоцущи» вопрос
Верх |В9 Щ Высота |350 1 Ответы Тлнпрос1: Нюжестввгвйввйоооиета "
Оермт вопроса: Стмаотивй -1
ф Языки для искусственного интеллекта Г* Автоматический синтез программы [7 Инструментальные системы & Системы когнитивной графики ^ *■> В [ТипнИмгИмплт '¡|1
Вставит ответ Щ, Удалчтюгоет
Язро любой интеллектуальной системы состав л «ют
Варианты
Автоматический синтез программы Инструментальные системы Системы когнитивной графики 1 С Лингвистический процессор
Ь : База ¡наниЛ
1 I Решатель
Удалить | Добавить 11 ОК | Отмена
Рис. 3. Редактор выбора нескольких правильных ответов в среде TestMaker Рис. 4. Выбор нескольких вариантов ответа в среде VeralTestEditor
В VeralTestEditor, в отличие от TestMaker, можно задавать определенное количество баллов за каждый правильный вариант ответа.
❖ Поиск соответствия.
В TestMaker редактор вопроса представляет собой три поля. Необходимо сопоставить между собой элементы левого и правого полей. Верное соответствие появится в верхнем поле. На рис.5 и рис.6 представлены примеры в TestMaker и VeralTestEditor.
Редактор задания на соответсвие X
Лево |5 И Ширина |590 Разделитель | Верк Щ Щ Высота И Щ
Ее сторонники ставят перед собой цель воспроизвести искусственным образом те процессы, которые протекают в мозгу человека - Нейробионике екав телка зрения Ее сторонники емтакэт, что основной целью работ в искусственном интеллекте является не построение технического аналога биологической системы, a создание средств для решения заоач традиционно считающихся интеллектуальным» - Информационная точка зрения
Ее сторонники считают, что основной целью работ в искусственном интеллекте является не построение технического аналога биологической системы, а создание средств ало решения задач, традиционно считающихся Нейробионическая точка зрения Информационная точка зрения
Ее сторонники ставят перед собой цель воспроизвести искусственным образом те процессы, которые протекают в мозгу человека
Удалить | Добавить] | Удалить | Добавить] [
ОК | Отмена |
# Вопрос №5 - О X
Файл Вид Фо híi Ответы Перекц
t J Стрвянт» и загрьль X Умлитъ --¡юла-м ■ « Предавший вопро«
Стаиларт>*йЗ
О&мботка ответа: i ¡. @ Ц Ш Щ &МИ»«»Ответ - Колвобиим: |з ; -tft-.
131® ® а а |1|3. 1 ¡ÍAnal Unicode MS .j|l
F Всммп счет Е У4 яыыг» опет Кг
Установите соответствие
нетш i по генерирование программ на основе обучеюи на мно жестве примеров
i ; а«рт*» »ила - >то ciiHiei посредством некоторой процед'.-ры напомнил 1юшей логический
вывод
0 [■£• rtHBHmi'DiMi ■»] Oraran* ответа
Отитов 2
Рис. 5. Поиск соответствия в среде TestMaker
Рис. 6. Поиск соответствия в среде VeralTestEditor
В VeralTestEditor редактор представляет собой три столбца, в первом указывается количество баллов за каждое верное соответствие, а во втором и третьем столбцах - элементы соответствия. При прохождении теста элементы третьего столбца статичны, а элементы второго столбца представляют собой выпадающий список с вариантами ответов.
❖ Ввод текстового ответа.
В TestMaker открытый вопрос представляет собой поле для ввода правильного ответа. Введенный ответ сопоставляется с указанным при редактировании вопроса ответом. На рис.7 представлен пример в Тс5(Макег.
Редактор открытого вопр... X ЗОЦ Ширина ¡530 Щ 3 Высота
Лево Верх |U Значение
Ответ [Когнитивная графика ¡7 Допускать опечатку □К Отмена
Рис. 7. Открытый вопрос в среде TestMaker
В VeralTestEditor такой тип вопроса не предусмотрен.
❖ Расширенный открытый вопрос.
В TestMaker данный тип вопроса является модификацией простого открытого вопроса. Отличием является то, что в редакторе вопроса поле ответа представляет собой структуру с собственным алфавитом и грамматическими конструкциями, тем самым можно учесть все вариации ответов. Для описания шаблона правильного ответа используется специальный синтаксис. Каждая конструкция заключается в фигурные скобки. Конструкции можно вкладывать друг в друга. Синтаксис расширенного открытого вопроса поддерживает такие структуры, как - любой идентификатор, - любое слово, <1> - любое целое число. Для того, чтобы указать в качестве ответа число, необходимо воспользоваться конструкцией
<1^ Уа1ие=значение В1бр =значение>. Есть возможность в одной конструкции комбинировать как числовые ответы, так и текстовые. С помощью оператора «|» (или) можно представить множество всех возможных конструкций. На рис.9 и рис.10 представлены примеры в TestMaker и Уега1Те81Е&1ог
Рис. 9. Расширенный открытый вопрос в Рис. 10 Открытый вопрос в среде среде TestMaker Уега1Те81ЕШ1ог
В VeralTestEditor редактор вопроса представляет собой окно, имеющее два поля, поле вопроса и несколько полей для перебора всех возможных вариантов ответа, так же имеются свои грамматические правила, представленные в таблице 2.
Таблица 2.
Символ Назначение
V? На этом месте в ответе пользователя должен быть один любой символ
V На этом месте в ответе пользователя может быть любая последовательность символов
\\ На этом месте в ответе пользователя должен быть символ Т
❖ Установка числового значения.
В TestMaker отсутствует отдельный тип вопроса для числового ответа, но он реализуется с помощью такого типа вопроса как «Расширенный открытый вопрос», который рассмотрен выше. На рис. 11 представлен пример VeralTestEditor.
В VeralTestEditor для этого используется тип вопроса «Ввод числового ответа». Для создания такого вопроса в типе вопроса указывается «Ввод числового ответа», а в вариантах ответа задаются числовые значения.
® Вопрос N34 Файл Правка Вид Формат Ответы Персяод ! Сохранит и аакрыть Удалите Я Следующий вопрос * Предыдущий вопрос
Тип вопроса: В
Фаслот вчпюа: Стандартном
Вьвддчт ^ 'ЛВ^ТЫ Случат*«« обрдаон
Обработка ответа: та отваг V Кол-еобалгое: .0
ц (ш ш аа ¡Цэ в а 0 я а □ ., ш т™.^.»^™..,
I!. скольких элементов состоит ядро любой интеллектуальной системы^
Рис. 11. Вопрос с вводом числового ответа в среде Уега1Тез1ЕШ1ог
Достоинства и недостатки рассматриваемых систем
Основные достоинства системы VeralTestEditor:
1. Наличие технической поддержки по вопросам, связанным с системой тестирования
2. Есть вариант «бумажного» теста
3. Программа обладает интуитивно понятным и современным интерфейсом.
4. Возможность вставлять картинки и изменять их размер без помощи сторонних программ.
5. Возможен импорт вопросов из файла.
6. Разбиение вопросов на группы и подгруппы, которое позволяет установить индивидуальные настройки для каждой группы.
7. Программа хорошо задокументирована. Документация доступна из программы в пункте меню «Справка - Содержание».
Недостатки системы VeralTestEditor:
1. Отсутствие бесплатной версии.
2. Отсутствие портативной версии программы
Основные достоинства системы TestMaker:
1. Система TestMaker является портативной системой, т.е. обладает возможностью простого переноса с одной машины на другую с помощью носителя.
2. Отсутствует предварительная регистрация пользователей, тем самым ускоряя работу в этой системе. Регистрация возможна после прохождения теста, но она не обязательна.
3. Является свободно распространяемым программным продуктом (бесплатным).
4. Интуитивно-понятный интерфейс.
Недостатки системы TestMaker:
1. Нет возможности создания «бумажного» теста.
2. Отсутствие обновления системы тестирования.
3. Нет возможности создать .exe версию теста для тестирования без установки дополнительного программного обеспечения.
Заключение
Обе тестирующие системы соответствуют главным требованиям, которые им предъявляют современные образовательные учреждения. Каждая из систем обладает достаточным функционалом для качественной оценки знаний посредством тестирования обучающихся. Рассмотренные системы удобны как для разработки тестов, так и для их прохождения.
Таким образом, в настоящее время представлен широкий выбор тестирующих систем. Они различаются функционалом и интерфейсом, благодаря чему каждое образовательное учреждение может выбрать то, что максимально удовлетворяет его требованиям. В ходе проведенного сравнительного анализа сделан вывод, что VeralTestEditor является максимально удобной системой тестирования в силу своей документированности, которая является справочником для разработчика тестов, а также благодаря гибкому инструментарию, который позволяет создавать тесты, разнообразные по стилю и своим характеристикам.
Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева И.Х.
Литература
1. Галеев И.Х., Храмов Д.Л., Светлаков А.П., Колосов О.В. Адаптивное обучение и тестирование. //Материалы Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования», 17-18 апреля 2003 г. - С. 33-35.
2. Галеев И.Х. Компьютерный контроль знаний (локально и дистанционно) // И.Х. Галеев, В.Г. Иванов, Д.Л. Храмов, О.В. Колосов; Под ред. И.Х. Галеева. - Казань: Казанский государственный технологический университет, 2005. - 126 с.
3. Галеев И.Х., Колосов О.В., Филяев А.И.. Сравнительный анализ систем компьютерного контроля знаний // Материалы Международной научно-практической конференции «Информационные технологии в многоуровневой системе образования» - 2005.- Казань: ЗАО "Новое знание" - С. 101-105.
4. Галеев И.Х., Иванов В.Г., Аристова Н.В., Урядов В.Г. Сравнительный анализ программных комплексов TestMaker и ACT-Test // Международный электронный журнал "Образовательные технологии и общество
(EducationalTechnology&Soriety)" 2007 г., Т. 10 - N 3, С.336-360. - ISSN 14364522. URL:http://ifets.ieee.org/russian/periodical/journal.html.
5. Горбаченко И.М. Сравнительный анализ существующих систем тестирования // Тестирование в сфере образования: проблемы и перспективы развития: материалы Всероссийской научно-практической конференции. (Красноярск, 19-21 мая 2008 г.) / отв. ред. Г.П. Карлов. - Красноярск: СибГТУ 2008. - С. 177-183.
6. Салимжанов Р.М. Обзор редактора тестов VeralTestEditor. URL: http://veralsoft.com/art_2.html (дата обращения 3.03.2017)
