CC BY
41ОСНОВНЫЕ ТРЕБОВАНИЯ К КОМПЬЮТЕРНЫМ СИСТЕМАМ ТЕСТИРОВАНИЯ ЗНАНИЙ (КСТЗ)
Валерий Фетисов
Нежинский государственный университет им. Н.В. Гоголя fetis1@mail.ru
На рынке программного обеспечения предлагается большое количество компьютерных систем тестирования знаний (КСТЗ), различающихся по разным критериям. Однако при этом возникает проблема выбора: какая же система нам нужна и чем именно следует руководствоваться при её выборе? Для этого следует руководствоваться определёнными требованиями, которые и предлагаются в статье.
Ключевые слова: программное обеспечение для тестирования, тестирование, критерии при выборе программного обеспечения для тестирования, выбор программного обеспечения для тестирования.
На рынке программного обеспечения предлагается большое количество самых разнообразных КСТЗ, различающихся по самым разным критериям. И это очень хорошо, поскольку тем, кто предполагает работать с ними, есть из чего выбирать. Однако при этом возникает проблема выбора: какая же система, собственно говоря, нам нужна и чем именно следует руководствоваться при её выборе? Для этого, по мнению автора, следует руководствоваться определёнными критериями, которые и предлагаются в статье. Данные критерии отражают точку зрения автора, который в прошлом также являлся разработчиком КСТЗ.
Однако, прежде чем перейти непосредственно к рассмотрению этих критериев, на мой взгляд, целесообразно рассмотреть классификации КСТЗ.
е
е
H
измерения
Классификации КСТЗ
КСТЗ представляют специфическую группу программного обеспечения. Их можно классифицировать следующим образом.
По уровню универсальности: универсальные и специализированные. Универсальные предназначены для создания тестовых заданий в любых отраслях знаний, специализированные ориентируется на определённую сферу знаний, например математику, химию.
По уровню автономности:
1. В составе LMS (Learning Management System), то есть систем управления учёбой (Moodle, SharePoint Learning Kit).
2. Отдельный модуль.
3. Комплексный набор модулей.
По составу модулей:
1. Наличие отдельных модулей для составления тестов и проведение тестирования.
2. Наличие специального модуля только для составления тестов.
По характеру проведения тестирования.
1. При помощи специализированных инструментальных оболочек, предназначенных именно для проведения тестирования.
2. При помощи браузера. Такое тестирование ещё называют
WWW-тестированием или интернет-тестированием.
Наконец, как и всё программное обеспечение, КСТЗ разделяются на коммерческое (проприетарное) и бесплатное (freeware). В составе бесплатного программного обеспечения в свою очередь можно выделить то, что имеет открытый код (позволяет всем желающим совершенствовать систему), и с закрытым кодом, когда за программный код отвечает исключительно разработчик системы.
Оптимальной структурой КСТЗ является модульное построение, в составе которого есть три компоненты:
1. Модуль создания, подготовки и редактирования тестовых заданий.
2. Модуль проведения тестовых заданий (иногда его ещё называют Player тестов).
3. Модуль администрирования.
Общие требования, предъявляемые к КСТЗ
КСТЗ должна выполнять свою важнейшую функцию - обеспечение эффективного тестирования знаний. Но эффективное компьютерное тестирование знаний складывается из многих составляющих. Одни из них касаются КСТЗ в целом, другие -её конкретных модулей. При этом, разумеется, в конкретных
условиях к КСТЗ будут предъявляться конкретные требования. Но среди них можно выделить несколько основных требований, которым практически всегда должна отвечать КСТЗ:
1. Универсальность. КСТЗ должна использоваться как для внутреннего, так и для внешнего тестирования. Возможность использования КСТЗ для внутреннего и внешнего тестирования достигается гибким построением системы, которая предусматривает распределение её пользователей согласно их ролям в системе, поддержкой разных систем и шкал оценки и т.п. Например, для пользователя с ролью «свой студент» следует вести систему оценок согласно учебному плану учебного заведения, а для внешнего пользователя можно применить другую, например, накопительную систему оценки успешности тестирования.
2. Поддержка безопасного и универсального механизма управления пользователями, с распределением прав доступа. Этот вопрос тесно связан с функцией универсальности. КСТЗ должна позволять иметь пользователей с разными правами, которые обеспечивают доступ к разным функциям и составляющим системы. Например, можно выделить такие роли, как «свой» студент; пользователь, не являющийся студентом учебного заведения, где исполь-
зуется система; преподаватель, разработчик тестов, администратор.
3. Защищённость информационной базы тестов и результатов тестирования, доступ к которым должны иметь только пользователи с соответствующими правами.
4. Шифрование информационного наполнения тестов, по меньшей мере, ответов. Последние три требования в совокупности есть то, что можно назвать информационной безопасностью тестирования.
5. Поддержка основных форм тестовых заданий (задание с простым и сложным множественным выбором, открытой формы, на установление соответствия и на восстановление правильной последовательности).
6. Поддержка двух типов проведения тестирования. По своему функциональному назначению тесты могут быть двух типов: для проведения социологических или психологических тестов и для проведения тестов знаний (контрольных тестов). При первом варианте тестируемый отвечает на все вопросы теста. По результатам прохождения теста по заранее определённым правилам подсчитывается сумма баллов, которой соответствует определённый вывод. При втором варианте тестируемый отвечает на заранее определённое количество случайно отобранных контрольных во-
измерения
просов по определённым в настройке разделам, темам.
7. Поддержка разных режимов тестирования:
• Экзаменационный режим. В этом режиме за неверные ответы вычитаются баллы, а отдельные контрольные вопросы позволяется пропускать, за что баллы не добавляются и не вычитаются.
• Режим самотестирования или тренажера. Во время тестирования выводятся сообщения об ошибках или рецензия на ответ.
• Режим учёбы. Может содержать вступление и объяснения к заданию, разнообразные учебные материалы в текстовом или мультимедийном виде.
8. Возможность импорта тестов в текстовый формат и формат НТМЪ, а также экспорт тестов из электронных текстовых версий бумажных тестов или из других КСТЗ.
9. Наличие русской локализации.
10. Наличие подробной документации на русском языке.
11. Техническая поддержка КСТЗ.
Кроме этих основных требований, к конкретным КСТЗ могут быть выдвинуты также следующие требования.
1. Стоимость системы, если она является проприетарною. Одновременно следует учитывать, что мощные КСТЗ могут использовать
дополнительные программные средства, например, коммерческие СУБД (например, Microsoft SQL Server), поэтому при их отсутствии следует учесть стоимость приобретения соответствующего программного обеспечения.
2. Если КСТЗ планируется использовать на национальном или межгосударственном уровнях, то она должна отвечать государственным и международным стандартам, например, для второго варианта — стандарту IMS QTI (Information Model Specification Question & Test Interoperability). В этом случае на повестке дня возникает также вопрос поддержки КСТЗ разными операционными системами (многоплатформен-ность), поскольку совсем не факт, что все пользователи будут использовать ту же операционную систему. Более того, в России, как и всем мире, наблюдается стойкая тенденция к расширению использования UNIX-подобных операционных систем, то есть свободного программного обеспечения.
3. КСТЗ, которые ставят целью получить широкое распространение в учебном процессе, должны поддерживать стандарт сохранения образовательного контента SCORM. SCORM (Sharable Object Reference Model) - это набор стандартов и спецификаций,
разработанный для дистанционной учёбы. В частности, он содержит требования к организации учебного материала. Согласно концепции SCORM учебный материал должен подаваться относительно небольшими блоками, которые могут быть использованы в разных учебных курсах и использоваться в системах дистанционной учёбы независимо от того, в какой именно системе они были созданы. Следование концепции SCORM позволяет обеспечить совместимость компонентов курсов и возможность их многократного использования.
4. Необязательным является требование отсутствия привязки к конкретной предметной области знаний. Иногда как раз и нужна именно специализированная оболочка для составления тестовых заданий, с помощью которой можно, например, осуществлять молекулярное моделирование в химии, строить электрические схемы в физике и т.д.
5. Возможность создания параллельных заданий при помощи фасетов.
6. Отдельным вопросом является способность КСТЗ отвечать требованиям адаптивного тестирования.
В свою очередь конкретные требования можно применить и к каждому из модулей КСТЗ.
Требования, предъявляемые к модулю создания, подготовки и редактирования заданий
1. Создание неограниченного количества тестов, тем, вопросов и вариантов ответов на них.
2. Максимально простое и удобное формирование и модификация наполнения тестов, в том числе управление тестовыми вопросами: изменение их порядка, вставка, перемещение, удаление и копирование, а также поиск и отбор (фильтрация) их по разделам, темам, вопросам.
3. Проверка целостности создаваемого теста, то есть наличие средств контроля соответствия текста заданий и вариантов ответов, корректность ссылок на ресурсы и т.п.
4. Осуществление орфографического контроля.
5. Наличие базовых функций форматирования текста вопросов и вариантов ответов, в том числе выбор начертания, размеров, шрифтов и цвета; использование таких видоизменений, как верхние и нижние индексы, зачёркивание и применение их на уровне слов, предложений, отдельных заданий, ответов, а также создание списков.
6. Определение веса тестового задания.
7. Формирование индивидуальной инструкции для выполнения каждого задания.
Н
измерения
8. Возможность добавления мультимедийных объектов, в первую очередь графических изображений, а также видео и аудио-ресурсов. Понятно, например, что графические изображения являются необходимой составляющей тестов в химии, биологии, физике и т.п. Кроме этого, в некоторых случаях возникает необходимость добавления OLE-объектов (диаграмм, чертежей, таблиц, формул).
9. Возможность формирования дополнительных форм тестовых заданий.
10. Если планируется использовать КСТЗ в режиме учёбы, то целесообразно иметь возможность добавления текстовых файлов, содержание которых определяется учебной программой.
11. Печать бумажного варианта теста.
Удобной возможностью модуля является наличие его роЛаЫе-версии, то есть принадлежность к классу программ, которые не нуждаются в инсталляции и могут быть загружены из любого носителя, в том числе сменного (например, с той же флеш-карты). Это позволяет использовать любой компьютер для проведения тестирования без инсталляции программы.
Целесообразно предоставить разработчику теста возможность сформировать:
1) общий заголовок, краткую аннотацию, информацию об ав-торе-разработчике теста;
2) общую инструкцию к выполнению;
3) заметки (замечания к тесту разработчика, доступные только ему).
Настройка модуля должна позволять управлять такими настройками:
1. Возможность расположения вопросов и вариантов ответов на них: случайным образом или строго последовательно.
2. Возможность использования различных шкал оценки. Оптимальным вариантом является возможность использования любой шкалы, но для конкретного учебного заведения может быть достаточным наличие тех шкал, которые в нём применяют, например, 5-балльная система оценки.
3. Ограничение количества заданий по темам.
Составление тестовых заданий при помощи КСТЗ
Каждая форма тестового задания имеет свои особенности, которые должны учитывать КСТЗ и соответственно иметь их средства реализации во время разработки тестовых заданий.
Тестовые задания открытой формы
Во время формирования тестовых заданий открытой формы КСТЗ должна иметь такие возможности:
1) ввод ответа в виде текста;
2) чувствительность (или её отсутствие) к вводимому ответу;
3) ввод ответа в виде числа;
4) задание допусков для ответа в виде числа;
5) формирование нескольких вариантов правильных ответов;
6) неоднозначность ответа на задание открытой формы требует необходимости инструкции для выполнения.
Следует заметить, что для многих тестовых заданий инструкция для выполнения будет одинаковой, поэтому представляется очень удобным, когда КСТЗ предоставляет разработчику тестов возможность сохранения типичных инструкций для выполнения, например, в соответствующем справочнике и подключение их при необходимости к заданиям.
Автоматически генерируемые тестовые задания
Всегда существует определённый процент лиц, которые благодаря хорошей памяти или путём обыкновенной зубрёжки запоминают если не всё, то подавляю-
щее число заданий и правильных ответов к ним. Наилучшим вариантом преодоления этой ситуации является существенное увеличение количества заданий. Рассмотрим такой пример. Размерность таблицы умножения позволяет создать 81 задание (размерность таблицы умножения 9*9). Само задание будет иметь, например, такой вид: «Результат умножения числа «2» на «2» равняется...». Но уже для таблицы размерностью 100*100 количество ответов составляет 10 000. И если в первом случае ещё возможно без особого труда ввести в тест 81 задание, то для второго сделать это будет очень трудно, не говоря уже о стремительном непродуктивном росте количества заданий и соответственно объёма теста.
Решить такую проблему даёт возможность использования в тестах заданий, переменная часть которых формируется самостоятельно некоторым случайным образом. Для приведённого примера это означает, что, вместо того чтобы формировать задание для всех возможных комбинаций умножения, формируется общая тестовая часть задания «Результат умножения числа п на т равно», к которому автоматически случайным образом генерируются и подставляются значения п и т. Понятно, что для этого нужна простая, но все же программа, выполняющая генерацию чисел
Н
измерения
случайным образом, а потом -действие их умножения. Числа п и т формируются случайным образом, например, с помощью генератора случайных чисел, или в зависимости от значений текущей даты и времени. Фантазия программиста может подсказать самые разнообразные способы генерации чисел п и т.
Современные средства программирования предоставляют возможность создания таких маленьких интерактивных программ. И они находят всё более широкое применение в Интернете. Другое дело, необходимо, чтобы инструментальная оболочка для создания таких тестов имела средства для подключения посторонних модулей. Немногие КСТЗ позволяют создать такое тестовое задание. В частности, это МооШе. Она как раз и содержит особый вид тестового задания «Вычислительное», представляющее собой математическое вычислительное выражение, содержащее поля для подстановки, которые будут случайным образом автоматически заполняться из определённого множества значений во время прохождения теста.
заданий с выбором одного правильного ответа, которые иногда выделяют в отдельный тип тестового задания. При этом желательно, чтобы система имела функции формирования списка ответов и выбора из него, поскольку ответы на такого рода задания, как правило, являются стандартными, например «Правильно» — «Неправильно».
2. Контроль ошибочного отсутствия правильного ответа.
3. Отсутствие ограничений на длину текстов заданий и ответов.
Задания на установление соответствия
Возможность введения разного количества элементов в двух столбиках с целью предотвращения естественного добавления последнего ответа к последнему заданию.
Задания на установление правильной последовательности
Возможность упорядочивания последовательностей, как по возрастанию, так и по убыванию.
Тестовые задания с выбором нескольких правильных ответов
Требования, предъявляемые к модулю проведения тестирования
1. Возможность формирования 1. Главным требованием к моду-самой простой разновидности лю тестирования является эрго-
номичность. Интерфейс оболочки для прохождения тестирования должен быть максимально удобным. Тестируемый должен тратить минимум времени на изучение интерфейса и поиск нужных для ответа элементов (например, полей введения). Само окно модуля должно содержать только нужные для тестирования элементы. Оптимальным вариантом является возможность настройки интерфейса «под себя» путём исключения служебных элементов окна (панели инструментов, вспомогательной текстовой информации, часов, отображающих время прохождения тестирования).
2. Защита теста путём установки пароля для ограничения доступа к общим настройкам модуля.
3. Выбор организации тестирования: в локальном режиме — на каждом компьютере отдельно или в Интернете.
4. При условии организации тестирования в локальном режиме удобно иметь роЛаЫе-вер-сию модуля, что позволяет провести тестирование на любых компьютерах, не тратя времени на инсталляцию КСТЗ.
5. Экспорт результатов тестирования в виде текстового файла для дальнейшего анализа, импорт в электронные таблицы и т.п.
6. Если по окончании тестирования предусматривается пуб-
ликация его результатов в Интернете, то модуль должен содержать возможность экспорта результатов тестирования в формате HTML.
Важнейшее значение имеют вопросы, связанные с анализом результатов тестирования, а именно:
1. Сбор, сохранение и представление в удобной форме разнообразной статистической информации результатов тестирования. Наилучшим вариантом является наличие средств (так называемых «конструкторов форм»), при помощи которых можно самостоятельно строить нужные отчёты результатов тестирования.
2. Интеллектуальный анализ тестов с целью оценки качества, пригодности отдельных вопросов, выявления некорректно сформулированных или неправильных заданий.
Модуль должен также предоставлять пользователю осуществлять ряд настроек, среди которых наиболее важными можно назвать такие:
1. Выбор режима тестирования.
2. Определение числа тестовых заданий.
3. Установка ограничения по времени.
4. Возможность выбора варианта формирования вопросов и (или) ответов: в случайном порядке или последовательно в соответствии с их расположением в тесте.
измерения
5. Возможность способа отбора заданий в тестовой выборке, формируемой из нескольких тем. Например, должна быть возможность отбора в выборку тестовых заданий пропорционально их количеству в темах.
6. Возможность учёта уровня трудности во время формирования тестовой выборки.
7. Большой процент лиц с ухудшенным зрением нуждается в наличии оперативного изменения масштаба отображения информации.
Можно привести ещё ряд настроек. Например, многие преподаватели, проводящие тестирование, желают слышать звуковой сигнал при окончании тестирования, некоторые из тестируемых не желают видеть время тестирования. А при анализе результатов тестирования целесообразно предоставить возможность пользователю самостоятельно определять цветную интерпретацию правильных, частично правильных и ошибочных ответов.
Требования к модулю администрирования
1. Возможность контролировать процесс тестирования в реальном режиме времени.
2. Защита результатов тестирования.
3. Возможность приостановки тестирования, запоминания его результатов и продолжения через какое-то время с использованием сохраненных данных.
4. При условии организации тестирования в Интернете следует определиться, есть ли необходимость в выделенном сервере.
5. Простота надстройки, масштабирования системы.
6. Если предусматривается расположение тестов на серверах в Интернете, то дальнейшей проработке подлежат вопросы, связанные с информационной безопасностью тестов, в частности, возможность шифрования тестов безопасными алгоритмами шифровки.
Автор надеется, что, имея под рукой подобную информацию, потенциальные пользователи КСТЗ смогут более качественно подобрать для себя систему, адекватную их нуждам.
