CC BY
119
УДК 004.3
АНАЛИЗ СИСТЕМ СОЗДАНИЯ КОМПЛЕКСА ТЕСТИРОВАНИЯ Е.В. Ющик, Дальрыбвтуз, Владивосток
Рассматриваются основные характеристики и требования к современным компьютерным системам контроля знаний. Описаны основные характеристики существующих систем тестирования, их достоинства и недостатки. Приведены основные требования к этим системам.
В современной системе организации учебного процесса в образовательных учреждениях одной из наиболее актуальных проблем считается проблема оценки качества знаний обучающихся. Одним из интенсивно развивающихся направлений совершенствования контроля знаний стала тестовая технология. Постоянно растет число различных типов тестовых программ, усложняются и расширяются модели хранения и представления результатов контроля знаний.
Одной из крупнейших западных организаций, занимающихся разработкой стандартов в области дистанционного обучения и контроля знаний, является IMS Global. Ею разработана уже вторая версия стандарта разметки тестов IMS Question & Test Interoperability, предназначенная для унификации модели тестовых заданий [1]. Тем не менее на сегодняшний день особенно в России отсутствует единая и достаточно эффективная система тестирования знаний, причем речь идет как о методологическом аспекте, так и об инструментальных основах систем создания тестов. Все существующие системы не могут претендовать на универсальность. Основные проблемы, с которыми сталкиваются разработчики так называемых тестовых оболочек:
1. Возможность использования всех форм тестовых заданий [3, 5, 9]:
- закрытая форма. Задание содержит некоторое утверждение или вопрос и варианты ответов, из которых нужно выбрать правильный. В классической теории тестирования верным бывает только один ответ. В компьютерном тестировании допустимо использование множественного ответа;
- открытая форма. Тестируемый сам формулирует ответ к вопросу;
- на установление соответствия. Задание содержит два множества элементов (не обязательно содержащих равное число элементов), необходимо связать элементы из двух множеств между собой;
- на установление правильной последовательности. В задании требуется определить порядок следования элементов множества (например, символов, слов, формул, рисунков). Данная форма
наиболее близка к форме на установление соответствия и может быть рассмотрена как ее частный случай.
2. Надежная защита базы данных тестовых заданий и матрицы результатов тестирования от несанкционированного доступа.
3. Перекомпоновка тестовых заданий в зависимости от итогов статистической обработки результатов тестирования.
4. Реализация алгоритмов адаптивного тестирования. По алгоритму предъявления тестовых заданий выделяют следующие стратегии тестирования [6]:
- строгая последовательность. Наиболее традиционный способ компоновки теста, когда автор самостоятельно расставляет задания по тесту. В этом случае при повторном прохождении теста набор и последовательность тестовых заданий будут прежними, что делает его менее эффективным;
- случайный порядок. Тестовые задания выбираются из
достаточно большой тестовой базы, что позволяет сформировать несколько равноценных по сложности вариантов тестов;
- по возрастанию сложности. Тестовая база разбивается на несколько групп по сложности. Вначале предлагаются простые задания, в случае правильных ответов переходят к группе более сложных заданий и т.д.;
- адаптивный алгоритм. В этом случае каждое последующее
задание выбирается исходя из ответов на предшествующие, что позволяет более качественно проверять знания, используя минимальное число тестовых заданий. Адаптивные тесты считают самым
значительным достижением в практике тестирования. Создание адаптивных тестов является более сложной задачей, чем создание тестов других типов.
5. Возможность встраивать в программу теста интерфейс самой прикладной программы для наглядной демонстрации умения пользоваться этой программой практически.
Многие учебные заведения, столкнувшись с задачей организации тестирования, в силу отсутствия универсальных программных продуктов соответствующего профиля, решают ее самостоятельно -разрабатывают свои собственные тестовые оболочки. В Интернете представлено множество тестирующих оболочек. Все они могут условно быть разделены на три основные группы:
1. Простые, которые реализуют закрытую форму тестовых
заданий. Они получили наибольшее распространение в практике компьютерного тестирования, что объясняется универсальностью, сравнительной простотой создания тестов и программной реализации. Требования к тестовым заданиям закрытой формы уже достаточно устоялись, среди них можно выделить следующие:
- полная ясность и однозначность терминологии,
- отсутствие противоречий;
- предельная краткость;
- простота стилистической конструкции;
- равная правдоподобность ответов;
- число вариантов ответов от 4 до 6.
К простым тестовым оболочкам можно отнести, например, EASYTEST v1.1, Экзаменатор v3.44, GlTests v0.9, Test2000b, Testing 1.1, Ассистент II v1.02.
2. Средние, которые реализуют более сложные тестовые задания. Как правило, в такие системы входят несколько основных блоков:
- база данных обучения и тестирования;
- оболочка тестирования;
- экспертная система - советчик, которая позволяет выдавать подсказки по неправильно решенным вопросам;
- возможность использовать сетевые ресурсы в рамках Интернет или локальной вычислительной сети.
К средним тестовым оболочками можно отнести системы «Шопен», «Ната», «Прометей», «Sydney».
3. Универсальные, которые реализовывают все типы заданий и могут использоваться как в локальной, так и в глобальной сети. Такие системы тестирования, как правило, легко адаптируемы под большинство учебных задач и дополнительно:
- имеют вес вопроса и вариантов ответа. Каждый вопрос и вариант ответа может иметь свой «вес». Это позволяет начислять пользователю больше баллов за правильные ответы на сложные вопросы и меньше баллов за ответы на легкие вопросы;
- интеграция в электронные учебники. Тесты могут быть составной часть электронных учебных пособий;
- хранят данные о тестах, вопросах и результатах тестирования на сервере баз данных и работают по технологии «Клиент-Сервер»;
- полученные отчетные формы могут быть сохранены в любом формате по желанию пользователя, например: MS Excel, MS Word, MS Access, Paradox, DBase, Текстовый файл, HTML, XML, RichText format, Adobe Acrobat, буфер обмена MS Windows, Lotus 1-2-3 и др. и, конечно же, в специальном формате;
- используют неограниченное число тем, вопросов и ответов;
- вопросы могут содержать музыку, звуки (wav, mid. rmi), изображения (jpg, bmp, ico, emf, wmf); видеоролики (avi).
К универсальным тестовым оболочкам можно отнести сетевую систему Vesta (в качестве сервера баз данных используется Firebird -бесплатный аналог Borland Interbase), SunRav TestOfficePro, систему тестирования персонала WebTest, TestSystem.exe (информационная система состоит из ядра базы данных в формате Firebird и клиентских приложений), «Конструктор тестов» (Keepsoft Inc.).
Отдельно стоят системы, которые охватывают всю систему дистанционного обучения, например, xDLS v1.7.8 eXtensible Distance Learning System (xDLSoft Co. Ltd) - система дистанционного обучения в Internet, имеющая полный веб-интерфейс пользователя. Она
поддерживает международный стандарт тестов IMS QTI. Система имеет расширяемую многоплатформенную масштабируемую архитектуру, которая позволяет использовать ее на различных аппаратнопрограммных платформах (windows, unix), в том числе и на внешнем хостинге. Система поддерживает все основные функции (публикация учебных материалов, тестирование, администрирование, защита доступа, личное пространство преподавателей) и может быть использована в учебных заведениях и организациях для решения широкого спектра задач - от простого тестирования до организации курсов дистанционного обучения.
Системы, распространяемые в настоящее время для работы в сети, как правило, имеют следующие общие недостатки:
- отсутствие возможности конфигурирования формата тестирования, который позволяет создавать продукты, удовлетворяющие требованиям различных методик обучения;
- невозможность или сложность последующей модификации, а для преподавателя изменений проведения тестирования после публикации в системе;
- сложность создания тестов;
- необходимость установки дополнительного программного обеспечения на клиентских станциях (например, SQL, PHP).
Еще к недостаткам можно отнести то, что все данные, как правило, хранятся в HTML формате. Начиная с 1999 года, компания по Интернет стандартизации W3C (www.w3c.org) приняла новый стандарт хранения и структуризации информации - XML. Использование XML при разработке тестов позволяет достичь
большей гибкости всей системы контроля знаний в целом благодаря отделению данных от их представления [7].
Во многих системах достаточно сложна процедура создания тестов. Требование о легкости создания/модификации тестов основано на опросе, проведенном британским исследователем Йерреном
Анфером, который показал, что 84 % преподавателей дисциплин, не связанных непосредственно с информатикой, испытывали затруднения при создании тестов, а 53 % респондентов отметили неудобство и сложность существующих систем тестирования [8]. Это такие системы, как Blackboard, «Прометей», MimerDesk, СТ КУРС, Learning Space, eLearning Studio, SmartForce e-Learning Platform Suites.
Таким образом, можно отметить, что возможности выбора
тестовой оболочки довольно обширны. Однако на текущий момент нет единого «универсального» стандарта представления и хранения тестовых заданий, что усложняет обмен тестами между
разработчиками и делает необходимым проектирование систем контроля знаний практически с нуля с учетом специфики предметной области, по которой проводится тестирование.
Программы тестирования, должны использовать преимущества технологии «Клиент-Сервер» [4 ,5]:
- выполнение бизнес-логики на клиентских станциях позволяет снизить загрузку сервера и уменьшить время отклика системы на действия пользователя;
- SQL-запросы позволяют использовать для создания клиентских приложений широкий спектр программных средств и, следовательно, создавать системы тестирования с развитым пользовательским интерфейсом.
Особо следует отметить необходимость разработки автоматизированных тестирующих систем, использующих компьютерные сети (Intranet, Internet). Выбор между локальным и сетевым тестированиями является важным фактором для определения технологии реализации тестирования и выбора соответствующих инструментальных средств.
Такие системы должны удовлетворять следующим требованиям:
- отсутствие жесткой привязки к какому-либо предмету;
- легкая наращиваемость системы;
- легкость создания/модификации тестов;
- наличие журнала прохождения тестов обучающимся с сохранением всех его ответов для дальнейшего анализа;
- наличие статистики для вопросов с сохранением всех вариантов ответов, которые были получены в результате тестирований;
- возможность организации тестов любых типов;
- адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов студента;
- возможность создания различных заданий из одного набора вопросов;
- использование в качестве стандарта хранения XML/ XSL.
Библиографический список
1. QTI Item v2.0 Public Draft specification, 07 June 2004, http://www.imsglobal.org/question/.
2. Yergeau F., Bray T., Paoli J., Sperberg-McQueen C. M., Maler E. Extensible Markup Language (XML) 1.0 (Third Edition) W3C Recommendation 4th February 2004, www.w3c.org/xml.
3. Аванесов В.С. Композиция тестовых заданий. М.: Ассоциация инженеров-педагогов Москвы, 1996.
4. Грейвс М. Проектирование баз данных на основе XML. М.: Издательский дом «Вильямс», 2002.
5. Деревнина А.Ю., Семикин В.А., Кошелев М.Б. Системы тестирования в электронных учебниках // Информационные технологии. № 5. 2002.
6. Нейман Ю.М., Хлебников В.М. Введение в теорию моделирования и параметризацию педагогических тестов. М.: Высш. шк., 2000.
7. Никитин В.А. Использование XML в системах компьютерного
контроля знаний: Тез. докл. «Науч. сессия МИФИ-2006». Т. 2. «Технологии разработки программных систем: Информационные
технологии», М.: МИФИ, 2006.
8. Харитоненков Е.В. Анализ on-line систем тестирования.-http://www.uran.donetsk.ua/~masters/2005/fvti/changli/library/an.htm.
9. Ющик Е.В. Компьютерное тестирование в информационных технологиях обучения / Рыбохозяйственные исследования Мирового океана: Матер. III междунар. науч. конф. Владивосток: Дальрыбвтуз, 2005.
