CC BY
94
Мисюра Валентина Владимировна
Misyura Valentina
Ростовский государственный строительный университет Rostov State University of Civil Engineering Доцент кафедры прикладной математики и вычислительной техники Associate Professor, Department of Applied Mathematics and Computer Science
E-Mail: [email protected]
Опыт внедрения системы компьютерного тестирования знаний
Experience of implementation of computer-based testing of knowledge
Аннотация: Статья посвящена теоретическим и практическим проблемам тестирования учебных достижений. Освещаются результаты опыта внедрения системы компьютерного тестирования знаний в Ростовском государственном строительном университете. Дается описание методики тестового испытания, характеристика созданного банка тестовых заданий, рассматриваются технологические и организационные вопросы. Основное внимание уделяется экспертизе тестовых заданий. Обсуждаются вопросы обработки результатов тестирования.
The Abstract: The article is devoted to theoretical and practical problems of testing of academic achievements, highlights the results of experience in the implementation of computer-based testing knowledge of the Rostov State Building University. We give a description of the method of testing, characterization of the bank of tests, considered technological and organizational issues. The focus is on the examination of test items. This article discusses the management of test results.
Ключевые слова: Компьютерное тестирование знаний, тест, тестовое задание, дист-рактор, экспертиза.
Keywords: Computer testing of knowledge, test, test task, distractor, expertise.
***
Развитие современного общества характеризуется сильным влиянием на него компьютерных технологий, которые проникают во все сферы человеческой деятельности. Компьютеризация образования является неотъемлемой и важной частью этих процессов. В настоящее время в России идет становление новой системы образования, ориентированной на вхождение в мировое информационно-образовательное пространство. Компьютерные технологии призваны стать неотъемлемой частью целостного образовательного процесса, значительно повышающей его эффективность.
Наиболее активное применение находят две ведущих тенденции: осуществление контроля за учебно-познавательной деятельностью студента, использование информационные технологии как средства обучения и познания.
В качестве контролирующей формы работы со студентами применяется компьютерное тестирование знаний. Введение в вузовское образование сначала тестирования, а потом и компьютерного тестирования явилось целенаправленным шагом на пути к устранению субъективизма в оценивании познавательной деятельности студента. Тестовые формы контроля знаний студентов зарекомендовали себя как одно из наиболее перспективных средств повышения эффективности управления качеством образовательного процесса, несмотря на наличие, как сторонников, так и противников тестирования знаний.
Как показывает практика, возможности современного компьютерного тестирования весьма широки. Приведем некоторые из них.
- Оценивания результатов тестирования мгновенно, автоматическое фиксирования и сохранение результатов тестирования на длительное время.
- Реализации удобных процедур ввода, модификации тестовых материалов.
- Формирования тестов, различных по уровню подготовки испытуемых.
- Управления как содержимым теста, так и стратегией проверок в ходе тестирования.
- Введения временных ограничений или временного отслеживания процесса тестирования, что трудно осуществимо при бумажном тестировании.
- Использования мультимедийных компонентов и графических изображений высокого качества (объем, цвет), обеспечивающих правильное и быстрое восприятия содержания задания.
Основным требованием к разнообразные тестовым технологиям, на базе которых разрабатывается программное обеспечение, является надежность получаемых результатов тестирования, которые в свою очередь оказывают влияние на релевантность и объективность формулируемых выводов и эффективность принимаемых управленческих решений по результатам тестирования.
Опыт разработки и внедрения программного обеспечения для компьютерного тестирования знаний студентов в Ростовском государственном строительном университете показал (ИС «Тестирование»), что эффективная система может быть создана лишь при интеграции новейших информационных технологий и научных результатов в области тестологии.
Банк тестовых заданий ИС «Тестирование» имеет структуру приведенную на рисунке1. В качестве примеров приведены тематические разделы Информатика и Линейная алгебра и названия некоторых тематических модулей, входящих в данные разделы. Тестовые задания (ТЗ) — меньшая из логических единиц системы тестирования.
Банк тестовых заданий
Тематические разделы
Тематические
модули
Тестовые задания
Рис. 1. Структура банка тестовых заданий ИС « Тестирование»
Функционал информационной системы позволяет использовать компьютерное тестирование не только как контрольное мероприятие, но как элемент учебного процесса. Тесты
могут использоваться студентами для обучения, самоконтроля, преподавателями для проведения всех видов контроля. Преподавателю необходимо лишь определить тематические модули, которые будут содержаться в тесте, и указать количество ТЗ в выбранных тематических модулях.
К параметрам теста также относятся: учебные группы, которые будут проходить тест, статусы визуализации текста ТЗ, правильного ответа по окончании тестирования, статус видимости теста (внутри компьютерных классов университета или с помощью удаленного доступа), количество сеансов прохождения теста, время прохождения теста, процентное содержание правильных ответов в тесте для определения оценки тестируемого. На рисунке 2 представлен интерфейс создания нового теста, на рисунке 3 интерфейс наполнения теста тестовыми заданиями.
Рис. 2. Интерфейс создания нового теста
Рис. 3. Пример наполнения теста ТЗ
ТЗ для вариантов теста автоматически выбираются из базы данных по заложенному для данного вида теста алгоритму, при котором варианты формируются путем случайной выборки заданий в тематических модулях. Получаемые в результате выборки варианты одного и того же теста различны по составу входящих в них вопросов. Таким образом, для каждого
Главный редактор - д.э.н., профессор К.А. Кирсанов тел. для справок: +7 (925) 853-04-57 (с 1100 - до 1800) Опубликовать статью в журнале - http://publ.naukovedenie.ru
тестируемого формируется индивидуальный вариант теста. Внутри каждого варианта теста, вошедшие в него ТЗ, также дополнительно переставляются в случайном порядке, чтобы исключить соотнесение номеров вопросов с порядком тематических модулей. Кроме того при визуализации ТЗ во время сеанса тестирования дистракторы переставляются в случайном порядке.
Современная дидактическая тестология считает, что необъективность тестов зависит в основном от низкого качества их разработки - если они сделаны наскоро, не проверены на надёжность и валидность [4]. Возможность самосовершенствования методики на основе статистики - это одно из принципиальных достоинств метода тестов, позволяющего формализовать количественно-статистическую обработку результатов и проанализировать качество каждого отдельного ТЗ. Для повышения качества ТЗ в рамках проведения экспертизы ТЗ для каждого задания регулярно (каждый семестр) рассчитываются индексы трудности (процент правильных ответов), дискриминативности (разность в пропорции правильных ответов в высокой и низкой группе испытуемых, сгруппированных по величине балла) [1]. Поэтому само проведение тестирования в данном случае является одним из ключевых источников информации для повышения качества тестового материала. Некоторые вопросы статистической обработки результатов компьютерного тестирования с помощью ИС «Тестирование» изложены в [3]. Достаточно большой объем результатов тестирования позволил использовать в качестве инструмента обработки данных нейросетевые технологии для решения задачи прогнозирования успеваемости студентов. В качестве инструментария использовалась автоматизированная система проектирования искусственной нейронной сети КеигоКАОБ [2].
Целью экспертизы качества ТЗ является комплексная оценка их качества. На первом этапе экспертизы проводится:
- оценка степени соответствия тематических модулей минимуму содержания учебной дисциплины, определяемому ГОС (федеральный компонент);
- оценка степени соответствия тематических модулей целям изучения данной учебной дисциплины;
- оценка качества нормативных документов, сопровождающих разработку и применение тематических модулей - спецификации, кодификатора и др.;
- оценка соответствия формы, содержания (значения, смысла) морфологических (слово, символ, знак) и синтаксических (выражения, обороты) единиц тестового задания форме и содержанию аналогичных единиц, использованных (используемых) при изложении данной учебной дисциплины;
- приобщение преподавателей к культуре разработки, экспертизы и применения тестовых измерителей для контроля результатов учебных достижений студентов;
- формирование основ критического (аналитического) подхода к оценке качества образовательных достижений обучающихся;
- сбор необходимой информации о качестве тестовых измерителей для постановки и решения целей и задач стандартизации баз тестовых заданий и тестов.
Существенным вторым этапом работы является экспертное оценивание (внутренняя экспертиза) качества тестов, проводимое после составления первого варианта теста экспертные работы происходят в режиме диалога с ЭВМ: каждый эксперт решает и оценивает задания, которые предъявляются ему на экране персонального компьютера (в режиме персонализированного парольного доступа к удаленному серверу). Задания, при решении которых экс-
Главный редактор - д.э.н., профессор К.А. Кирсанов тел. для справок: +7 (925) 853-04-57 (с 1100 - до 1800) Опубликовать статью в журнале - http://publ.naukovedenie.ru
перты не находят правильного ответа согласованным образом (по принципу квалифицированного большинства в 60 процентов ответов, согласованных с авторским ключевым ответом), либо корректируются, либо удаляются из банка заданий.
Оставшиеся ТЗ используются в различных формах тестирования, в результате по накопившемуся статистическому материалу определяются ТЗ, имеющие очень низкую (менее 10 процентов) и очень высокую (более 90 процентов) сложность, которые будут проанализированы экспертами. Считается, что трудность задания должна находиться в пределах между 0.3 и 0.8. Если она выходит за эти пределы, то соотношение выполнивших/не выполнивших задание становится таковым, что достаточно сложно получить устойчивую оценку дискриминантной силы. Ряд авторов считают, что трудность задания должна быть около 0.5 для того, чтобы обеспечить максимальное разделение плохих и хороших студентов. Так, согласно [4] для задания с пятью вариантами ответов она составит 0,7 (или 70%). Каждый эксперт с помощью системы разграничения доступа получает возможность работать с вопросами в рамках своей компетенции.
Для каждого тестового задания эксперт определяет группу некорректности. Используя рекомендации [1], [4], были выявлены следующие две группы некорректности ТЗ.
Некорректности, относящиеся к постановке вопроса: содержит неточность формулировки задания, содержит грубую ошибку, составлено неграмотно, не отражает содержание дисциплины, не соответствует ГОС для данной специальности, слишком простое, слишком сложное, требует специфических знаний, слишком длинное и запутанное, графическая информация плохо визуализируется, содержат непонятные символы, содержит грамматическую/пунктуационную ошибку.
Некорректности, относящиеся к вариантам ответа: содержит неточность формулировки ответа, содержит грубую ошибку, составлено неграмотно, имеет неудачный дистрактор, слишком длинное и запутанное, графическая информация плохо визуализируется, содержат непонятные символы, содержат два и более одинаковых ответа/дистрактора, содержит грамматическую/пунктуационную ошибку.
Интерфейс эксперта для работы с ТЗ представлен на рисунке 4.
Результаты экспертизы систематизируются, визуализируются и передаются специалистам центра тестирования. Выявленные задания либо исправляются, либо становятся неактивным в базе данных.
Рис. 4. Интерфейс эксперта для работы с ТЗ
Разработку ИС «Тестирование» вовсе нельзя считать завершенной, не нуждающейся в улучшении и обогащении новыми элементами и идеями. Требуется расширение банка заданий как по новым учебным дисциплинам, так и по дисциплинам, ТЗ по которым уже содержатся в системе. До конца не решены вопросы реализации методик определения валидности и надежности тестов, задача определения оптимального времени сеанса тестирования, анализа распределения тестовых балов и оценок.
ЛИТЕРАТУРА
1. Майоров А.Н. Теория и практика создания тестов для системы образования — М: Интеллект-центр, 2001.
2. Белявский Г.И., Пучков Е.В., Чернов А.В. Автоматизированная система проектирования искусственной нейронной сети — Программные продукты и системы, №2, 2011, с. 30 -34
3. Мисюра В.В. Применение статистических методов к компьютерному тестированию знаний — Обозрение прикл. и промышл. матем., 2011, т. 18, в. 4, с. 652-653.
4. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. — М.: Логос, 2002.
