CC BY
25УДК 004.4; 377+378.14
КОМПЬЮТЕРНАЯ СИСТЕМА ТЕСТИРОВАНИЯ OVN О.В. Наместникова, И.Ф. Саттаров
Аннотация. В работе приведена разработка компьютерной системы тестирования с применением инновационных оценочных средств, которая может быть использована для контроля знаний различных категорий обучающихся.
Ключевые слова: управление, компьютерная система тестирования, методика тестирования знаний, компьютерное тестирование.
THE COMPUTER SYSTEM TESTING OVN O.V. Namestnikova, I.F. Sattarov
Abstract. The article presents the development a computer testing system with the use of innovative assessment tools that can be used to control the knowledge of different categories of people.
Keywords: management, computer testing system, methodology for testing knowledge, computer testing.
Повышение требований к уровню подготовки специалистов требует внедрения новых форм продуктивного обучения и методов диагностики достижения результатов с использованием современных информационных и компьютерных технологий, которые позволяют овладеть новыми областями их применения и повысить эффективность управления качеством образования [1; 5].
Эффективное управление качеством образовательного процесса в условиях увеличения объемов обмениваемой информации (прямой и обратной связей между преподавателем и обучающимся) и необходимостью ее оперативной обработки, невозможно без внедрения актуальных автоматизированных обучающих систем и автоматизированных систем контроля знаний, которые способствуют расширению функциональных возможностей контроля, диагностики и обучения в целом.
Стандартизированный автоматизированный контроль знаний проводится методом тестирования. Компьютерные тестирующие системы обычно рассматриваются с двух позиций. С одной стороны, это совокупность содержательного контента вместе с методологией и технологиями его применения, с другой - программный продукт, предназначенный для проведения компьютерного тестирования в различных областях знаний.
Основные показатели, по которым можно сравнивать системы тестирования знаний, следующие:
1. Сложность и удобство работы с программой пользователей (разработчик тестов (преподаватель), обучающиеся) с введением новых методик тестирования. В первую очередь, это связано с созданием и редактированием тестовых заданий (в основном по заданным шаблонам средствами текстового редактора) в процессе составления баз данных тестовых систем людям с различным пользовательским уровнем владения компьютера.
2. Функциональные возможности организации тестирования: наличие индивидуальных настроек для каждого вопроса и теста в целом (например, настройки сложности вопроса, установление процента совпадения вопросов в вариантах теста, ограничение времени тестирования, функции отложенного во времени тестирования и пр.); использование в системе различных моделей тестирования (классические, адаптивные); возможность проведения Интернет-тестирования (локального, дистанционного); обеспечение надежной защиты информации; возможность сжатия информации для компактного хранения и т.д.
3. Функциональные возможности обработки и представления результатов тестирования: наличие средств статистического анализа результатов; ведение статистики с поддержкой сортировки (например, групповая, индивидуальная); протоколирование результатов и создание отчетов (таблицы, диаграммы и пр.); экспорт текстовых файлов; просмотр заданных вопросов и ответов обучающихся и др.
При рассмотрении функционирования компьютерной системы тестирования можно выделить две основные стадии: подготовка теста и собственно тестирование. Стадия подготовки тестов включает две фазы: наполнение базы данных составленными заранее вопросами/ответами и формирование структуры теста (выбор темы, последовательности, длины теста и пр.).
При традиционном подходе пользователи компьютерной системы тестирования (преподаватель) разрабатывают тестовые задания полностью вручную, описывая для каждого из них условия, эталонный результат и правила оценивания. Создание тестовых заданий требует привлечения интеллектуальных возможностей, которыми существующие тестовые системы не обладают. Трудоемкость указанного процесса существенно превышает таковую самого тестирования и обработки его результатов.
Стадия тестирования легко поддается автоматизации, как правило, в виде цикла, в котором последовательно реализуются функции:
- регистрация участников тестирования;
- предъявление тестов обучающимся;
- сравнение данных тестируемых ответов с эталонными (правильными ответами);
- подведение итогов тестирования;
- сбор статистических данных о тестируемых.
Приведем краткое описание разработанной компьютерной системы тестирования. «Компьютерная система тестирования OVN» (далее по тексту КСТ) - интернет-сервис, который позволяет в кратчайшие сроки развернуть полноценную платформу для проведения тестирования и контроля знаний в учебных заведениях и других организациях.
В системе реализована преднастроенная математическая модель с применением многоуровневых оценочных средств. В данной модели преподаватель может использовать как традиционные методы, так и альтернативные. Кроме того, КСТ может использоваться как самостоятельная автоматизированная система контроля знаний, а также легко встраиваться в качестве подсистемы в существующие типовые автоматизированные обучающие системы. Отдельно методика тестирования с использованием инновационных оценочных средств, положенная в основу автоматизированной системы тестирования, и основные требования к заданиям в тестовой форме, рассматривается в работах ряда исследователей [2; 3].
Данный программный продукт представляет собой интернет-приложение - клиент-серверное приложение, доступное пользователю через браузер с обменом информацией по сети и с хранением данных на сервере, что позволяет не зависеть от конкретной операционной системы пользователей.
При разработке системы использовался Yii - высокоэффективный, объективно-ориентированный компонентный фрейморк и реализующий широко применяемый в WEB-программировании шаблон проектирования Model-View-Controller (MVC) («Модель-Представление-Контроллер»), который предназначен для разделения бизнес-логики и пользовательского интерфейса с возможностью независимого изменения отдельных частей приложения, не затрагивая другие. В архитектуре Model («Модель») предоставляет данные и правила бизнес-логики, View («Представление») отвечает за пользовательский интерфейс (поля ввода, текст и пр.), отображая данные и реагируя на изменения, а Controller («Контроллер») обеспечивает взаимодействие между моделью и представлением (рис. 1). Кроме этого, Yii использует FrontController («Фронт-контроллер») - приложение (application), который инкапсулирует контекст обработки запроса (собирает информацию о запросе и передает для дальнейшей обработки соответствующему контроллеру).
Рисунок 1. Модель взаимодействия компонентов компьютерной системы
Системные требования КТС: операционная система семейства Windows (2000/XP/Vista/7/8/9/10), WEB-интерфейс поддерживает работу с браузерами: Google Chrome, Opera, Mozilla Firefox, Safari, Internet Explorer (версия не ниже 9) и др.
В КСТ предусмотрены три категории пользователей:
- обучающийся (тестируемый), которому доступны функции тестирования и просмотра истории своих результатов;
- преподаватель (тестолог), управляющий тестами (создание тестов, их редактирование, управление правилами тестирования
© Назначенные задания:
+ добавить задание
□ Наименование Количество вопросов Минимум правильных ответов Количество попыток Ограничение времени,мин Состояние
□ Загрязнение окружающей среды 38 28 2 20 ^Активировано
Процент совпадения вопросов в группе -10,5
Процент совпадения вопросов при пересдаче -10,5
Попыток сдачи-2
Успешно -1
Удалить |
Рисунок 2. Списки тестов КСТ
и имеющий доступ к результатам тестирования), управление базой обучающихся / группами обучающихся; - администратор, реализующий функции управления КСТ.
Права администратора включают возможность добавления в систему пользователей (преподавателей, обучающихся). Преподаватели, которые являются сотрудниками одной организации, имеют доступ ко всем тестам (одна база данных и единый сервер). Если КСТ используют несколько организаций, то для каждой разворачивается свои приложения, которые между собой не соприкасаются. Кроме того, аналогично вышесказанному, администратор может собрать несколько непересекающихся баз по предметам, кафедрам, подразделениям и пр.
После входа в систему пользователь-преподаватель попадает на главную страницу со списком всех тестов КСТ (рис. 2). Работая со списком, можно назначить для прохождения тестирования имеющийся в системе тест, либо предварительно измененный (отредактированный) тест, путем копирования его из базы, а также создать полностью новый тест с другим содержанием и настройками.
В списке активных тестов имеются данные: номер по порядку, название теста, количество вопросов в тесте, время, отведенное на прохождение теста, автор, дата создания и пр. Предусмотрены фильтры в виде выпадающих списков по автору, названию теста.
Создание вопросов и теста. Тест с применением инновационных оценочных средств представляет собой набор вопросов в форме задания открытого типа (краткое, утвердительное логическое высказывание, исключающее двусмысленность или неясность формулировки) и соответствующих ответов: текст (1-3 наиболее приоритетных ключевых слова), картинка (в том числе любые
Список групп вопросов
+ добавить группу вопросов
□ Название Вопросов
□ Группа вопросов с ответами-терминами 12 Й
□ Группа вопросов с ответами-цифрами 21 Й
□ Группа вопросов с ответами-числами от 20 до 50 17 й
□ Группа вопросов с ответами-аббревиатурами 36 й
Рисунок 3. Внешний вид списка групп вопросов, объединенных схожими признаками
Список вопросов:
+ добавить пару вопрос-ответ В
Группа вопросов с ответами-аббревиатурами
□ Вопрос Ответ Сложность Балл
□ Максимально возможная для данного источника загрязнения за единицу времени масса выброса загрязняющих веществ в атмосферу ПД8 Средняя 2 ®
□ Признак, характеризующийся наименьшей безвредной концентрацией вещества в воде ЛПВ Средняя 2 •
□ Комплексный индекс загрязнения атмосферы, учитывающий несколько примесей ИЗА Легкая 1 Ш
Рисунок 4. Внешний вид списка вопросов с ответами, входящими в состав одной группы
формулы, представленные в виде рисунка), файлы с ограниченным набором расширений. Все вопросы разделены на группы, которые объединены по принципу схожих признаков ответов, например [2]:
- группа вопросов с ответами-числами с близким диапазоном значений;
Рисунок 5. Поля для заполнения пары вопрос-ответ
МОСКОВСКИЙ ФИНАНСОВО-ЮРИДИЧЕСКИЙ УНИВЕРСИТЕТ МФЮА
Мои группы список
Быстрый поиск
Наименование Даты работ Куратор
ПБ-3214 20.09.2016-24.09.2016 Иванов В В
ПБ-3114 20.09.2016-24.09.2016 Иванов В В.
ТБ-1114 22.09.2016-26.09.2016 Петров А.О.
ПБ-2114 29.09.2016-03.10.2016 Иванов В.В.
ПБ-2214 29.09.2016-03.10.2016 Иванов В.В.
Рисунок 6. Внешний вид списка групп
- группа вопросов с ответами-терминами;
- группа вопросов с ответами-аббревиатурами;
- группа вопросов с ответами-формулами и пр.
Тест представляет собой набор списков (групп и пар вопросов с ответами), иерархически составляя его структуру (рис. 3-4).
Общее количество групп и число входящих в них пар вопросов с ответами не ограничено. Исключением являются группы с вопросами, ответы на которые противоположны по значению (например, «больше - меньше», «повышается - понижается», «да - нет» и пр.). Такие вопросы должны быть в своей группе только попарно, и генерация в тесте предполагает наличие их в количестве не более 5-10 % от общего числа вопросов в заданном варианте теста.
Группа ПБ-3214 Расписание обучающегося
Сведения о группе
Обучение с по Создан
05-09-2016 00:00:00 06-09-2016 00:00:00 Иванов В.В. 09.05.2016 в 12:24
й Назначенные задания:
Название Количество вопросов Минимум правильных ответов Ограничение времени Количество попыток Попыток использовано
1 Загрязнение окружающей среды 60 30 20:00 2 1«
Рисунок 7. Внешний вид активных заданий в группе
а Назначенные задания:
Название Количество вопросов Минимум правильных ответов Ограничение времени Количество попыток Попыток использовано
1 Загрязнение окружающей среды 60 30 20:00 2 0 | UHVCK
Рисунок 8. Внешний вид назначенного (активного) теста с неиспользованными попытками
Добавленные в группы вопросы, оцениваются преподавателем по двум оценочным шкалам (рис. 4-5): первая показывает степень сложности задания (три категории сложности: легкая, средняя, трудная), вторая - в соответствии с методом Р. Эбеля (R. Ebel) [4] означает субъективную степень соответствия (релевантность) во-
Тестпо теме «Загрязнение окружающей среды»
Группа ПБ-3214 Начало Сегодня 14:00
Обучающийся КацИ.О (kio@fct.ru) Осталось времени 9:56
Атмосфера Земли состоит примерно на 78% Щ[Д из_и на 21%_(пообъему) Я® мезосфера
Слой атмосферы, в котором расположен гд «озоновый экран» Н® азот, кислород
К закисляющим атмосферные осадки ИЩ относится газ/газы ®® ндс.всс
Нормативом техногенного воздействия на д гд водныеобъектыявляется/являются ®® стратосфера
Слой атмосферы Земли, поглощающий ^ гшт самую коротховолновую часть спектра Я №) сернистый, бурый
Слой атмосферы, где наблюдается щ щ температурный минимум термосфера
Закрепленные пары «вопрос-ответ» Вопрос Ответ
- I
Рисунок 9. Интерфейс активированного теста
МОСКОВСКИЙ ФИНАНСОВО-ЮРИДИЧЕСКИЙ УНИВЕРСИТЕТ МФЮА
Закрепленные пары «вопрос-ответ» Вопрос Ответ
Спой атмосферы, вкоторомрасполоаен «оэо но вый эиран» стратосфера О
К закисляющим атмосферные осадки относится газ/ газы сернистый, бурый О
Нормативом те»«генного воздействия на водные объектыавда^КЯ/являются ндс,всс О
Спой атмосферы Земли, поглощающий самую коротко волновую часть спектра термо сфера о
Сйойатмосферы, где наблюдается температурный минимум ме зо сфера о
Атмосфера Земли со стоит примерно на 78 %из___и на 21 %____(по объему) азот, кислород о
Рисунок 10. Вид фиксированного списка вопросов-ответов из которого пары можно вернуть в общий стек вопросов
проса поставленной цели создания теста для проверки знаний обучающихся с разными системами знаний (например, разные специальности в вузе) (четыре категории: существенная, важная, приемлемая, сомнительная).
При назначении теста в настройках указывается:
- количество вопросов в варианте теста и требуемое количество правильных ответов;
- сроки прохождения теста;
- количество попыток прохождения теста;
- процент совпадения вопросов в тесте двух любых вариантов (в том числе при повторных попытках);
- время, отводимое на прохождение теста.
Интерфейс обучающихся. После входа в систему тестируемый видит группы (рис. 6) и в них списки активных заданий. На рис. 7 показано, что в данном случае задание только одно и оно находится в статусе «сдано». Если состояние задания «не сдано» и есть еще разрешенные попытки, то можно приступить к его прохождению (рис. 8).
ж Обучающиеся:
□ Фамилия ЕшаП Активирован
□ КацИО kio@list.nj * отчет
□ Иванов А.И. ¡vanovai@mail.ru ЙГ отчет
Рисунок 11. Результаты пройденного теста в конкретной группе обучающихся
Отчет об успеваемости
Обучающийся Кац И.О (kio@list.ru) Группа ПБ-3214
й Назначенные задания:
Состояние Начало Окончание Ответы
1. Тест по теме «Загрязнение окружающей среды»
Тест сдан 16.09.2016в 14:00 16.09.2016 В 14.20 55/60 подробно
Рисунок 12. Отчет об успеваемости пользователя-обучающегося
Задача обучающихся состоит в том, чтобы правильно подобрать пары вопрос-ответ, которые будут соответствовать эталонным. Каждый правильно отвеченный вопрос имеет стоимость в один балл.
Алгоритм генерации вопросов, входящих в состав одного варианта теста, обеспечивает включение вопросов, ответы которых в общей структуре теста выступают в качестве равновероятно привлекательных дистракторов (дистракторы приводятся с соблюдением требований унификации [3]), что исключает очевидность ответов и предотвращает их угадывание.
Тест по теме «Загрязнение окружающей среды» Результаты сдачи
Группа ПБ-3214 Состояние Тест сдан
Обучающийся Кац И.О (kio@list.nj) Начало 16.09.2016 в 14:00
Окончание 16.09.2016 в 14:20
© Назначенные задания:
Вопрос Выбранный ответ Результат
1 Слой атмосферы, в котором расположен «озоновый экран» стратосфера да
2 К заменяющим атмосферные осадки относится газ/ газы сернистый, бурый да
3 Нормативом техногенного воздействда на водные объекты является/являются НДС, ВСС да
4 Слой атмооферы Земли, поглощающий самую коротковолновуючаегьелектра термоофера да
5 Слой атмосферы, где наблюдается температурный минимум мезосфера да
6 Атмоофера Земли оосгоит примерно на 78% из_и на 21 %_(по объему) азот, кислород да
ИТОГО 6/6
Рисунок 13. Пример подробных результатов прохождения теста
Интерфейс теста для тестирования выглядит следующим образом (рис. 9):
- наименование темы, по которой проводится тестирование;
- сведения об обучающемся (группа, ФИО обучающегося, e-mail);
- краткие сведения о процессе тестирования (информация о начале тестирования и обратный таймер отсчета времени отводимого на тест);
- колонки пар «вопрос-ответ» (ответы перемешаны в случайном порядке).
Подбор тестируемых пар - соответствие вопросов и правильных (эталонных) ответов - осуществляется путем перетаскивания их внутри колонок. В колонке вопросов есть дополнительные кнопки «отправить вниз» и «закрепить пару». Функция первой в переводе вопроса в конец списка, а второй - в фиксации пары вопрос-ответ в случае, если обучающийся считает пару подобранной верно, и в переводе данной пары вниз в фиксированный список (рис. 10). Пока тест считается незавершенным, пары в фиксированном списке можно раскреплять, возвращая их в общий список, нажав на «красную кнопку». Когда обучающийся считает, что все пары подобраны, нужно нажать кнопку «ок» и результат тестирования будет отправлен на сервер.
Результаты тестирования. После прохождения теста преподаватель может посмотреть результаты тестирования в группе (рис. 11). Для этого нужно перейти в соответствующий раздел.
Отчет успеваемости обучающегося выглядит следующим образом (рис. 12).
В отчете серая группирующая строка имеет наименование теста, а под ней все попытки сдачи теста. Если перейти в подробно (рис. 13), то можно ознакомиться со всеми вопросами, которые были в данном варианте теста, а также с ответами, которые были даны тестируемым.
Таким образом, разработанная КСТ обеспечивает эффективную автоматизацию тестирования, надежность и удобство работы пользователей при создании тестов и в процессе тестирования за счет эргономичного пользовательского интерфейса, минимизирует временные затраты по оценке результатов тестирования. Программный продукт подходит для проведения интернет-тестирования, дистанционной проверки знаний, оценки уровня квалификации персонала (в том числе при приеме сотрудников на работу) и пр.
Библиографический список
1. Наместникова О.В. Разработка компьютерной системы тестирования контроля знаний лиц, принимающих управленческие решения в области экологической безопасности города // Проблемы управления безопасностью сложных систем: труды XXXIV Международной научной конференции (Москва, декабрь 2016 г.). М., 2016.
2. Наместникова О.В. Разработка и применение инновационных оценочных средств в системе высшего образования // Актуальные направления научных исследований: от теории к практике: материалы IX Междунар. научно-практической конференции (Чебоксары, 9 сентября 2016 г.). Чебоксары, 2016.
3. Наместникова О.В. Методика тестирования знаний с использованием инновационных оценочных средств // Вестник Московского финансово-юридического университета МФЮА. 2016. № 4.
4. Попов Д.И. Экспертиза качества тестовых заданий: учебно-методическое пособие. М., 2008.
5. Тараканов Д.В., Саттаров И.Ф. Компьютерная модель ликвидации пожаров для тактической подготовки пожарных // Технологии технос-ферной безопасности. 2014. Вып. 6 (58).
О.В. Наместникова
кандидат биологических наук, доцент докторант Академии государственной противопожарной службы МЧС России (г. Москва) E-mail: ovnamestnikova@inbox.ru
И.Ф. Саттаров
заместитель директора ООО «СтройБазис» (Ханты-Мансийский автономный округ, Тюменская обл., г. Пыть-Ях) E-mail: 7518213@mail.ru
