CC BY
248
№ 4 (52) 2014
В. С. Лаврентьев, канд. техн. наук, доцент Национального исследовательского ядерного университета «МИФИ», г. Москва, vslavr@gmail.com Н. Н. Прокимнов, канд. техн. наук, доцент МФПУ «Синергия», г. Москва, prokimnovnn@mail.ru
К. М. Сергеев, магистрант Национального исследовательского ядерного университета «МИФИ», г. Москва, vslavr@gmail.com
Ресурсосберегающее тестирование знаний на основе облачных технологий
Рассматривается задача создания и внедрения технологии тестирования студентов высших учебных заведений, отвечающая требованиям экономии временных затрат преподавателя . Анализируются различные подходы практической организации подготовки, проведения и обработки результатов опроса, применяемые в различных условиях . Представлена модификация метода, ранее предложенного авторами, обладающая улучшенными характеристиками за счет применения технологии облачных вычислений . Приводятся результаты практического применения технологии .
Ключевые слова: тестирование знаний, облачные вычисления, образование .
введение
Контроль знаний учащихся на основе тестирования можно считать одним из наиболее востребованных как в учебных заведениях, так и центрах профессиональной подготовки. Несмотря на то что в достижении конечного результата главную роль, безусловно, играет качество самого тестового материала, немалое значение в практическом отношении имеет организация собственно тестирования (опроса) и обработки ответов испытуемых. В дальнейшем под тестированием будем понимать либо всю совокупность действий по проведению опроса, сбору, обработке ответов и ознакомлению испытуемых с результатами, либо собственно опрос в зависимости от контекста.
Проведение тестирования требует от преподавателя определенных затрат времени на подготовку тестового материала, выдачу тестового материала студентам, сбор ответов и их обработку. Затраты времени на опрос и обработку результатов в значительной мере определяются выбран-
ной технологией тестирования и применяемым инструментарием. Ввиду тенденции к росту загрузки преподавателей учебных заведений актуальность задачи разработки рациональной технологии тестирования совершенно очевидна.
В настоящей работе описана модификация предложенного ранее подхода [1], с помощью которой можно сократить затраты времени преподавателя при проведении тестирования.
современная практика тестирования
Наиболее широко используемый метод тестирования (назовем его групповым тестированием с онлайн-обработкой) состоит в том, что студенты отвечают на вопросы теста в компьютерном классе. Они вводят ответы на вопросы теста в компьютер и по завершении тестирования сразу же знакомятся с результатами.
Групповое тестирование с онлайн-обра-боткой организовать довольно просто. Отрицательным моментом является ограниченное число доступных для проведения теста
№ 4 (52) 2014
компьютеров (в типичном случае 20-30 человек могут одновременно пройти тестирование). Если необходимо охватить тестированием студентов всего потока, то потребуется сформировать несколько групп, что увеличит загруженность аудитории и преподавателя. Поскольку в типичном случае преподаватель проводит занятия по своему курсу с несколькими группами потока, это сужает его временные возможности, и тестирование всех студентов потока может растянуться на несколько недель.
Для сокращения потерь времени в работе [1] предложена технология, согласно которой опрос всего контингента проводится за один раз во время потоковой лекции, т. е. в лекционной аудитории, без использования компьютеров. Каждому студенту в начале академической пары вручается индивидуальный тест в бумажном виде, ответы на вопросы которого он записывает также на бумаге в виде двух столбцов: один содержит номер вопроса, второй — номер правильного ответа (т. е. применяется закрытая форма теста). В конце лекции студент сдает преподавателю лист с ответами. Преподаватель вводит ответы в электронную базу данных с помощью специальной программы, ответы обрабатываются с помощью другой специальной программы, и результаты обработки размещаются на сайте кафедры для ознакомления с ними студентов.
При большом числе студентов на потоке (более 40 человек) потоковое тестирование с отложенной обработкой оказывается предпочтительнее группового тестирования с онлайн-обработкой. Вместе с тем, чтобы исключить возможность списывания и «утечки информации», следует предусмотреть ряд дополнительных мер, обусловленных спецификой даного подхода:
1) число отличающихся между собой по составу вопросов экземпляров теста должно быть достаточно большим, желательно не меньшим числа студентов, обучающихся на потоке;
2) наборы вопросов в экземплярах теста не должны полностью совпадать;
3) порядок следования вариантов ответов на один и тот же вопрос в разных экземплярах теста должен быть различным.
Опыт выявил существенный недостаток метода — большие временные затраты преподавателя на ввод ответов студентов в электронную базу: перенос с бумажных копий данных опроса группы из 40 студентов (тест из 30 вопросов с 8 вариантами ответа на каждый) в электронную базу занимает более двух часов. Эту оценку можно считать нижней, так как в настоящее время во многих учебных заведениях явно прослеживается тенденция к укрупнению потоков с целью уменьшения дробления курсов и дублирования их по кафедрам.
Существенного улучшения можно добиться путем применения модификации описанного выше метода, суть которой сводится к делегированию обязанности по вводу ответов на вопросы теста самим студентам. То есть студенты не сдают ответы преподавателю. В течение срока, установленного правилами кафедры, студент при помощи мобильного телефона или персонального компьютера заносит данные со своей бумажной копии в специальную базу данных (студенты, закончившие отвечать до истечения времени, которое отведено на тестирование, могут ввести данные сразу). Эта база данных размещается на сайте кафедры, где работает преподаватель. Помимо реквизитов, идентифицирующих экземпляр теста, вводимые данные содержат только номера варианта ответов на соответствующие вопросы. По завершении этапа ввода ответов студентами преподаватель с помощью специального приложения копирует данные из базы сайта в личную базу данных, после чего приложение формирует итоговую оценку студента. Будем в дальнейшем именовать такой подход потоковым тестированием с отложенной обработкой. (С более подробным описанием подхода можно ознакомиться в [1].)
Наряду с экономией времени преподавателя в результате практического применения технологии выявились и определенные
№ 4 (52) 2014
минусы, обусловленные в первую очередь средствами ее программно-технической поддержки. В частности, в силу недостаточно надежной работы и малой производительной мощности сайта кафедры интеллектуальных управляющих систем НИЯУ МИФИ, где применялась технология, возникали задержки с получением данных от студентов и соответственно — результатов обработки. Избыточная тяжеловесность программных средств, установленных на компьютере преподавателя и обеспечивающих загрузку результатов тестирования с сайта кафедры в базу данных на компьютер преподавателя и последующую их обработку, также усложняла процесс. Кроме того, система тестирования не располагала удобными средствами настройки на произвольный учебный курс, из-за чего преподавателю приходилось с помощью команд языка SQL менять соответствующие строки в таблицах базы данных.
Усовершенствованная технология
Для устранения указанных недостатков разработан улучшенный вариант на основе облачных технологий, применение которых расширяется для решения различных задач в образовательной сфере (см., например, [2, 3]). Поддержку предлагаемой технологии тестирования обеспечивают следующие объекты.
• Совокупность всех составленных преподавателем вопросов по конкретной тематике учебного курса, ответов на эти вопросы, метки правильных ответов и веса ответов образуют набор тестовых вопросов. Вопросы могут иметь разное число ответов, верных ответов на вопрос может быть несколько.
• Из набора тестовых вопросов формируются выборки — выдаваемые студентам экземпляры теста. Каждому экземпляру теста, представляющему собой сформированный случайным образом набор из фиксированного числа вопросов из набора тестовых вопросов, присваивается уникальный
номер. Чтобы уменьшить число случаев совпадения вопросов в экземплярах, число вопросов набора берется существенно большим числа вопросов в экземпляре теста.
• Вопросы и ответы в экземплярах тестов нумеруются числами натурального ряда начиная с единицы, каждому из вопросов и ответов в экземплярах тестов соответствуют свои номера набора тестовых вопросов. Таблица соответствий (номер вопроса в экземпляре теста — номер вопроса в наборе тестовых вопросов, номер ответа в экземпляре теста — номер ответа в наборе тестовых вопросов) сохраняется в базе данных. Архитектура системы тестирования представлена на рис. 1.
Отметим некоторые особенности организации системы поддержки.
Облачная база данных не содержит каких-либо сведений о наборе тестовых вопросов и экземплярах теста, а также персональную информацию о преподавателях и студентах. В ней хранятся только идентификаторы студентов, преподавателей, учебных групп, названий учебных курсов, названий тестов, номера вопросов и ответов теста в привязке к набору тестовых вопросов и экземплярам теста. Содержательная трактовка (расшифровка) идентификаторов хранится в базе данных на личном компьютере преподавателя из соображений защиты информации, поскольку хранение данных на общем (университетском) сервере, как свидетельствует опыт авторов, связано с повышенным риском. Ограничение доступа к тестам встроенными средствами СУБД, где они хранятся, защиту обеспечивает, однако случаются простои университетского сервера в связи с проведением регламентных работ либо ввиду сбоя или отказа. Поэтому критические данные размещаются на личном компьютере преподавателя, а на удаленном сервере хранятся только сведения, необходимые для «декодирования» экземпляров теста, иначе говоря, приведения номеров вопросов и ответов экземпляра теста в соответствие номерам вопросов и ответов в наборе тестовых вопросов.
№ 4 (52) 2014
SQL Azure Windows Azure
Рис. 1. Процесс тестирования
№ 4 (52) 2014
Подготовка экземпляров теста, их распечатка, получение из облачной базы данных введенных студентами ответов выполняются с помощью специально разработанной программы, использующей базу данных SQLite1, которая не требует установки и распространяется бесплатно. Работа с такой базой данных избавляет от необходимости устанавливать прикладное ПО и СУБД на компьютер преподавателя и не обязывает к приорбре-тению лицензии, избавляя от типичных проблем в случае внедрения облачных технологий в образовательную среду [2].
База данных для ввода студентами ответов на вопросы теста и предварительной их обработки (удаленная база данных) была развернута на портале SQL Azure [4]. Для работы с облачной базой данных в Windows Azure был создан веб-сервис, написанный на языке C# с применением технологии .NET.
Структурная схема приложения для управления тестированием показана на рис. 2.
Дадим некоторые пояснения по содержанию основных этапов технологии.
Формирование набора тестовых вопросов
Этап выполняется преподавателем (автором теста). Новый тест создается при помощи модуля формирования тестовых вопросов (см. рис. 2) на локальной машине (без выхода в облако). Преподаватель указывает:
• название теста;
• целевой вуз;
• целевой факультет;
• целевые группы;
• планируемое число вопросов в наборах тестовых вопросов;
• планируемое число вопросов в рабочих экземплярах;
• максимальное количество ответов на вопросы теста;
• вопросы;
• ответы на вопросы;
1 http://www.sqlite.org/.
• номера правильных ответов;
• баллы (отрицательные — за неверные ответы и положительные — за верные ответы).
Для исключения дублирования вопросов в экземплярах их число в наборе должно быть гораздо больше числа в экземплярах теста, вручаемых студентам.
Формирование и печать экземпляров теста
Цель этапа — создание твердых копий экземпляров теста на основе набора тестовых вопросов. Эта работа выполняется автоматически модулем формирования экземпляров теста для печати и модулем управления загруженными экземплярами тестов (см. рис. 2). Все экземпляры теста по результатам работы модуля заносятся в один выводной файл так, чтобы каждый новый экземпляр начинался вверху страницы. Перечни вопросов и варианты ответов определяются случайной выборкой из вопросов, присутствующих в наборе тестовых вопросов, и ответов на них. Часть работы выполняется в облаке, часть — на компьютере преподавателя. В облако переносятся только номера вопросов и номера ответов экземпляров тестов и таблица соответствий с ними номеров вопросов и номеров ответов набора тестовых вопросов. Совокупности номеров вопросов и ответов экземпляров теста передаются на компьютер преподавателя, к ним добавляются тексты вопросов и ответов, они заносятся в выводной файл экземпляров и нумеруются числами натурального ряда начиная с единицы. Номера экземпляров формируются автоматически. Этап завершается выводом файла экземпляров на печать.
Формирование списка студентов
В соответствующие диалоговые окна преподаватель вводит:
• идентификатор (берется вымышленный электронный адрес);
О)
Локальная база данных
Рис. 2. Структурная схема приложения для управления тестированием
№ 4 (52) 2014
• номер зачетки (берется из базы данных деканата);
• ФИО студента.
После завершения ввода преподаватель нажатием соответствующей кнопки загружает идентификаторы и номера зачеток студентов в базу данных облака. Теперь все готово к проведению тестирования.
вручение студентам экземпляров теста
Использовался тест, рассчитанный на два часа аудиторных занятий (одна академическая пара). Тест, рассчитанный на меньшее время, нерационален из-за больших накладных расходов, включающих время на раздачу теста и сбор результатов. Студенты заполняют листки с номером экземпляра теста, номерами вопросов и ответов. Покинув аудиторию, студенты заходят на сайт с адресом (URL), указанным преподавателем в начале тестирования, вводят свой идентификатор и номер зачетной книжки. Введенные студентами номера вопросов и ответов передаются в удаленную (облачную) базу данных.
обработка результатов
Производится модулем обработки ответов (см. рис. 2) совместно с модулем управления загруженными тестами. В облаке выполняется процесс «декодирования» ответов студентов — преобразование номеров вопросов в экземпляре теста в номера вопросов в наборе теста, номеров ответов экземпляра теста студента — в номера ответов собрания теста. В этом («нормальном») виде информация из облака переносится в базу данных на компьютер преподавателя, где при формировании теста преподавателем, как указывалось, всем верным и неверным ответам были назначены веса. Для каждого теста, представленного студентом, определяются:
• итоговая сумма баллов;
• сумма баллов по верным ответам;
• сумма баллов по неверным ответам;
• ошибочные ответы.
После этого формируется итоговый протокол, содержащий указанные сведения по каждому студенту, прошедшему тестирование.
Практический опыт
Предложенный подход опробовался в течение трех лет на потоках студентов 7-го и 8-го семестров, изучавших курс по базам данных. Накопленный опыт позволил сделать следующие выводы.
Время, необходимое преподавателю для проведения и обработки результатов тестирования, по сравнению с исходным методом существенно сократилось (не менее чем в 8-10 раз).
Не зафиксировано нарушений, вызываемых облачным компонентом системы, не поступало жалоб от студентов по поводу ввода информации с результатами тестирования. Интерфейс ввода прост и понятен, отказов по каким-либо причинам во вводе не зарегистрировано. Несложные условия контроля правильности ввода (вводятся только цифры) обеспечивают простоту и надежность процесса. Полный протокол ответов на вопросы теста помогает выявить пробелы в понимании студентами соответствующих разделов учебного материала.
Выявились и недостатки. Так, на формирование экземпляров теста в облаке требуются существенные затраты времени. В частности, на создание 20 экземпляров теста по 30 вопросов в каждом из собрания, содержащего 40 вопросов, уходило 20 минут, на 40 экземпляров теста по 30 вопросов в каждом из собрания такого же размера — 35 минут. Заложенный в программу формирования экземпляров теста принцип экономии памяти в облачной базе данных привел к увеличению времени, отводимого на информационный обмен с локальным компьютером. Согласно указанному принципу по завершении формирования очередной порции информации, пусть и малой по размеру, с целью высвобождения места в памяти производится ее немедленная отправка,
№ 4 (52) 2014
что выливается в многократные сеансы обмена. Решением проблемы может быть перенос функции формирования экземпляров теста на компьютер преподавателя и сохранение в облаке только функции хранения данных, введенных студентами.
Заключение
Тестирование занимает важное место в учебном процессе и стимулирует студентов в активной работе на лекции. Предлагаемый в статье подход к организации тестирования особенно полезен для промежуточного контроля знаний по тем разделам курса, в которых предполагается развитие практических навыков и умений. Применение представленного подхода в целях выявления глубины освоения студентом изучаемого материала (насколько студент владеет учебным материалом, может ли помимо ответа на вопрос «как или что надо сделать» ответить на вопрос «почему это надо сделать именно так») представляется менее перспективным.
В качестве возможных направлений дальнейшей работы по совершенствованию
и продвижению технологии авторы рассматривают ее распространение на итоговый контроль (зачеты и экзамены). Для достижения этой цели потребуется дополнительно к задачам организационного и технического характера провести исследования и создать соответствующее методическое обеспечение проверок, в первую очередь методику построения тестов, отвечающих более жестким требованиям к качеству проводимого контроля.
Список литературы
1. Лаврентьев В. С., Соколов М. А., Ткаченко М. И. Метод снижения временных затрат на обработку результатов тестирования // Прикладная информатика. 2011. № 6 (36). С. 24-28.
2. Cloud Computing in Higher Education: A Guide to Evaluation and Adoption. White paper // Sisco Systems Inc. 2012. — 5 p.
3. Денисов Д. Перспективы развития облачных вычислений // Прикладная информатика. 2009. № 5 (23). С. 52-58.
4. Редкар Т., Гвидичи Т. Платформа Windows Azure. М.: ДМК Пресс, 2012. — 656 с.
V. Lavrentyev, PhD in Technique, Аssociate Рrofessor of National Research Nuclear University MEPhI, Moscow, vslavr@gmail.com
N. Prokimnov, PhD in Technique, Аssociate Рrofessor of Moscow University of Industry and Finance «Synergy», prokimnovnn@mail.ru
K. Sergeev, Undergraduate of National Research Nuclear University MEPhI, Moscow, vslavr@gmail.com
Resource saving knowledge testing based on cloud computing
The problem of creating and implementing testing technology students in higher education that meets the requirements of saving time-consuming teacher is considered. There are various approaches to practical organization of the preparation, execution and processing of survey results used in different conditions. A modification of the method previously proposed by the authors that improves performance and is based on cloud computing technology is suggested. The results of the practical application of technology are given. Keywords: Knowledge testing, cloud computing, education.
