CC BY
878
УДК 519.8
Л. В. ЛАРИНА
Омский государственный университет им. Ф. М. Достоевского
КОМПЬЮТЕРНЫЕ СИСТЕМЫ ТЕСТИРОВАНИЯ ЗНАНИЙ СТУДЕНТОВ НА РАЗЛИЧНЫХ ЭТАПАХ ОЦЕНКИ УСПЕВАЕМОСТИ_________________________________
В статье дается обзор компьютерных систем тестирования знаний студентов, разработанных и используемых в российских вузах.
Ключевые слова: тестирование, компьютерная система, контроль знаний.
Введение. В настоящее время во многих учебных заведениях широко используются рейтинговые системы оценки знаний студентов, которые направлены на повышение эффективности процесса обучения [1]. Для получения рейтинговой оценки необходимо пройти несколько этапов контроля (текущий, промежуточный, рубежный, итоговый). Наиболее популярной формой промежуточного и рубежного контроля является компьютерное тестирование, позволяющее дать объективную оценку знаний студентов по изучаемой дисциплине, при этом снизить неоднородность предъявляемых требований и повысить производительность труда преподавателя [2-4].
Компьютерное тестирование не заменяет традиционных методов контроля знаний студентов, а дополняет их, позволяет существенно сократить затраты времени при обработке результатов, формирует базы данных об успеваемости, позволяет получить результаты сразу после завершения тестирования [5].
С помощью компьютерных технологий и заданий в тестовой форме можно создавать современные обучающие системы.
Существует множество компьютерных программ, предназначенных для проведения тестирования. Доступны продукты (программы) с готовыми тестовыми заданиями и программы-оболочки для самостоятельного создания тестов. Однако, несмотря на обилие всевозможных программных продуктов, обеспечивающих тестирование, ни один из них нельзя назвать универсальным и приемлемым для непрограммирующих пользователей, которым и предназначены подобные продукты. Несмотря на то, что существует четыре основные формы тестовых заданий (задания открытой, закрытой формы, на соответствие, на установление правильной последовательности) [6, 7], подавляющее большинство программ компьютерного контроля знаний основано на использовании так называемого «выборочного» метода. Суть его заключается в том, что студенту предлагается вопрос, правильный ответ на который он должен выбрать из ряда предложенных. Серьезным недостатком является так же то, что существующие программы-генераторы тестов не допускают модификации структуры теста после сборки и компиляции отдельных тестовых блоков.
В данной работе проведен сравнительный «анализ» систем компьютерного тестирования, используемых в разных вузах.
Компьютерные системы контроля знаний студентов. Компьютерные системы контроля знаний студентов можно разбить на три большие группы:
1. Федеральный Интернет-экзамен профессионального образования (ФЭПО).
2. Интерактивное тестирование с использованием web-интерфейса, что позволяет добиться независимости от программной и аппаратной платформ, организовать взаимодействие любого количества удаленных пользователей с системой посредством Шете!
3. Локальное тестирование — система разработана для внутренних нужд вуза, требуется настройка клиентского компьютера (установка программного обеспечения).
В целях оказания помощи образовательным учреждениям при создании систем управления качеством подготовки специалистов на основе независимой внешней оценки Национальное аккредитационное агентство в сфере образования проводит Федеральный Интернет-экзамен в сфере профессионального образования. Содержанием экзамена является проведение компьютерного Интернет-тестирования в части внешней оценки уровня подготовки студентов на соответствие требованиям государственных образовательных стандартов. Принципы ФЭПО:
— добровольное участие образовательных учреждений;
— полное доверие образовательным учреждениям по вопросам соблюдения технологии проведения экзамена;
— проведение экзамена в единое время по единым измерительным материалам.
Результаты ФЭПО оформляются в виде информационно-аналитической карты, содержащей материалы, предназначенные для принятия решений в системе управления качеством подготовки специалистов образовательного учреждения.
Интернет-экзамен в сфере профессионального образования проводится в форме компьютерного тестирования студентов и направлен на проверку выполнения требований Государственных образовательных стандартов профессионального образования. Целью ФЭПО является формирование единых требований к оценке качества подготовки специалистов [8].
В сети Интернет, можно также найти общедоступную систему ROSTEST.RUNNET.RU, ориентированную на учащихся и рассчитанную на их
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 1 (117) 2013 ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 1 (117) 2013
самостоятельную работу для оценки уровня своих знаний. Ресурс содержит централизованно сформированный набор тестов по общеобразовательным программам, без возможности использования собственных преподавательских разработок для текущего контроля знаний. Особенность (недостаток) системы заключается в том, что она базируется на тестовых заданиях 1999 года, представленных на сервере в режимах ознакомления, самоконтроля и обучения, содержащиеся в ней данные являются небольшой частью общероссийской базы данных, накопленной в результате многолетней работы нескольких авторских коллективов Москвы и Санкт-Петербурга [9].
Во второй группе наряду с общедоступными существует множество систем контроля знаний, разработанных в различных вузах и реализованных в виде клиент-серверного РНР - приложения с помощью протокола TCP/IP и функционирующих в среде Интернет на Apache-сервере. Для хранения исходных данных, контрольно методических материалов и результатов тестирования используется СУБД MySQL. На рабочих местах преподавателей и студентов требуется только наличие веб-браузера и доступ к сети Интернет. Благодаря этому такие компьютерные системы тестирования можно применять в дистанционном обучении [10, 11].
Отметим некоторые положительные стороны таких систем:
— сервисность — возможность использования в качестве сервисного программного обеспечения без установки на собственном сервере.
— универсальность — возможность применения в любых образовательных учреждениях (в том числе зарубежных) вне зависимости от организации процесса обучения.
— модульность — создание индивидуального образовательного продукта под конкретного клиента.
— защищенность — уникальная подсистема безопасности, полный контроль над действиями пользователей и гостей системы (К примеру, система интеллектуального контроля знаний «Аргус-М», Институт, государственного управления, права и инновационных технологий г. Москва отмечена призом. Всероссийского конкурса IT-интеллектуалов):
— преподаватель входит в систему под личным паролем для работы по настройке методики проведения контроля. Доступ к методическому материалу имеет только преподаватель-разработчик данного материала, а другие преподаватели могут получить его (доступ) только с согласия автора;
— каждый студент для прохождения тестирования при первом входе в систему получает личный логин и пароль, что исключает возможность доступа в систему студентов под чужим именем. (В Автоматизированной. интерактивной, системе сетевого тестирования. «<АИССТ», Оренбургский государственный университет, по усмотрению преподавателя. может, быть предусмотрен, однократный, либо многократный вход студента в систему при. проведении. текущего контроля, в установленный временной интервал).
— объективность — наличие журнала, который даже при минимально набранном количестве баллов позволяет просмотреть данный студентом ответ и сравнить его с выводимым одновременно на монитор верным ответом, что исключает нарекания со стороны студентов на необъективность оценки их ответов, в том числе и из-за грамматических ошибок. Детальные, гибко настраиваемые отчеты позво-
ляют получить максимально полную информацию о всех сеансах проведенных тестирований.
— массовость — позволяет организовать и провести групповое тестирование, как в локальной вычислительной сети, так и в сети Интернет. И все это с использованием одних и тех же программ. (Например, в Универсальной системе автоматизированного тестирования, и контроля «УСАТИК», Ульяновский государственный технический, университет программы, комплекса могут, работать и в файл-серверном, и в клиент-серверном режиме).
— гибкость — дает возможность пропускать вопрос при проведении контроля и возвращаться к нему повторно по окончании ответа на остальные вопросы ( «АИССТ») [12].
Возможные настройки, при проведении текущего контроля с помощью автоматизированных систем:
— предусмотрены разновидности основных четырех видов вопросов и вариантов ответа на них студента: выбор одного из многих; выбор нескольких из многих; на соответствие; установка правильной последовательности;
— для контроля может быть установлено различное количество вопросов: преподаватель указывает максимальное и минимальное количество контрольных вопросов, а студент сам выбирает наиболее приемлемое для него количество вопросов из заданного интервала («АИССТ»);
— оценка правильности ответа может проводиться по нескольким схемам, наиболее приемлемой, на взгляд разработчиков, представляется «режим накопительной проверки ответа», предполагающий, что каждый правильный ответ вносит положительный вклад в результирующий процент по данному вопросу, а каждый неправильный — отрицательный. Тем самым исключается возможность получения положительной оценки, за счет выбора системой правильных ответов из множества данных студентом ответов, когда только часть из них являются верными.
При создании своего (авторского) теста с помощью этих тестирующих систем можно столкнуться с некоторыми особенностями:
— интерфейс программы для проведения тестирования можно настроить по своему вкусу;
— система может быть использована человеком без специальной подготовки или обучения. Легко осваивается школьниками и студентами, не требует тренировки для прохождения аттестации или обучения (Разработчик тестов сразу видит, перед собой результат, своего труда. Без запуска теста на выполнение);
— возможность задавать различное время для ответа на каждый вопрос и на весь контроль в целом;
— низкая стоимость и минимальные затраты на дальнейшее сопровождение.
При всей своей простоте в обращении системы имеют минусы:
— разработаны для внутренних потребностей вуза;
— не являются открытыми (использование только на коммерческой основе [13]);
— необходима покупка лицензий на каждое рабочее место;
— требуется настройка клиентского компьютера;
— низкий уровень защиты данных.
На основе анализа представленных систем компьютерного тестирования можно сделать вывод:
В настоящее время практически не существует открытых систем тестирования, находящихся
в свободном доступе, которые могли бы быть использованы педагогом в качестве инструмента контроля.
Процесс создания автоматизированных систем тестирования достаточно сложен и требует одновременного решения многих проблем, в первую очередь программно-технических.
Однако эти недостатки не являются критическими и их можно успешно свести к минимуму.
К третьей группе мы отнесли так называемые автоматизированные компьютерные системы тестирования, которые практически любой преподаватель может создать с помощью приложений MS Office в редакторе Visual Basic, самые распространенные MS Excel и MS PowerPoint. Однако эти разработки трудно назвать тестирующей системой, так как тесты не проходят основных этапов формирования (подготовка необходимого учебного материала, описание структуры теста, статистический анализ качества тестовых заданий, оценка дифференцирующей способности заданий, калибровка, апробация, и т.д.). База вопросов недостаточно большая, подбор заданий выполняется эмпирически на основе знаний и опыта преподавателя, строго по учебному материалу. Случайным образом сгенерированные варианты вопросов часто повторяются у рядом сидящих обучающихся и не гарантируют проверку знаний по всем разделам дисциплины.
В Омском филиале Института математики им. С. Л. Соболева СО РАН и ОмГУ им. Ф. М. Достоевского активно развивается подход к построению систем компьютерного тестирования знаний студентов, основанный на использовании дискретной оптимизации [2, 14—17]. Создана тестирующая система «EMM-TEST», которая используется на экономическом факультете ОмГУ для дисциплины «Экономико-математические методы» [18]. В ОмГУ разрабатывается тестирующая система для экономического и юридического факультетов, по дисциплинам «Экономическая информатика» и «Правовая информатика» соответственно.
В соответствии с рассматриваемым подходом учебный курс представляется как множество элементов знаний, т.е. наиболее значимых понятий, свойств, утверждений и т.п. Тест формируется из тестовых заданий, каждое из которых предназначено для проверки определенной совокупности элементов знаний указанного множества.
В случае обязательной проверки всех элементов знаний некоторой дисциплины формирование оптимального теста сводится к решению известной задачи о наименьшем покрытии множества или её обобщений [14, 19].
Постановка задачи. Для контроля знаний студентов заочной формы обучения по дисциплине «Экономическая информатика» на экономическом факультете ОмГУ тестирующая система разрабатывается с помощью свободно распространяемой инструментальной среды с открытым исходным кодом — Moodle (Modular Object-Oriented. Dynamic Learning Environment — система построения образовательного контента) [5]. Данный программный продукт построен в соответствии со стандартами информационных обучающих систем. Moodle специально разработанная система для создания онлайн-курсов преподавателями, предлагает широкий спектр возможностей для полноценной поддержки процесса обучения в дистанционной среде — разнообразные способы представления учебного материала, проверки знаний и контроля успеваемости
[20]. Благодаря открытому исходному коду, опытный преподаватель-программист может подстроить систему под свою дисциплину, разработав при этом отдельные модули формирования оптимального варианта теста.
В Moodle предусмотрено 15 типов интерактивных учебных материалов. Каждый из этих типов имеет множество настроек и представлений. Наряду с огромными возможностями системы, мы вносим свои коррективы, а именно:
— модуль формирования базы, позволяет преподавателю (по каждому разделу кодификатора) составить тестовые задания, каждому из которых приписан вес c>0 (для определения весов можно использовать уровни учебных целей по таксономии Блума: знания, понимание, применение, анализ, синтез, оценка). Совокупность вопросов разбить на определенное число непересекающихся групп с учетом особенностей рассматриваемой дисциплины;
— модуль формирования варианта теста — главная задача сформировать набор тестовых заданий, выполнение которого позволяет сделать объективный вывод о степени усвоения обучаемыми рассматриваемой дисциплины и который удовлетворяет определенному критерию оптимальности [2]. В качестве такого критерия естественно рассмотреть минимизацию числа заданий, включаемых в тест, что является одной из характеристик эффективного теста [21]. Полученный вариант теста обязательно проверяет все элементы знаний изучаемой дисциплины, соответствует требованиям преподавателя, состоит из заданного числа вопросов и имеет максимальный суммарный вес.
Для решения задачи формирования оптимального теста используется модель целочисленного линейного программирования (ЦЛП). Где n — число вопросов, на основе которых формируется тест, m — число элементов знаний рассматриваемой дисциплины; V — множество вопросов, W — множество элементов знаний. Каждому объекту из V приписан вес c>0; b. — кратность проверки элемента знаний, i=1,...,m; j=1,...,n. Элементы из V разделены на t непересекающихся групп [22, 23].
Задача состоит в отыскании допустимого покрытия, имеющего максимальный суммарный вес и состоящего из а вопросов.
Расчеты по моделям из [15, 16, 24] показали, что число включаемых в тест вопросов может быть заметно сокращено по сравнению с ранее существующей практикой. В соответствии со стандартом курса «Информатика» было сформировано множество из 30 элементов знаний раздела «MS Excel», 17 элементов раздела «MS Word» указанной дисциплины. В случае b=1, i=1,..,m, получено 6 вариантов теста, включающих по 9 вопросов. При увеличении значений b число вопросов в тесте возрастало до 13—15. Поиск наилучших значений параметра а для рассматриваемой дисциплины продолжается.
Следует отметить, что в полученных ранее тестах для ряда элементов знаний встречалось мало вопросов, с помощью которых они проверялись, поэтому многие из таких вопросов часто входили в оптимальное решение. По предложенной в работе [24] математической модели получены варианты тестов, отличающиеся формами представления [25].
Заключение. Компьютерные системы тестирования стали удобным инструментом для преподавателя, сокращая его временные затраты на проверку знаний студентов, по сравнению с традиционными методами контроля, и вооружая его аналитической
ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 1 (117) 2013 ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ
ФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИ ОМСКИЙ НАУЧНЫЙ ВЕСТНИК № 1 (117) 2013
информацией, что позволяет более рационально организовать процесс обучения.
Одно из главных требований к компьютерным тестам — многовариантность. Многовариантность должна быть двух типов: во-первых, по тематике заданий, во-вторых — по порядку их предъявления. Реализация этого требования снимает сразу две организационные проблемы: списывание и запоминание ответов.
Тестовые задания могут составляться с использованием разнообразных компьютерных инструментов, начиная от различных редакторов и программ для разработки презентаций и до использования языков программирования и возможностей сети Интернет. При этом не все, существующие в бесплатном доступе программы, имеют возможность добавления собственных вопросов и тем. Нет возможности создания индивидуальной траектории обучения. Необходима загрузка дополнительного ПО на компьютер обучающегося и, главное, количество вопросов никак не связано с элементами знаний. И, наверное, любой преподаватель, не только информатики и ИКТ, создавал для своей работы свою тестовую среду. Но разработка качественного тестового инструментария — длительный, трудоемкий и дорогостоящий процесс.
Библиографический список
1. Тестовый контроль в системе рейтинга / А. Щапов [и др.] // Высшее образование в России. — 1995. — № 3. — С. 100-102.
2. Заозерская, Л. А. Применение моделей дискретной оптимизации для разработки автоматизированной системы контроля знаний / Л. А. Заозерская, В. А. Планкова // Вестник ИГУ. Сер. Информационные технологии. — 2008. — Т. 6. Вып. 1. С. 47 — 52.
3. Калугян, К. Х. Компьютерная система тестирования знаний как компонент информационной научно-образовательной среды вуза / К. Х. Калугян, С. М. Щербаков // Вестник Академии. — 2005. — № 1(20). — С. 61 — 66.
4. Тягунова, Т. И. Культура компьютерного тестирования. Культура проектирования тестового задания : моногр. / Т. И. Тягунова. — М. : МГУП, 2006. — 300 с.
5. Информационный портал Moodle. [Электронный ресурс]. — Режим доступа: http://moodle.org/ (дата обращения:
15.11.2012).
6. Аванесов, В. С. Формы тестовых заданий : учеб. пособие для учителей школ, лицеев, преподавателей вузов и колледжей / В. С. Аванесов. — 2-е изд. перераб. и расширен. — М. : Центр тестирования, 2005. — 156 с.
7. Ларина, Л. В. Разработка заданий для компьютерного тестирования студентов / Л. В. Ларина // Вестник СО АВИ. — 2011. — № 4. — С. 85 — 89.
8. Федеральный Интернет-экзамен в сфере профессионального образования [Электронный ресурс]. — Режим доступа: http://www.fepo-nica.ru/ (дата обращения: 17.11.2012).
9. Образовательный сервер тестирования: [Электронный ресурс]. — Режим доступа: http://rostest.runnet.ru/ (дата обращения: 11.11.2012).
10. Средства дистанционного обучения. Методика, технология, инструментарий / С. В. Агапонов [и др.]. — СПБ. : БХВ — Петербург, 2003. — 336 с.
11. Трайнев, В. А. Дистанционное обучение и его развитие / В. А. Трайнев, В. Гуркин, О. В. Трайнев. — Москва, 2006. — 196 с.
12. Опыт проведения текущего контроля знаний студентов с помощью системы АИССТ: [Электронный ресурс]. —
Режим доступа: http://www.orenport.ru/docs/281/work_stud/ Members/Turchaninov.htm/ (дата обращения: 17.11.2012).
13. Система он-лайн обучения: [Электронный ресурс]. — Режим доступа: http://www.argusm-edu.ru/ (дата обращения:
15.11.2012).
14. Заозерская, Л. А. Разработка алгоритмов перебора L-классов для одной задачи компьютерного тестирования / Л. А. Заозерская, А. А. Колоколов, В. А. Планкова // Омский научный вестник. — 2008. — № 1. — С. 12—14.
15. Колоколов А. А. Применение дискретной оптимизации для решения задач формирования тестов / А. А. Колоколов, Л. В. Ларина // Единая образовательная информационная среда: проблемы и пути развития : материалы VII Междунар. науч.-практ. конф.-выставки. — Томск : Дельтаплан ; Омск, 2008. — С. 118—119.
16. Колоколов, А. А. Формирование проверочных тестов по информатике с использованием дискретной оптимизации / А. А. Колоколов, Л. В. Ларина // Применение новых технологий в образовании : материалы XIX Междунар. конф. — Троицк : МОО фонд новых технологий в образовании «Байтик», 2008. — С. 326 — 327.
17. Ларина, Л. В. Применение дискретной оптимизации для решения задач формирования тестов по информатике / Л. В. Ларина // Проблемы оптимизации и экономические приложения : материалы IV Всерос. конф. / Омский филиал Института математики им. Соболева СО РАИ. — Омск : Полиграфический центр КАИ, 2009. — С. 228.
18. Колоколов, А. А. Об одной автоматизированной системе тестирования знаний студентов по экономико-математическим методам / А. А. Колоколов, Л. А. Заозерская, В. А. Планкова // Сб. тез. IV Междунар. конф. по вопросам обучения с применением технологии e-learniig. — М, 2010. — С. 130— 133.
19. Еремеев, А. В. Задачи о покрытии и их приложения / А. В. Еремеев, Л. А. Заозерская, А. А. Колоколов // Вычислительные методы и решение оптимизационных задач : материалы Междунар. семинара. — Иовосибирск : ИВМ и МГ СО РАИ, 2004. — С. 70 — 76.
20. Компания «Открытые технологии». Статья «Преимущества MOODLE». [Электронный ресурс]. — Режим доступа: http://www.opentechnology.ru/info/moodle_about.mtd/ (дата обращения: 13.11.2012).
21. Аванесов, В. С. Композиция тестовых заданий. Учебная книга / В. С. Аванесов. — 3-е изд., доп. — М. : Центр тестирования, 2002. — 240 с.
22. Гулидов И.И., Шатун А.И. Методика конструирования тестов / И. И. Гулидов, А. И. Шатун. — М. : Форум : Инфра-М, 2003. — 112 с.
23. Челышкова, М. Б. Теория и практика конструирования педагогических тестов / М. Б. Челышкова. — М. : ЛОГОС, 2002. —432 с.
24. Ларина, Л. В. Разработка автоматизированной системы контроля знаний по информатике с использованием моделей дискретной оптимизации / Л. В. Ларина // Труды ИВМиМГ СО РАИ. Сер. Информатика. — Иовосибирск, 2011. С. 113—118.
25. Аванесов, В. С. Теоретические основы разработки заданий в тестовой форме : учеб. пособие для профессорско-преподавательского состава высшей школы / В. С. Аванесов. — М. : МГТА, 1995. — 95 с.
ЛАРИНА Любовь Викторовна, старший преподаватель кафедры «Методика преподавания математики» Института математики и информационных технологий.
Адрес для переписки: luba-omsk@yandex.ru
Статья поступила в редакцию 19.11.2012 г.
© Л. В. Ларина
