CC BY
15
Савицкая А.В.
«Обучение иностранному языку как одно из условий развития...»
ПЕЛНГОГПЧЕСКПЕ ИНУКП
ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ КОМПЬЮТЕРНОЙ СИСТЕМЫ ПРОВЕРКИ ЗНАНИЙ СТУДЕНТОВ
В.В. Спивакова
PROBLEMS AND PERSPECTIVES OF THE COMPUTER SYSTEM OF STUDENTS' KNOWLEDGE CHECK
Spivakova V.V.
Traditional and computer systems of the students' knowledge check are compared in this article. There are two computer systems of knowledge check mentioned in the article: KSKZ and SITO. The advantages of these systems are revealed in the article.
В статье сравнивается традиционная и компьютерная система проверки знаний студентов. Приводятся две системы компьютерной проверки знаний: КСКЗ и СИТО. Показаны! преимущества этих систем.
УДК 378.147:681
Вопросу качества образования в последнее время уделяется особое внимание. Если рассматривать «качество образования» как качество образовательного процесса, то можно говорить, что это понятие отражает уровень соответствия выпускника вуза действующим образовательным стандартам (1). Установление такого соответствия предполагает проведение объективных измерении в течение всего периода обучения. Для этого необходима организация длительного мониторинга, позволяющего оценить качество образовательных услуг, оказываемых вузом. Длительность слежения за состоянием образовательного процесса дает возможность определить тенденции его изменения, установить зависимость от определенных факторов.
Следовательно, мониторинг - важнейший элемент системы информационного обеспечения качества образовательного процесса в вузе, способствующий принятию адекватных управленческих и педагогических решений. Мониторинг позволяет организовать внутренний аудит, согласно международному стандарту ИСО 19011:2002.
Одним из наиболее актуальных направлении развития компьютерных технологий в образовании является разработка специализированных систем проверки знаний студентов. Такая работа, на наш взгляд, должна включать решение нескольких задач.
Во-первых, следует выделить группу проблем, которые можно связать с особен-
ностями преподавательской деятельности. В их числе - недостаточный учет индивидуальных возможностей отдельного студента, их влияние на результат проверки знаний. Это приводит к тому, что весьма часто проявляется несовпадение требований разных преподавателей в оценке одного и того же ответа.
Во-вторых, имеется группа проблем, связанных со спецификой традиционных форм проверки знании. Здесь в первую очередь необходимо отметить отсутствие четко сформулированных стандартов знаний и конкретно очерченных объемов умений, достаточных для каждой положительной оценки.
В-третьих, существует группа проблем, связанных с самим студентом. Наиболее важная из них - отсутствие инструмента для предварительного самоконтроля (самопроверки) собственных знаний и оценки своей готовности к экзамену.
Наконец, следует выделить и такое существенное обстоятельство, как отсутствие эффективных механизмов сравнения результатов обучения по той или иной дисциплине (или специальности) в различных вузах, что особенно актуально для выработки верной стратегии подготовки специалистов.
Использование тестовых материалов для диагностики качества знаний и умений на разных стадиях обучения студентов неоднократно являлось предметом научных дискуссий (2; 3). В этом контексте остановимся на преимуществах системы тестирования для эффективного мониторинга качества образования и на тех требованиях, которым должна при этом удовлетворять автоматизированная система тестирования. При этом заметим, что тесты могут помочь в качестве инструментария для установления уровня соответствия результатов образования в любой момент учебного процесса и эталонных знаний и навыков, которые определяются в государственных образовательных стандартах и в других нормативных документах. Тестирование возможно только при выполнении определенных условий:
- соответствие педагогических тестовых материалов требованиям, изложенным в образовательных стандартах, тем навыкам и умениям, которые ожидаются от студента;
- направленность на установление различных уровней усвоенности знаний студентов;
- выявление умений переноса знаний - использование знаний в новых ситуациях, решение задач, а также умение применить его эффективным образом;
- умение синтезировать новое знание с усвоенным ранее.
Основным инструментом тестирования служат тестовые задания разных типов (закрытая и открытая формы, с множественным и единственным выбором заданий на соответствие, упорядочивание, объединение и т.п.);
- наличие широкой базы тестовых заданий к каждой из дисциплин, обеспечивает студентов неповторяющимся набором вопросов, в том числе для неоднократного их использования;
- создание тестового материала предполагает использование шкалы сложности тестовых заданий, а также различных алгоритмов обработки ответов. Такая работа позволяет адаптировать проведение тестирования к конкретной студенческой аудитории.
Ведущими требованиями к анализу качества знаний, умений и навыков обучаемых принято считать объективность, валид-ность, надежность и др.
По нашему мнению, указанные требования удается разрешить (конечно, не полностью, но в большей их части) с помощью компьютерных систем контроля знаний студентов (КСКЗ).
Структуру КСКЗ можно представить в виде нескольких блоков.
Банк вопросов - хранилище всех, заданий и т.д., предлагаемых студентам при проверке знании по данному курсу.
Вопросы и задачи заносятся в банк, как правило, вместе с несколькими (обычно от 5 до 10) вариантами ответа, которые сообщаются студенту одновременно с форму-
Спивакова В.В.
«Проблемы и перспективы компьютерной системы проверки знаний студентов»
лировкой задания, и он должен из них выбрать верный.
Банк ответов КСКЗ содержит правильные ответы к каждому заданию, компьютер сверяет полученный от студента ответ с содержанием банка.
Сервис преподавателя включает широкие возможности варьирования объема проверочной работы и условий ее проведения. Сюда относятся: отбор тем из числа предусмотренных, определение по каждой теме количества задач, включаемых в работу, установление времени для выполнения работы (на каждую задачу, на каждую тему или на работу в целом), выбор режима оценивания ответов («верно» - «неверно» или с учетом полноты ответа, начисление штрафных баллов за грубые ошибки), разрешение студенту использовать справочные сведения, включенные в систему, и т.д.
Блок формирования задания в соответствии с указаниями преподавателя создает сценарий проверочной работы для каждого студента, который определяется случайным выбором из банка вопросов преподавателем, а также их количество по каждой теме.
Сервис студента предполагает, что задания, включенные в сценарий индивидуальной проверочной работы, предъявляются ему последовательно, по одному, и остаются на экране в пределах отведенного времени. Отвечать на вопрос студент может в произвольном порядке, поскольку допустимо «перелистывание» всего сценария, возврат к задаче, оставшейся нерешенной, и даже изменение прежнего ответа (если позволяет время). При согласии преподавателя студенту разрешается обращаться к справочному аппарату, являющемуся частью системы. На экран постоянно выводится информация о числе еще не решенных задач и о запасе времени.
Блок управления обеспечивает нормальное функционирование системы проверки знаний и позволяет вводить в процесс работы необходимые коррективы.
Блок формирования оценок осуществляет сравнение ответа студента с содержанием банка ответов и, в соответствии с вы-
бранным режимом оценивания, фиксирует оценку ответа в баллах. Общая максимальная сумма баллов по всей работе принята равной 100.
Блок протоколов и статистики. Записывается в память компьютера фамилия студента, дата экзамена, список тем, входивших в эту работу, и распределение набранных баллов. Эти данные не могут быть изменены и при необходимости распечатываются.
Рассматриваемая система пригодна не только для итоговой проверки (экзамена, зачета), но и для текущего контроля, промежуточной аттестации по отдельным темам, самопроверки. В ходе самопроверки студент не только выясняет, справляется ли он с экзаменационными вопросами, но и получает при необходимости полезные методические указания.
Система интерактивного тестирования обучаемых (СИТО) предназначена для мониторинга знаний с помощью тестовых заданий. Система поддерживает следующие аспекты тестирования:
- тестирование по различным дисциплинам, по отдельным разделам (множеству разделов) дисциплины;
- тестирование с различными целями (промежуточная и заключительная аттестации, самопроверка, обучающее тестирование);
- тестирование различных категорий пользователей (студенты очной и заочной форм обучения, студенты экстерната и обучающиеся по дистанционной форме, студенты филиалов, школьники, слушатели курсов, абитуриенты).
СИТО имеет веб-интерфейс для всех режимов работы и поэтому применяется и в Интернете, и в корпоративной сети. Это позволяет использовать одни и те же тесты для студентов, очной, заочной и дистанционной форм обучения, а также для студентов, обучающихся в филиалах вузов. В то же время СИТО имеет возможность тонкой настройки проведения тестирования, что позволяет адаптировать тесты к таким разным целевым аудиториям, как студенты очной формы обучения и дистанционного обучения.
Большое разнообразие типов вопросов обеспечивает проверку различных уровней усвоения материала. Удобные инструменты конструирования и редактирования вопросов позволяют создавать обширный банк тестовых заданий. Развитая система представления результатов тестирования позволяет проводить глубокий анализ качества образовательной деятельности в вузе. Наличие процедур анализа тестовых заданий в свою очередь позволяет оценить качество тестов и выдать рекомендации по его совершенствованию.
Система СИТО разработана в соответствии со стандартом QTI (Question and Test Interoperability) консорциума IMS. Стандарт IMS QTI является общепринятым для систем тестирования; его поддерживают все основные обучающие среды (Learning Space, TopClass, WebCT, BlaсkBoard, среди российских систем ОРОКС). Поддержка данного стандарта делает возможным обмен тестовыми материалами между различными системами.
Система СИТО оперирует следующими основными понятиями, большинство из которых базируются на стандарте IMS QTI 1.2:
- курс - объединение теоретического материала и тестовых заданий, которые могут содержать любые объекты - текст, графику, музыку, видео, приложения и т.д.; теоретический материал может быть структурирован по разделам курса;
- вопросы - единица тестирования, которая может быть привязана к конкретному разделу курса, или к курсу в целом; вопрос в СИТО состоит из формулировки, которая может содержать любые объекты, а также формы их представления и правила обработки ответов на вопрос;
- секции - набор вопросов, объединенных по некоторому правилу (одновременно могут использоваться несколько правил);
- тесты - набор секций, объединенных по некоторому правилу, где секции могут быть из разных курсов (для проведения междисциплинарных экзаменов);
- подразделение - учебное подразделение, которое является собственником курса, следовательно, и вопросов курса.
Пользователю необходимо знать, что система поддерживает четыре типа тестов: самопроверка, обучающий тест, экзамен и промежуточный контроль. В процессе выполнения самопроверки или обучающего теста студент может узнать правильный ответ, получить подсказку или решение. В экзамене или тесте для промежуточного контроля просмотр решения или подсказки запрещен.
Итак, согласно стандарту IMS QTI (4) тест в СИТО состоит из секций. Иногда при создании теста можно использовать «мастер», который создаст тест без явного создания секций (что не мешает секциям быть созданными автоматически, согласно правилам). Для редактирования теста необходимо использовать режим, в котором редактируются секции и правила их вхождения в тест.
Немаловажным для пользователя является знание правил выбора вопросов, которые включают: правила выбора и правила отображения. Выбор вопросов в секцию осуществляется согласно следующим правилам:
• вопросы могут выбираться из некоторого постоянно заданного их множества, что позволяет гарантировать попадание в секцию только определенных вопросов;
• вопросы могут выбираться из некоторого (возможно) непостоянного их множества, что позволяет автоматически включать в секцию вновь созданные вопросы;
• вопросы могут выбираться по достижении секцией определенного суммарного балла, что позволяет формировать секции с заданной сложностью, независимо от того, сколько вопросов в него входит;
• вопросы могут быть выбраны по принадлежности к определенному разделу курса;
• вопросы могут выбираться по достижении некоторого количества их в секции;
• вопросы могу выбираться с учетом балла, что позволяет задавать им допусти-
Спивакова В.В.
«Проблемы и перспективы компьютерной системы проверки знаний студентов»
мую сложность (меньше, в диапазоне, больше);
• вопросы могут выбираться с учетом того, были ли они предложены ранее данному студенту или в систему самопроверки, или обучающий тест;
• вопросы могут отображаться последовательно, что позволяет распределять их в заданном порядке. Множество вопросов в этом случае всегда ограничено. Такой тип отображения необходим, когда имеются связанные друг с другом вопросы;
• вопросы могут выбираться случайно. Это правило отображения доступно и для ограниченного и для неограниченного множества вопросов;
• вопросы могут отображаться по возрастанию баллов. Правило позволяет из заданного множества вопросов формировать последовательность с возрастающей сложностью.
Большинство перечисленных правил могут объединяться. Например, в тест можно включать вопросы с баллом от 5 до 10 в количестве 17 штук из неограниченного их множества, так, чтобы суммарная сложность теста не превышала 115 вопросов. Последние ранее не должны быть заданы студенту. При чем вопросы должны отображаться по возрастанию их сложности.
Использование секций с различными правилами выбора позволяет формировать тесты в зависимости от задачи. Например, несколько однотипных вопросов могут быть объединены в секцию, в которой установлено правило: случайный выбор одного вопроса. В результате обеспечивается гарантированное представление пользователю не более одного однотипного вопроса. Промежуточные аттестации по дисциплине могут быть организованы из секций, в которые включены вопросы, принадлежащие определенным разделам. Поскольку секции могут быть вложены друг в друга, то возможна тонкая настройка теста.
Результатом теста является суммарное число баллов, полученных за каждый вопрос. Однако итоговая оценка может быть представлена не только в баллах, но и в традиционных оценках: «неудовлетворитель-
но», «удовлетворительно», «хорошо» и «отлично». Соответствие баллов и оценок определяет автор теста (по соотношениям набранного числа баллов к общему числу баллов теста).
Дидактическая направленность тестов зависит от их типа. Для самопроверок и первичного обучения целесообразны тесты од-ноэтапного назначения. Для промежуточной и итоговой аттестации необходимо использовать двухэтапные тесты.
На первом этапе преподаватель предлагает тест группе студентов. Это можно делать на любом занятии. Тест на самопроверку и обучающий тест носят персональный характер.
Персонально тесты могут использоваться в случае недопущения студента к итоговой или промежуточной аттестации. Чтобы обеспечить выполнение теста только допущенными к аттестации студентами, необходимо реализовать второй этап назначения. В этой связи тест должен быть адресован каждому студенту. При этом важно иметь в виду, что на втором этапе необходимо назначать тестирование тем, которые выполнили его на первом этапе.
Итак, для тестирования целесообразны те тесты, которые отвечают следующим условиям:
• тест является средством самопроверки или обучения; он назначен группе студентов или студенту, при этом временной диапазон легитимен;
• тест является средством реализации итоговой или промежуточной аттестации; он предназначен персонально студенту, а его временной диапазон легитимен.
В декабре 2006 года в Ставропольском государственном аграрном университете был проведён Федеральный Интернет-экзамен в режиме компьютерного тестирования. Его целью явилась оценка содержания и уровеня подготовки студентов на соответствие требованиям ГОС. Методическая поддержка для вуза включала: модель оценки результата освоения дисциплины, структуру информационно-аналитической карты результатов педагогических измерений, формы представления результатов педаго-
гических измерений, инструкцию по заполнению схемы участия, рекомендации эксперту по проведению тестирования.
К важнейшим его достоинствам можно отнести оперативность при подведении итогов, их гласность, объективность оценивания, меньшая трудоемкость при редакции тестов, простота и экономичность их тиражирования, возможность осуществления самоконтроля, дистанционное взаимодействие с обучающимся. В заключение отметим, что применение Интернет-технологий в электронном тестировании не просто расширяет географические рамки, но прежде всего предоставляет дополнительный инструментарий оценки взаимодействия с обучаемым. Интернет-тестирование не является альтернативой личному участию обучающегося в формах итогового контроля, а является инструментом, который расширяет и дополняет традиционные средства контроля знаний обучаемых.
ЛИТЕРАТУРА
1. Болотов В.А., Шмелев А.Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста//Высшее образование сегодня. - 2005. - № 4. - С. 16-21.
2. Матушанский Г.У. Педагогическое тестирование в России//Педагогика. - 2002. - № 2. - С. 15-21.
3. Кабанов А.А. Тестирование студентов: достоинства и недостатки//Педагогика. -1999. - № 2. - С. 66-68.
4. IMS QTI v. l. 2. http://www. imsglobal. org
5. Игнатова И.Г., Соколова Н.Ю. Электронный учебный план как основа интеграции компьютерных средств обучения в системе ОРОКС // Открытое образование. - 2004. -№ 3. - С. 51-54.
Об авторе
Спивакова Вероника Васильевна, преподаватель кафедры иностранных языков и межкультурной коммуникации Ставропольского государственного аграрного университета. Научные интересы - дистанционное обучение в вузе.
