CC BY
245
Educational Technology & Society 9(1) 2006 ISSN 1436-4522
Вопросы организации компьютерного контроля знаний
Н.О.Прокофьева Рижский технический университет, Рига, Латвия natalija@egle.cs.rtu.lv
АННОТАЦИЯ
В работе рассматриваются вопросы организации компьютерной проверки и оценки знаний студентов с учетом методических и технических аспектов данной проблемы. Описаны основные этапы эволюции развития контроля знаний, классификация методов контроля знаний (КЗ), которые могут быть полезны как разработчикам систем компьютерного КЗ, так и преподавателям при выборе стратегии проведения КЗ и выставления оценки при компьютерном обучении.
The paper studies problems of student knowledge control organization and knowledge assessment considering methodical and technical aspects. The main steps of knowledge control (KC) evolution are shown. KC methods classifications are given that can be useful as for computer-based KC systems developers as for tutors to choose startegy of KC organization and marks definition in computer-based teaching
Ключевые слова
контроль знаний, методы, модели, адаптация, классификация.
Введение
Одним из направлений совершенствования процесса обучения является разработка оперативной системы контроля знаний, умений и навыков, позволяющей объективно оценивать знания студентов, выявляя имеющиеся пробелы и определяя способы их ликвидации. Поэтому вопросы контроля знаний (КЗ) интересуют многих ученых, как педагогов, так и специалистов в области информационных технологий. В настоящее время существует большое количество разнообразных способов проведения контроля и оценки знаний как при традиционном, так и при компьютерном обучении. В данной работе описаны основные результаты исследований проблемы компьютерного контроля знаний: этапы эволюции развития контроля знаний, классификация методов проведения контроля и моделей оценки знаний, рассмотрены вопросы организации компьютерного контроля знаний с точки зрения методических и технических аспектов проблемы.
Эволюция контроля знаний
В настоящее время практически все вузы оснащены компьютерами, имеют свои локальные сети, доступ к сети Intemet, что позволяет перейти от традиционных методов обучения и оценки полученных знаний к новым обучающим технологиям. Можно выделить пять этапов в эволюции развития контроля знаний, которые отражают формы организации КЗ и роль преподавателя в этом процессе:
1. Традиционный контроль знаний. Для оценки знаний студентов в учебном процессе традиционно используются такие формы контроля знаний, как: контрольная работа, коллоквиум, лабораторная работа, курсовая работа, курсовой проект, реферат, домашнее задание, собеседование, тестирование, зачет, экзамен, дипломная работа. Преподаватель подготавливает варианты заданий, проверяет и оценивает результаты работы студентов.
2. Контроль знаний с использованием бумажных (не компьютерных) средств. При данном подходе для контроля используются заранее подготовленные бланки, содержащие контрольные задания (тесты). Студенты заполняют выданные бланки, решая задания и отвечая на вопросы. Преподаватель проверяет работы, используя специальные трафареты и таблицы ответов.
3. Контроль знаний с использованием технических устройств. При данном подходе выделяют два способа организации контроля: - студент, получив от преподавателя индивидуальный набор заданий, выполняет его и вводит в устройство номер своего варианта и результат решения каждого задания, а устройство проверяет введенные ответы, расчитывает и выводит оценку за работу; - устройство используется как для ввода заданий, для проверки корректности введенных ответов, так и для вывода результатов контроля и/или оценки.
4. Компьютерный контроль знаний. Организация контроля в данном случае направлена, во-первых, на то, чтобы облегчить работу преподавателя, освободив его от рутины проверки письменных работ (он может посвятить больше времени индивидуальным занятиям со студентами) и, во-вторых, на повышение объективности проводимой проверки и оценки знаний. Контроль знаний обеспечивают специальные компьютерные программы, в которых осуществляется: формирование индивидуального набора контрольных заданий каждому обучаемому; вывод заданий на экран; анализ ответов обучаемого; выставление оценки; хранение результатов контроля и данных о работе студента с обучающей программой, которые могут быть впоследствии использованы преподавателем и др.
5. Удаленный контроль знаний. Данный подход является одной из форм компьютерного КЗ, появление которой связано с широким использованием в учебном процессе возможностей сети 1Ш:ете1 Отличительными чертами удаленного КЗ является применение современных технических средств связи и передачи информации между обучаемым и преподавателем, а также свобода выбора обучаемым темпов обучения, времени и места обучения.
По сравнению с традиционными формами КЗ, компьютерный контроль знаний, умений и навыков имеет ряд преимуществ: использование новейших методик проверки и оценки знаний студентов, современных информационных технологий, возможная адаптация к индивидуальным характеристикам студентов.
Однако, применение компьютерных технологий в учебном процессе требует более четкого и однозначного определения целей контроля, отбора методического материала для оценки знаний и умений студентов, с учетом цели проводимой проверки, а также разработки модели (ей) контроля и оценки знаний.
Контроль знаний при компьютерном обучении
Проблемы компьютерного контроля знаний обычно рассматриваются в двух аспектах: методическом и техническом (Зайцева, 2000; Прокофьева, 2003).
Методические аспекты контроля знаний связаны с решением педагогических и психологических вопросов, то есть организация КЗ рассматривается с точки зрения дидактики. К методическим аспектам относятся:
- выбор заданий для проверки знаний, умений и навыков обучаемого («что контролировать?»);
- планирование проведения контроля знаний («когда контролировать?»);
- определение требований к формированию набора контрольных заданий («как контролировать?»).
1. Определение типов и трудности вопросов для проверки знаний,
умений и навыков студентов. Вопрос «что контролировать?» тесно связан с педагогической задачей самого процесса обучения. Как известно, основной вопрос дидактики «чему учить?» включает в себя определение цели обучения, что является важным и при создании
компьютерной системы. При организации компьютерного КЗ также необходимо определить цели проводимого контроля на каждом этапе учебного процесса. Задача контроля - определение соответствия подготовленности обучаемого тому или иному уровню усвоения учебного материала. На этапе восприятия, осмысления, запоминания оценивается уровень знаний обучаемого о предметной области и понимания основных положений. Способность применять полученные знания для решения конкретных задач или в ситуации, требующей проявления позновательной самостоятельности, оценивается как соответствие требуемым навыкам и/или умениям. Оценка качества знаний на каждом уровне (знания, умения, навыки) может быть осуществлена с помощью использования различных типов заданий (Brusilovsky, 1999; Зайцева, 2002; Прокофьева, 2003). При разработке заданий для контроля важно установить для проверки каких знаний, умений и/или навыков и для какого вида КЗ предназначено данное задание, а также сформулировать цели включения его в банк контрольных заданий.
2. Планирование проведения контроля знаний. Вопрос «когда контролировать?» связан с проблемой полноты проверки знаний и умений. Учебный процесс принято рассматривать как распределенный во времени процесс формирования требуемых знаний, навыков и умений. В данном случае оценивание происходит поэтапно и позволяет осуществить качественный и полный контроль. В зависимости от времени проводимой проверки различают четыре вида контроля знаний (Зайцева, 2002): исходный (предварительный) контроль (проводится непосредственно перед обучением, позволяет оценить начальный уровень знаний студента и соответственно планировать обучение); текущий контроль (осуществляется в ходе обучения, позволяет определить уровень усвоения студентом отдельных понятий учебного материала и скорректировать дальнейшее изучение предмета); рубежный контроль (проводится по завершении определенного этапа обучения, служит для оценки уровня знаний студента по теме или разделу курса); итоговый контроль (позволяет оценить знания, умения и навыки студента по курсу в целом).
3. Определение требований к формированию набора вопросов и заданий для опроса. Учебный процесс с использованием компьютерных технологий может быть представлен как моделирование учебной деятельности, при которой компьютер выполняет ряд функций преподавателя, в частности, организацию диалога в виде сценария -алгоритма управления учебной и познавательной деятельностью обучаемого. Поэтому важным методическим аспектом контроля является формирование набора контрольных заданий, в зависимости от вида и цели контроля. Существуют различные методы формирования заданий для контроля: случайная последовательность вопросов и заданий разной сложности, трудности и значимости; специальный набор заданий различной сложности, сформированный для проверки определенного или комплексного уровня подготовки (знания, умения и/или навыки) и предъявляемый в заданной последовательности; набор заданий, предъявляемый в порядке нарастания уровня сложности; группа заданий, порядок выполнения которых выбирает сам обучаемый и др.
Технический аспект связан, в первую очередь, с проблемой реализации планируемого контроля знаний, с выбором подходящего алгоритма для оценки контрольных работ. К техническим аспектам относятся:
1. Формирование набора контрольных заданий на основе выбранного подхода. Данный аспект связан с непосредственной реализацией контроля и оценки знаний в компьютерной системе КЗ, с учетом цели и вида проводимого контроля. На основе выбранного метода формирования контрольных вопросов происходит автоматическая подготовка задания (или набора заданий) для контроля и выдача его
студенту, то есть управление контролем реализуется путем генерации контрольных заданий с учетом различных параметров контроля знаний.
2. Выбор и использование в системе контроля параметров КЗ. Параметры контроля могут быть условно разделены на три группы: параметры, характеризующие отдельное задание и его выполнение (например, дидактические характеристики задания; тип задания; время, отведенное для выполнения задания; время выполнения задания обучаемым; количество обращений к справочной информации при выполненит задания; количество попыток выполнить задание и др.); параметры, характеризующие работу обучаемого с набором контрольных заданий (количество заданий; количество ответов; количество правильных ответов; количество неправильных ответов; общее время, затраченное на выполнение заданий; количество заданий, выполненых с превышением времени; количество обращений к справочной информации при выполнении заданий; уровень подготовки обучаемого; количество невыполненых заданий; сложность, значимость и трудность контрольной работы и др); параметры, используемые для настройки алгоритма, обычно задаются преподавателем, но могут иметь и заранее установленные значения (максимальный балл или оценка; граничные значения для выставления оценки и др.).
3. Выбор алгоритма для оценки знаний студентов. Любой алгоритм оценки знаний предусматривает сбор, анализ и/или преобразование данных, получаемых в процессе контроля, и, непосредственно, формирование самой оценки (суммы баллов, рейтинга, ранга). Различают алгоритмы, которые применяются для выставления оценки только по завешению контроля, то есть на последнем этапе процесса оценивания. Однако, большинство алгоритмов используются параллельно с контролем знаний, когда оценка может быть выставлена за выполнение отдельного задания, контрольной работы или по дисциплине в целом, при этом полученная оценка обязательно учитывается в используемом методе проведения КЗ.
Таким образом, для управления процессом компьютерного КЗ необходимо наличие, с одной стороны, методов проведения (организации) контроля, с другой стороны, методов и моделей оценки знаний, умений и навыков студента по результатам выполнения им контрольных заданий.
Методы проведения контроля и модели оценки знаний
Рассматривая предлагаемые в настоящее время методы компьютерного КЗ и учитывая современные требования индивидуализации процесса обучения, отметим, что важным фактором, определяющим достоинство и преимущество того или иного метода КЗ, является степень (уровень) адаптации к индивидуальным характеристикам студентов и возможность применения оптимальных параметров проведения контроля знаний (например, количества и типа контрольных заданий, времени контроля, видов помощи и т.п.).
С этой точки зрения, методы проведения контроля знаний можно разделить на три класса (Зайцева, 2004):
• неадаптивные методы:
о строгая последовательность; о случайная выборка; о комбинированный метод.
• частично адаптивные методы:
о случайная выборка с учетом отдельных параметров модели студента (МС);
о контроль на основе ответов студента; о контроль на основе модели учебного материала (УМ); о модульно-рейтинговый метод.
• полностью адаптивные методы:
о контроль по модели студента;
о контроль по моделям студента и учебного материала.
Общим для всех неадаптивных методов является то, что в процессе контроля все студенты проходят одну и ту же, заранее определенную автором, последовательность кадров (проверочных заданий). Эта последовательность не зависит от действий обучаемого во время контроля, в результате, всем студентам выдаются контрольные вопросы одинаковой трудности либо в виде фиксированного набора, либо случайным образом. Число заданий является постоянным для всех студентов, не зависимо от их уровня подготовленности ^ВТ, 1999; WebCT, 1999).
В частично адаптивных методах проведения КЗ последовательность и число контрольных заданий различны для сильных, средних и слабых студентов. Количество проверочных вопросов зависит от уровня подготовленности студентов и всегда будет переменным числом. В данном случае формирование контрольных заданий различной трудности происходит с учетом ответов обучаемого и/или на основе подготовленного автором (преподавателем) сценария проведения контроля знаний (например, с использованием информации из модели студента или учебного материала) (Андреев, 2002; Артемов, 1999; вакеу, 2002).
Адаптивные методы максимально используют данные из модели студента (например, уровнь подготовленности студента, уровень беспокойства-тревоги, правильность ответа и др.) и/или модели учебного материала (например, взаимосвязи между проверяемыми понятиями) и позволяют организовать контроль индивидуально для каждого студента, поддерживая, например, оптимальный для студента уровень трудности выдаваемых контрольных заданий или формируя индивидуальные стратегии контроля по отдельной теме, разделу или курсу в целом (Грушецкий, 2004).
Проверка знаний студентов может быть осуществлена с учетом различных критериев формирования оценки. В зависимости от этого методы оценки знаний можно разделить на три основных класса:
• на основе количественных критериев:
о простейшая модель; о модели, учитывающие типы заданий; о модели, учитывающие характеристики заданий; о модели, учитывающие характеристики заданий и параметры КЗ.
• на основе вероятностных критериев:
о модели, учитывающие вероятность правильного ответа; о модели, учитывающие неопределенность ответа.
• на основе классификационных критериев:
о модели на основе алгоритма вычисления оценок (АВО);
о модели на основе нечетких множеств.
В моделях на основе количественных критериев в качестве измерения
обычно выступает числовое множество, то есть количественная шкала,
предназначенная для представления оценки числом. В данном случае
предусматривается вычисление некоторой величины, которая затем, как правило, сравнивается с предварительно заданными граничными значениями, определяющими интервалы оценивания в принятой шкале измерения. Рассчитываемая величина
может представлять собой, например, сумму баллов, полученных студентом за
правильные ответы на контрольные задания. При этом начисление баллов может происходить как с учетом типа предлагамых студенту контрольных заданий, их дидактических характеристик, так и с учетом параметров КЗ, используемых при формировании данной оценки (Белоус, 2003; Шкиль, 2002).
В моделях на основе вероятностных критериев главным являются
утверждения о зависимости вероятности правильного ответа студента от уровня его подготовленности и от параметров задания. Модели данного типа также позволяют решать задачи диагностики (контроля), которые характеризуются необходимостью учета неопределенности ответов обучаемых (Нейман, 2001; Ахламов, 2002).
Модели на основе классификационных критериев, то есть на основе определения класса принадлежности предусматривают отнесение студента к одному из устойчивых классов с учетом совокупности признаков, определяющих данного студента. При этом используется специальная процедура вычисления степени похожести (оценки) распознаваемой строки (совокупности признаков обучаемого) на
строки, принадлежность которых к классам заранее известна (Журавлев, 1978; Зайцева, 1989).
Таким образом, для проверки знаний студентов применяются разннообразные модели и алгоритмы оценивания (Прокофьева, 2001, 2002), а также большое количество методов проведения компьютерного контроля знаний, часть из которых в той или иной мере можно считать адаптивными. Однако, только 9% компьютерных систем учебного назначения реализуют действительно адаптивный подход при организации контроля и оценки знаний студентов (Прокофьева, 2003).
В процессе исследования был проведен опрос мнений специалистов, занимающихся вопросами контроля знаний при компьютерном обучении, а также педагогов высших учебных заведений. Респондентам было предложено ответить на вопросы специально подготовленной анкеты, в которой были представлены возможные варианты применения рассмотренных выше методов проведения КЗ при исходном, текущем, рубежном и итоговым контроле. Полученные результаты приведены в таблице 1.
Таблица 1. Методы проведения контроля знаний и виды КЗ
Вид КЗ Метод проведения КЗ
Строгая последовательность Случайная выборка Комбинированный метод Случайная выборка с учетом параметров МС Контроль на основе ответов студента Контроль на основе модели УМ Модульнорейтинговый метод о М о а ль о тр н 3 Контроль по МС и УМ
Исходный - - - + + - - + -
Текущий - + + + + + - + +
Рубежный - - - + + + - + +
Итоговый - - - - + - + + +
Предварительная обработка результатов опроса показала, что по мнению экспертов, при организации исходного контроля и оценки знаний целесообразно использовать методы случайного формирования заданий различной трудности, но с учетом уровня подготовленности студента или его ответов. Методы “Случайная выборка” и “Комбинированный метод” подходят для текущего контроля. Рубежный и итоговый контроль знаний целесообразно проводить с помощью адаптивных методов КЗ, которые учитывают информацию о студенте и его работе во время сеанса (число правильных и неправильных ответов; время, затраченное на выполнение задания и/или работы в целом; число попыток выполнить задание и т.д.), а также с учетом модели учебного материала.
Заключение
Одной из наиболее важных задач при создании компьютерных средств учебного назначения является организация контроля знаний. При этом, анализируя сложившуюся ситуацию, можно сделать вывод, что на данный момент решение проблемы качественной оценки знаний, умений и навыков студентов при компьютерном обучении в большой степени связано с правильным выбором метода (или методов) организации и проведения контроля знаний, позволяющих получить достоверную оценку знаний учащихся, учитывая их индивидуальные способности.
Методы проведения контроля и методы оценивания тесно взаимосвязаны. Применение того или иного способа формирования набора заданий для контроля и алгоритма оценивания зависит от цели и вида контроля знаний, используемых параметров КЗ, требуемого уровня подготовленности студентов. Поэтому, выбор метода и модели организации КЗ зависит от того, насколько полную информацию о
студенте и его работе предполагается использовать в компьютерной системе контроля знаний, а также - от планируемого вида КЗ.
В процессе дальнейшей работы планируется продолжить исследование моделей проведения контроля и оценки знаний с целью выработки рекомендаций по их применению для организации различных видов контроля знаний.
Эта работа выполнена при содействии Европейского социального фонда в рамках проекта «Поддержка развития докторантуры РТУ» Национальной программы «Содействие осуществлению программ докторантуры и исследований после нее»
Литература
[Андреев, 2002] Андреев А.Б., Акимов А.В., Усачев Ю.Е. Экспертная система анализа знаний ”Эксперт-ТС” // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, - p. 97 - 101.
[Артемов, 1999] Артемов А., Павлова Н., Сидорова Т. Модульно-рейтинговая система // Высшее образование в России. - 1999. -№4. -с. 121 - 125.
[Ахламов, 2002] Ахламов А.Г., Белоус Н.В. и др. Математические методы современной теории тестирования // Образование и виртуальность - 2002. Сборник научных трудов 5-й Международной конференции. - Харьков - Ялта: УАДО, 2002. -с.331.-336.
[Белоус, 2003] Белоус Н.В., Войтович И.В., Пархоменко С.А. Модель обучения на основе тестовых заданий произвольных форм // Образование и виртуальность - 2003. Сборник научных трудов 6-й Международной конференции. - Харьков - Ялта: УАДО, 2003. - с.71.-74.
[Грушецкий, 2004] Грушецкий С.В., Рудинский И.Д. Построение модели адаптивного тестирования с использованием элементов теории графов // Труды XIV Международной конференции-выставки ИТО-2004 / Интернет. -
http://sputnik.mto.ru/Docs 41/Mat edu conf/doc/4617.html
[Журавлев, 1978] Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. - 1978. - Вып. 33. - с. 5 -68.
[Зайцева, 1989] Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. - Под ред. Л.В.Ницецкого. - Рига : “Зинатне”, 1989. - 174 с.
[Зайцева, 2000] Зайцева Л.В. Некоторые аспекты контроля знаний в дистанционном обучении.- Образование и виртуальность - 2000. Сборник научных трудов 4-й Международной конференции. - Харьков - Севастополь: УАДО, 2000, - с.126-131. [Зайцева, 2002] Зайцева Л.В., Прокофьева Н.О. Проблемы компьютерного контроля знаний // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, - p. 102
- 106.
[Зайцева, 2004] Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивного контроля знаний // Educational Technology & Society. - Nr.7(4), 2004 ISSN 1436-4522 (Международный электронный журнал). / Интернет. -
http://ifets.ieee.org/russian/depository/v7 i4/html/1.html
[Нейман, 2001] Нейман Ю.М. Как измерять учебные достижения? // Вопросы тестирования в образовании. №1, 2001. М.:, с.40.-56.
[Прокофьева, 2001] Прокофьева Н.О. Алгоритмы оценки знаний при дистанционном обучении // Образование и виртуальность - 2001. Сборник научных трудов 5-й Международной конференции. - Харьков - Ялта: УАДО, 2001, - с. 82 - 88. [Прокофьева, 2002] Прокофьева Н.О. Сравнительный анализ алгоритмов оценки знаний // Интернет - Образование - Наука - 2002. Сборник научных трудов 3-й Международной научно-практической конференции. - Винница: ВГТУ, 2002. - с. 85
- 87.
[Прокофьева, 2001] Прокофьева Н.О. Алгоритмы оценки знаний при дистанционном обучении // Сборник научных трудов 5-й Международной научно-методической конференции «ОБРАЗОВАНИЕ И ВИРТУАЛЬНОСТЬ (ВИРТ)». - Харьков - Ялта: УАДО, 2001, - с.82-88.
[Прокофьева, 2003] Прокофьева Н.О. Методические аспекты компьютерного контроля знаний // Труды X научно-методической конференции
ТЕЛЕМАТИКА'2003. Том 2. Секции D, E. - Санкт-Петербург, 2003. - с. 366 - 367. [Шкиль, 2002] Шкиль А. С., Чумаченко С.В., Напрасник С.В. Методика оценивания в компьютерной системе тестирования знаний // Образование и виртуальность - 2002. Сборник научных трудов 5-й Международной конференции. - Харьков - Ялта: УАДО, 2003. - с.340.-345.
[Brusilovsky, 1999] Brusilovsky P., Miller P. Web-based testing for distance education // WebNet'99. ngs of AACE World Conference of the WWW and Internet.-Honolulu, HI, 1999, - p. 149 - 154.
[Galeev, 2002] Galeev I., Sosnovsky S., Chepegin V. MONAP-II: the analysis of quality of the learning process model // Proceedings. IEEE International Conference on Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan, Russia, 2002, - p. 116 - 120.
[WBT , 1999] WBT Systems (1999). TopClass 3.0, WBT Systems, Dublin, Ireland. http:www.wbtsystems.com/ (Accessed 5 July, 1999).
[WebCT, 1999] WebCT. World Wide Web Cource Tools 1.3.1. WebCT Educational technologies. - Vancouver, Canada / Internet. - http://www.wbtsystems.com
