CC BY
113
В. П. Овчаренко
КОНСТРУИРОВАНИЕ ТЕСТОВ В КОМПЬЮТЕРНОЙ ФОРМЕ ДЛЯ ОЦЕНИВАНИЯ УРОВНЯ ОБУЧЕННОСТИ СТУДЕНТОВ
Работа представлена кафедрой лингвистического образования.
Научный руководитель - доктор педагогических наук, профессор И. А. Цатурова
В статье описывается роль тестов в компьютерной форме в современной системе оценивания уровня обученности студентов. Дается определение критериально-ориентированного теста и ряда других, ключевых для составления теста, понятий, например: спецификации теста, области содержания теста, надежности, валидности, пилотного теста. Рассматриваются этапы разработки критериально-ориентированного теста в компьютерной форме. Особое внимание уделяется правилам разработки тестовых заданий, экспертной оценке содержания тестовых заданий и их формы. Приводится ряд преимуществ тестов в компьютерной форме перед тестами на бумажных носителях, таких как значительная экономия времени при разработке теста и проведении тестирования, повышение информационной безопасности, экономическая целесообразность, моментальная обратная связь, высокая вариабельность тестов.
The article describes the role of computer-assisted achievement tests in the modern system of students' assessment. Criterion-referenced tests, test specification, test content, reliability, validity and pre-test are defined. The stages of a computer-assisted test are examined. Special attention is paid to the rules of items construction, experts' evaluation of items form and content. Advantages of computer-assisted tests over conventional tests are given. The most important among them are considerable time economy during test designing and testing, information security rise, economic expediency, quick backwash, high tests variability.
Отличительной чертой современного этапа развития педагогической науки является изменение структуры и содержания образования, связанное с информатизацией общества в целом. Новые методы обучения, основанные на активных, самостоятельных формах овладения знаниями и формирования компетенций, вытесняют методы, широко используемые традиционной методикой обучения. Новые методы обучения нуждаются в новых методах оценивания уровня обученности, которые бы отвечали всем требованиям, предъявляемым современной педагогической наукой.
Не вызывает сомнений, что система педагогического контроля в современной системе обучения должна быть эффективной, объективной, психологически комфортной и экономичной.
Мы считаем метод тестов самым перспективным для создания системы контроля, отвечающей этим требованиям. Педагогическое тестирование занимает достойное место в современной методике преподавания, оно являлось и является предметом исследования многих специалистов1.
В настоящее время можно констатировать, что тестирование получило признание в нашей стране и стало общепринятой формой как текущего, так и итогового контроля.
Однако, по нашему мнению, использование компьютерных технологий в тестировании позволит осуществить значительные изменения при оценивании уровня обученности.
Курс изучения любой дисциплины заканчивается экзаменом или зачетом. Во многих случаях целесообразно помимо устного экзамена (зачета) провести аттестационный тест, который значительно поможет облегчить работу преподавателя. Так как мы рассматриваем аттестационный тест, который проводится после завершения изучения дисциплины с целью определения соответствия учебных достижений студентов образовательным стандартам уровня обучения, то разрабатываемый тест являлся критериально-ориентированным.
Критериально-ориентированным тестом считается педагогический тест, предназначенный для оценки уровня подготовленности каждого тестируемого относительно требований учебной программы.
Полный объем базовых компетенций, которые должны быть сформированы в результате изучения курса обучения и овладение которыми определяется тестом, называется областью содержания теста. С ней необходимо соотнести учебные достижения отдельных студентов, чтобы определить, какую долю учебного материала они усвоили.
Критериально-ориентированные педагогические тесты используются для разделения студентов на группы на основании заранее выбранного критерия. При проведении аттестации студентов в вузе рассматривается возможность выделения четырех групп студентов - неусвоивших, слабо усвоивших, хорошо усвоивших и полностью усвоивших содержание дисциплины. Для отнесения к определенной группе студент должен достичь необходимого минимального для этой группы уровня овладения учебным материалом. Этот уровень устанавливается разработчиками теста и является критерием, на основании которого принимается решение относительно испытуемого. В тесте критерий выражается определенным количеством заданий, выполнение которых позволяет отнести его в одну из указанных групп.
При разработке критериально-ориентированного педагогического теста в компьютерном виде можно выделить следующие этапы:
1. Определение цели тестирования, выбор вида.
2. Анализ содержания учебной дисциплины .
3. Определение структуры теста и порядок расположения заданий.
4. Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.
5. Разработка тестовых заданий.
6. Экспертиза содержания тестовых заданий.
7. Экспертиза формы тестовых заданий.
8. Переработка содержания и формы по результатам экспертизы.
9. Проведение пилотного тестирования.
10. Сбор эмпирических результатов.
11. Статистическая обработка результатов выполнения пилотного тестирования.
12. Интерпретация результатов обработки в целях улучшения качества теста.
13. Коррекция содержания и формы на основании данных предыдущего этапа.
14. Повторение пилотного тестирования для выполнения очередных шагов по повышению качества теста.
15. Интерпретация данных обработки.
16. Окончательное формирование банка тестовых заданий.
Разработка теста начинается с формулирования его цели, т. е. определения того, что тест должен оценить.
Первоначально цель тестирования формулируется в общем виде. Для того чтобы приступить к разработке тестовых заданий, необходимо ее конкретизировать. Должны быть четко и однозначно описаны все компетенции, владение которыми проверяется с помощью теста, т. е. необходимо четкое описание области содержания теста.
После формулирования цели теста переходят к разработке спецификации теста.
Спецификация теста - документ, содержащий информацию о целях, задачах, планах и структуре теста, а также основные требования к правилам проведения тестирования, обработке результатов и их интерпретации. Спецификация обеспечивает репрезентативность заданий по отношению к области содержания. Спецификация составляется предельно ясно и четко и представляет собой, по сути, правила, по которым могут разрабатываться задания. При разработке спецификации необходимо стремиться сделать эти привила настолько четкими, чтобы их можно было использовать как алгоритмы.
После составления спецификации разрабатывается план теста, который должен
отражать все основные разделы теста (субтесты) максимально подробно.
После формулирования цели теста, составления спецификации и плана теста переходят к разработке тестовых заданий. При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного инструмента оценивания уровня сформированное™ определенных компетенций.
Согласно В. С. Аванесову существуют следующие правила для разработки тестовых заданий:
• необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, разделов ит. д.;
• задания теста должны быть сформулированы четко, кратко и недвусмысленно, чтобы все студенты однозначно понимали смысл того, что у них спрашивается. Важно проследить, чтобы ни одно задание теста не могло служить подсказкой для ответа на другое;
• варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа. Важно выбирать и наиболее приемлемую форму ответов на задания;
• учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы. Например, удобна альтернативная форма ответов, когда студент должен выбрать одно из перечисленных решений «да - нет», «верно - неверно». Часто в задании делаются пропуски, которые должен заполнить испытуемый, или же выбирать из представленного набора ответов верный. Обычно на выбор предлагаются 3-5 вариантов ответа.
Вместе с этим педагогический тест должен удовлетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валидностью. Надежностью теста является характеристика, от-
ражающая точность оценки уровня подготовленности с помощью теста, степень постоянства результатов тестирования и их устойчивость к действию посторонних случайных факторов. Валидность отражает способность теста служить той цели, для которой он создавался. Описываемый этап разработки теста включает в себя как само написание заданий, так и их анализ экспертными методами для выявления лучших и выбраковки неудачных.
Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соответствуют по содержанию предмету измерения, действительно ли задания позволяют измерить именно те компетенции и их аспекты, для которых разрабатывается тест. Оценку качества содержания тестовых заданий проводят независимые эксперты, не участвовавшие в разработке теста. К экспертизе следует привлекать наиболее опытных преподавателей, имеющих большой стаж работы. При экспертизе содержания тестовых заданий необходимо учитывать, что содержание тестовых заданий и теста самым тесным образом связано с содержанием образовательного процесса. В итоговом тесте не может быть содержания, которого не было бы в учебном кур -се. Таким образом, содержание теста -оптимально редуцированное отображение содержания учебной дисциплины в системе тестовых заданий.
Содержание заданий должно формулироваться как можно точнее, короче и яснее.
При анализе содержания теста необходимо учитывать, что авторы теста, зачастую неосознанно, стремятся как можно глубже и полнее отразить содержание учебной дисциплины в тестовых заданиях. Конечно, это естественно, так как весь учебный материал кажется им важным. Но увеличение объема материала может привести к увеличению длины теста, что может неблагоприятно сказаться на его характеристиках. Поэтому крайне важно
при составлении теста и при его экспертной оценке соблюдать критерии оптимальности отображения содержания учебной дисциплины в содержании тестовых заданий.
В качестве первого критерия можно рассмотреть полноту охвата содержания учебной дисциплины в содержании теста. Чем полнее отображение, тем выше валидность теста, тем выше уверенность в обоснован -ности выводов об уровне обученности студентов, которые будут сделаны на основании результатов данного теста.
Вторым критерием оптимальности можно считать правильность пропорционального отображения учебной дисциплины в тестовых заданиях. Необходима уверенность, что тест охватывает все важные аспекты дисциплины и в логически обоснованной пропорции.
Одновременно с экспертной оценкой содержания тестовых заданий проводится оценивание заданий с точки зрения их формы. В основе экспертных методов лежит соотнесение содержания и формы заданий с требованиями, изложенными в спецификации. Необходимо проверить соответствие содержания задания и формы, правильность логического расположения заданий. Эту работу выполняют тестологи, которым не обязательно быть профессионалами в дисциплине, по которой составлен тест.
После разработки и проведения экспертного анализа заданий получается первый вариант теста. Как правило, этот вариант бывает еще очень несовершенным. Чтобы повысить его качество, необходимо внести изменения по итогам реальной проверки (апробации) теста в студенческих группах, которое называют пилотным тестированием. Пилотный тест (предтест, пробный тест) - тест, соответствующий спецификации теста, но не прошедший апробацию и необходимую корректировку по ее результатам.
После проведения пилотного тестирования обычно оказывается, что тест требу-
22 1
ет доработки: удаления неудачных заданий, включения дополнительных заданий с требуемыми свойствами, повышения валидно-сти или надежности, исправления случайных ошибок, корректировки инструкций. Неудачными заданиями можно считать задания, не обладающие достаточной дифференцирующей способностью. Это те задания, которые практически все студенты выполнили верно или практически все выполнили неверно.
С учетом выявленных недостатков составляется новый вариант теста и опять проводится пилотное тестирование. Пилотное тестирование и корректировка теста должны проводиться до тех пор, пока не получится вариант теста с удовлетвори-тельными характеристиками эффективности теста. Наличие объемного банка заданий значительно облегчает эту работу.
Когда тестовые задания проверены на предмет их эффективности, они могут быть введены в общую базу тестовых заданий. После окончательной отладки тестирующей программы она может быть помещена на сервер сети.
Конструирование компьютерного теста для оценивания уровня обученности студентов является ответственным и трудоемким процессом, но работа с такими тестами оказывается эффективнее и экономичнее, чем работа с тестами на бумажных носителях.
Сравнивая компьютерные тесты и тесты на бумажных носителях, необходимо
отметить, что тесты в компьютерной форме имеют следующие преимущества:
• повышение эффективности тестирования за счет уменьшения продолжитель-ности теста;
• повышение информационной безопасности, поскольку случайная перестановка заданий в тесте или ответов в задании делает невозможным для тестируемого «механическое» копирование номеров правильных ответов;
• уменьшение затрат на тиражирование материалов для организации массового тестирования;
• обеспечение более комфортных условий для работы над тестом;
• доступность результатов тестирования сразу после окончания тестирования;
• возможность регулярно пополнять и модифицировать банк тестовых заданий;
• практически не ограниченная вариабельность тестов (при достаточном количестве тестовых заданий в банке);
• отсутствие ошибок при проверке выполнения тестов;
• полное исключение субъективности при проверке тестов;
• возможность всесторонней статистической обработки результатов тестирования.
Рассмотрев преимущества компьютерных тестов перед тестами на бумажных носителях, можно сделать вывод, что они являются экономичным, эффективным, объективным и психологически комфортным для студентов средством педагогического измерения.
ПРИМЕЧАНИЕ
1 Аванесов В. С. Композиция тестовых заданий: Учебная книга. 3-е изд., доп. М.: Центр тестирования, 2002; Васильев В. И., Демидов А. Н., Малышев Н. Г., Тягунова Т. Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Центр тестового контроля ВТУ, 2000; Майоров А. Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). М.: Народное образование, 2000; Челыш-кова М. Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. М.: Логос, 2002.
