CC BY
20Общие требования к разработке схем оценивания развернутых ответов
Муратова Ирина Анатольевна,
кандидат педагогических наук, доцент кафедры медиалингвистики факультета журналистики МГУ имени М.В. Ломоносова E-mail: [email protected]
Главным преимуществом использования тестовых технологий оценки считалась объективность оценивания, основой которой, является его надежность. Одним из условий обеспечения объективности и надежности является применение заданий закрытого типа, но, очевидно, применение таких задания с точки зрения обеспечения валидности измерения имеет определенные ограничения. В лингводидактическом тестировании это особо относится к оцениванию умений в таких видах речевой деятельности как письмо и говорение. И одним из главных средств объективизации оценки выполнения таких заданий, наряду с адекватной формулировкой задания и специальной подготовкой оценивающих, является подготовка эффективных схем оценивания.
В статье рассматриваются самые общие требования, предъявляемые к разработке оценки развернутых ответов в тестовых инструментах, в том числе лингводидактических тестах. Дается определение понятия схем оценивания, их типов, описывается порядок их разработки. Особое внимание уделяется вопросам обеспечения валидности и надежности оценивания развернутых ответов. Руководствуясь ими, возможно существенно повысить качество оценивания умений испытуемых в продуктивных видах речевой деятельности.
Ключевые слова: схема оценивания; холистическое оценивание, аналитическое оценивание, критерии, валидность оценочных схем, надежность оценочных схем.
о с
U
сэ см о см
Традиционно, главным преимуществом использования тестовых технологий оценки считалась объективность оценивания, основой которой, является его надежность. Одним из условий обеспечения объективности и надежности является применение заданий закрытого типа, но, очевидно, применение таких задания с точки зрения обеспечения валидности измерения имеет определенные ограничения. В лингводидактическом тестировании это особо относится к оцениванию умений в таких видах речевой деятельности как письмо и говорение. Здесь важно применение заданий с развернутым, свободно формулируемым ответом. И одним из главных средств объективизации оценки выполнения таких заданий, наряду с адекватной формулировкой задания и специальной подготовкой оценивающих, является подготовка эффективных схем оценивания.
На формирование высококвалифицированного кадрового состава существенное влияние оказывает качественный отбор и обеспечение непрерывного профессионального обучения на протяжении прохождения службы или осуществления соответствующих полномочий, с учетом лучших мировых практик и отечественных традиций. Проблема объективного оценивания уровня профессиональной компетентности во время отбора и прохождения обучения актуальна сегодня. Инструментарием такого оценивания могут быть стандартизированные тесты.
Анализ последних исследований. Наиболее известными в мире являются стандартизированные тесты SAT, erst, GMAT, LSAT, MCAT, TOEFL, CISCO и т.д. Общая проблема стандартизированного оценивания, в частности тестирования, в России находится на начальном этапе развития. Отдельные аспекты проблемы компьютерного тестирования профессиональной компетентности были предметом исследования ряда отечественных и зарубежных ученых, которые сосредоточили свое внимание на тестовых продуктах, тестовых процессах и организаторах, и разработчиках тестирования. Основные результаты исследований создают научную основу для дальнейшего изучения и внедрения стандартизированного компьютерного тестирования профессиональной компетентности студентов-филологов.
Цель статьи заключается в определении методических подходов к конструированию стандартизированных тестов для компьютерного оценивания уровня профессиональной компетентности студентов-филологов на примере лингвопедагоги-ческих тестов.
Профессиональная компетентность студента-филолога проявляется в его способности к анали-
тическои, организационно-управленческом и контролирующей деятельности и способности принимать решения и выполнять адекватные действия в реальных ситуациях управления общественным развитием и государственными процессами. Экспериментально доказано, что при измерении уровня профессиональной компетентности, где упор делается на когнитивном домене, метод тестирования по критериям качества имеет лучшие показатели чем любой другой метод.
Инструментом измерения профессиональной компетентности является тест, составленный из тестовых заданий, ключевыми критериями качества которого являются валидность, объективность, надежность, точность. Стандартизированный тест -инструмент оценки, который измеряет стандартный набор широко определенных результатов обучения, использует стандартные инструкции и стандартную методику оценивания, а также дает возможность сравнивать результат отдельного тестируемого с результатами других тестируемых, выполнявших тот же самый тест при аналогичных условиях.
При создании стандартизированных тестов полезным будет учесть опыт в этой сфере лингвистической сфере. Стандартизация процедуры создания, организации и проведения тестирования регламентируется Положением о системе компьютерного тестирования внутри вуза, которым определены виды тестирования и шкалы оценивания, в частности:
тестирование по профессиональным программам повышения квалификации (входное, текуще-е(тематическое), рубежное (модульное), итоговое, самотестирование): 85-100% правильных ответов - отлично; 70-84% правильных ответов - хорошо; 55-69% правильных ответов - удовлетворительно: до 55% правильных ответов - неудовлетворительно;
тестирование по программам семинаров, тренингов, спецкурсов (текущее, итоговое, само тестирование), дистанционное тестирование профессиональной компетентности: 70-100% правильных ответов - зачтено (успешно сдали); 5569% правильных ответов - зачтено (достаточный уровень); до 55% правильных ответов - не зачтено.
Основные требования к конструированию тестов. Для обеспечения объективности определения уровня профессиональной компетентности используются тестовые задания закрытого типа следующих форматов:
A) один правильный ответ из 4-х вариантов;
Х) два-три правильных ответа из 5 вариантов;
B) тестовые задания логических пар или определения соответствия (3-5 логических пар); тестовые задания с выбором альтернативного ответа (да или нет); тестовые задания на упорядочение или определение последовательности (4-6 вариантов).
Рекомендуемая структура стандартизированного теста: формат А-50%; формат Х-30%; другие форматы - 20%.
Рекомендуемая сложность тестовых заданий стандартизированного теста: 60% - тестовые за-
дачи средней сложности; 20% - легкие тестовые задания; 20% - сложные тестовые задания. Длина текущего (тематического) теста - 10-20 тестовых заданий; рубежного (модульного) теста - 30-40 тестовых заданий; итогового теста (входного, выходного, зачетного) - 50-60 тестовых заданий. Банк тестовых заданий стандартизированного теста должен иметь соотношение длины теста не менее 2 к 1. Оптимальное соотношение 5 к 1.
Структура содержания теста формируется пропорционально количеству учебных часов, предусмотренных на изучение тем, модулей, разделов, составляющих учебных программ. Длительность выполнения теста определяется количеством тестовых заданий в зависимости от их объема и сложности в расчете 1-1,5 мин. на одно тестовое задание.
Этапы конструирования тестов. В процессе разработки стандартизированных тестов следует выделить следующие этапы:
1) определение целей тестирования;
2) определение категории работников и описание домена профессиональной компетентности;
3) отбор содержания учебного материала;
4) выбор форматов, создания тестовых заданий и их экспертиза;
5) формирование теста;
6) определение процедуры тестирования и оценки результатов;
7) апробация тестовых заданий;
8) выбраковка заданий и формирования теста;
9) апробация теста;
10) построение окончательного варианта теста;
11) проведение тестирования;
12) обработка и анализ результатов, определение валидности тестирования.
Основные принципы создания тестовых заданий. Содержание тестовых заданий формируется на основе учебной программы. Каждое тестовое задание должно оценивать достижение важной и существенной учебной цели различных уровней познавательной деятельности и усвоения знаний; быть функционально завершенным, то есть проверять конкретное знание, умение или навык. Информация, содержащаяся в одном тестовом задании, не должна давать ответ на другое тестовое задание.
Тестовое задание должно быть сформулировано ясно и четко; содержать в условии всю необходимую для ответа информацию; не допускать двусмысленного толкования и способствовать формулированию правильного ответа; чтобы претенденты смогли дать ответ без предоставленных вариантов ответов. Время, выделенное на тестовое задание, должно быть потрачено на поиск ответа, а не на понимание условия вопроса. Желательно использовать простую, грамматически правильную утвердительную форму вопроса в виде одного предложения из 5-20 слов. Повторяющиеся слова и словосочетания в вариантах ответов должны быть исключены и перенесены в основную часть условия. У слушателя не должно возникать вопрос по уточнению условия тестового задания или дис-трактора в процессе поиска правильного ответа.
сз о со "О
1=1 А
—I
о
сз т; о т О от
З
и о со
о с
U
сэ см о см
В тестовом задании избегать подсказок, таких как: грамматическое несоответствие между условием и вариантами ответов; повтор в правильном ответе слов из условия; использование примеров из пособия или лекции в качестве тестовых заданий; самый длинный правильный ответ; наиболее подробный правильный ответ; дистракто-ры, которые исключают друг друга. Избегать неоднократного использования отрицания, что приведет к противоречиям в его понимании. Не следует употреблять таких слов или словосочетаний: «всегда», «иногда», «обычно», «в основном», «часто», «не всегда», «при определенных условиях» «все», «ни один», «никогда», «все названные», «из названных ни один», «все из вышеуказанного», «большой», «небольшой», «малый», «много», «меньше», «больше» и тому подобное.
Технология составления тестовых заданий. Тестовые задания разрабатываются преподавателями тем в стандартизированных форматах. Выбор формата тестового задания зависит от его возможности оценить достижение соответствующих учебных целей темы. При формулировании условия и вопросы тестового задания рекомендуется использовать ключевые слова в зависимости от уровня усвоения знаний. Включить в условие достаточно информации для экзаменуемого, чтобы сгенерировать область ответа и продвигаться от факта к гипотезе. Использовать шаблоны и моделирование тестовых заданий.
Создание вариантов ответов. Представить условия задачи и правильного ответа в виде миниатюрной структуры знаний и затем использовать ошибки в разных элементах этой структуры для генерации неправильных вариантов ответов (дистракто-ров). Таким образом, дистракторы будут вероятными при ложном толковании исходных положений. Произвольный и в определенной степени интуитивный подбор дистракторов авторами тестовых заданий: подбор среди возможных, но несоответствующих категорий; использование ложных ассоциаций или ложного толкования причинных связей, самые частые ошибки из опыта работы.
Методическая экспертиза тестовых заданий осуществляется в соответствии с протоколом контроля разработчиком самостоятельно с целью самоконтроля и ответственными работниками ведомственных учебных заведений с целью обеспечения надлежащего их качества. После устранения выявленных дефектов тестовых заданий они включаются в базу тестовых заданий по соответствующему курсу.
Оценивание качества тестов и тестовых заданий. Оценивание качества тестов и тестовых заданий основывается на экспертных оценках и статистических методах анализа результатов тестирования. Основными показателями качества теста в целом являются валидность, сложность, асимметрия распределения результатов.
Валидность теста определяется путем экспертной оценки соответствия содержания тестовых заданий учебной программе (программе тестирова-
ния). Валидность содержания и соответствия теста может быть количественно определена через коэффициент валидности, который рассчитывается опосредованно как коэффициент корреляции между результатами тестирования и результатами других измерений, осуществленных на той же группе с того же курса другим методом. Результат тестирования можно считать валидным при коэффициенте корреляции большем чем 0,6.
Сложность теста определяется общей средней оценкой и распределением результатов. В профессионально разработанных нормативно ориентированных тестах типичным является результат, когда примерно 70% экзаменуемых выполняют правильно от 55 до 85% заданий теста, а чаще всего встречается результат 70%. Оптимальным является симметричное распределение результатов количества правильных ответов в группе. Описывается распределение результатов одновременного дистанционного тестирования всех работников на знание основных положений законодательства, который свидетельствует о том, что тест составлен профессионально, а оптимальное время должно быть из расчета 1 мин. на одно тестовое задание.
Основными показателями качества тестовых заданий являются сложность, дискриминантность, результативность дистракторов. Сложность тестовых заданий определяется индексом легкости. При значении индекса легкости более 90% и менее 20% тестовые задания подлежат исключению из теста. При значении индекса легкости 76-90% тестовые задания считаются легкими; 3675% -средней сложности; 20-35% - сложные.
Дискриминантность (распределительная способность) тестового задания определяется индексом дискриминации. Значение индекса дискриминации: 35% и выше - отлично составленное тестовое задание; 25-34% - хорошо составленное тестовое задание; 15-24% - удовлетворительно составленное тестовое задание; ниже 15% - плохо составленное тестовое задание, его стоит пересмотреть или заменить.
Стандартизированные тесты могут быть эффективным инструментом объективного оценивания уровня профессиональной компетентности студентов-филологов во время отбора и прохождения к практической деятельности.
Для того чтобы оценочный инструмент выявлял показатели, согласующиеся с целью, авторы (2) рекомендуют пронумеровать предполагаемые задачи в определенном оценивании, а затем обозначать соответствующим номером вопрос или задание, которые будут соответствовать данной задаче. Таким образом станет четко видно те задачи, которые не нашли отражение в оценивании. Этот метод оценки адекватности инструмента может быть применен по отношению к схеме оценивания.
Во-первых, четко изложить цель и задачи оценивания. Затем, определить критерии, соотносимые с каждой задачей. Если какая-либо из задач не нашла отражения ни в одной из оцениваемых категорий схемы, она вряд ли предоставит необхо-
димые свидетельства, для решения соответствующей задачи. Если какие-либо оценочные критерии не соотносятся ни с одной из задач оценивания, точно также можно будет поставить под сомнение адекватность представленной схемы.
Шаги в оценке адекватности оценочных категорий заявленной цели можно представить следующим образом:
определить цель и задачи оценивания 4
определить критерий для каждой задачи 4
проверить:
Все ли сформулированные задачи измеряются представленными критериями?
Есть ли критерии, которые не связаны ни с одной из задач?
Размышление о цели и задачах оценивания должно привести к выбору того, какие формы показателей - содержательные, конструктные и/или критериальные - следует рассмотреть. Например, если в задачи оценивания входит получение свидетельства об умениях испытуемого в рамках определенной содержательной области, например, умение дискутировать на определенные темы, следует рассмотреть приемлемость содержательного показателя. Если инструмент предназначен для измерения способности к рассуждению или другим внутренним процессам и требующим косвенного исследования, следует рассмотреть приемлемость конструктных показателей. Если цель оценивания определить то, как испытуемый будет действовать вне учебных условий или в иной ситуации, рассмотрению подлежит приемлемость критериальных показателей.
Осознание в ходе всего процесса разработки схемы оценивания существования разных типов показателей, поддерживающих валидность, вполне вероятно повысит адекватность интерпретаций, когда схема будет использована. Показатели валидно-сти могут быть исследованы после того, как будет представлен предварительный вариант схемы. Ниже в таблице представлен список вопросов, которые могут оказаться полезными в оценке адекватности представленной схемы оценивания в отношении заявленной цели. Эта таблица разделена в соответствии с типом рассматриваемого показателя.
Надежность оценивания соотносится с последовательностью в результатах оценивания. Например, при использовании надежного теста испытуемый вправе полагать, что его результат не будет зависеть от времени выполнения теста, времени его проверки, личности проверяющего...
В случае ненадежного экзамена результат испытуемого может варьироваться в зависимости от факторов, никак не связанных с его целью.
Две формы надежности, которые наиболее связаны с оценочными схемами, основаны на надежности оценивающего. Надежность оценивающих связана с тем, насколько последовательно несколько оценивающих оценивают одну работу, или как один оценивающий в разное время оце-
нивает одну и ту же работу. Первый тип надежности в англоязычной литературе принято называть «inter-rater reliability», в то время как второй тип -«intra-rater reliability».
Содержательные
Относятся ли критерии к какому либо нерелевантному элементу содержания? Отражены ли в оценочной рубрике все предполагаемые аспекты содержания? Есть ли какой- либо элемент содержания, отраженный в задании, но не отраженный в оценочной схеме, хотя должен быть отражен в ней?
Конструктные
Все ли важные фасеты конструкта оцениваются предложенными критериями? Является ли какой либо из предложенных критериев оценивания нерелевантным по отношению к заявленному конструкту?
Критериальные
Как критерии оценивания отражают компетенции, наличие которых связано с успешностью в соответствующей деятельности в будущем или в сходных условиях?
Какие важные компоненты будущей деятельности могут быть оценены с помощью данного инструмента?
Как критерии оценивания измеряют важные компоненты будущей деятельности?
Есть ли фасеты будущей деятельности, которые не нашли отражение в критериях оценивания?
«Inter-rater reliability» связана с той проблемой, что результат испытуемого может варьироваться от оценивающего к оценивающему. Учащиеся часто критикуют экзамены, в которых их результат кажется им зависимым от субъективных суждений оценивающего. Например, одним из способов анализа экзамена в форме эссе является прочтение работы и вынесение суждения о качестве умений письма испытуемого и качестве представленного текста. Двое независимых оценивающих, не опираясь на набор критериев, направляющих процедуру оценивания, часто по-разному оценивают представленную работу. Каждый из них опирается на собственную систему критериев. Оценочные схемы решают эту проблему, формализуя критерии на каждом оцениваемом уровне. Хотя они полностью не способны устранить вариации между оценивающими, хорошо разработанная схема способна значимо сократить расхождения.
Факторы, являющиеся внешними по отношению к цели оценивания, могут влиять на то, как конкретный оценивающий оценивает работы испытуемых. Например, он может устать от процедуры оценивания и меньше уделять времени анализу каждой последующей работы. Так некоторые работы могут быть оценены иначе, если бы их оценивали в более раннее время. Настроение оценивающего в конкретный день или знание им автора проверяемой работы могут также повлиять на процедуру оценивания. Хорошая работа ученика, считающегося слабым может быть оценена строже, чем идентичная работа «сильного» учащегося. «Intra-rater reliability» относится к каждой ситуации, в которой манера оценивания конкретного оценивающего меняется во времени в разных направлениях. Непоследовательность в оценках определяется причинами присущими оценивающему, а не истинным различиям в качестве представленных ра-
сэ о со "О
1=1 А
—I
о
сз т; о m О от
З
ы о со
о с
U
сэ см о см
бот. Качественные схемы оценивания помогают в решении проблемы «Intra-rater reliability» заранее предоставляя описания оценочных критериев. На протяжении всей процедуры оценки оценивающему следует возвращаться к ним для того, чтобы поддерживать последовательность решений.
Иногда в процессе оценивания оценивающие осознают, что начинают пользоваться имплицитными критериями, отсутствующими в схеме оценивания. Всегда, когда возможно, необходимо знакомить испытуемых со схемами оценки, чтобы они могли строить ответ таким образом, чтобы предоставить убедительное свидетельство того, что их работа соответствует критериям. Если испытуемых заранее ознакомили со схемой оценки, они не должны нести ответственность за отсутствие в своем ответе невыполнение необозначен-ного в схеме критерия. Выявление имплицитных критериев поможет в уточнении рубрик.
Установление надежности является условием установления валидности. Хотя валидное оценивание считается по определению надежным, то надежная оценка не обязательно является валидной. Схема оценивания может привести к невалидным интерпретациям тогда, например, критерии оценки сфокусированы на элементе ответа, который не связан с целью оценивания. В то же время этот критерий может быть так четко сформулирован, что оценка по нему будет в высокой степени надежна и не зависеть от оценивающего.
Схемы оценивания призваны описывать общие, синтезированные критерии, проявляющиеся в большом числе индивидуальных ответов и, таким образом, не в состоянии отражать уникальные характеристики каждого ответа.
Представленные выше тезисы, обозначают самые общие требования к разработке схем оценивания развернутых ответов и обеспечению валид-ности и надежности их применения. Руководствуясь ими, возможно существенно повысить качество оценивания умений испытуемых в продуктивных видах речевой деятельности.
Литература
1. Полежаева М.В., Симкин В.Н. Разработка подходов к оцениванию итогового сочинения образовательными организациями высшего образования. Педагогические измерения № 1, 2018.
2. Moskal, Barbara M. & Jon A. Leydens. (2000). Scoring Rubric Development: Validity and Reliability. Practical Assessment, Research & Evaluation, 7(10).
3. Мидова В.О. Акмеологическая продуктивность авторских систем деятельности преподавателей в оценке студентов: дисс. ... канд. психол. наук / Российская академия государственной службы при Президенте Российской Федерации. Москва, 2004
4. Мидова В.О. Современные методики повышающие эффективность обучения иностранным языкам // В сборнике: Профессионально-ориентированное обучение иностранному язы-
ку и переводу в ВУЗе. Материалы Пятой ежегодной международной конференции, посвященной 50-летию Российского университета дружбы народов. 2010. С. 350-352.
5. Минасян Е.Т., Мидова В.О. Грамматика как одна из ключевых компетенций освоения языка // Русский Лингвистический Бюллетень. 2016. № 3 (7). С. 107-108.
6. Midova V.O. The value of developing cross-cultural competence // Сборник научных статей VI Международной научно-практической конференции студентов, аспирантов, магистрантов и молодых ученых. ФГБОУ ВО «Российский экономический университет имени Г.В. Плеханова» / Под редакцией М.Н. Кулапова, М.А. Пономарева, С.Ю. Старостина. 2016. С. 237-240.
GENERAL REQUIREMENTS FOR THE DEVELOPMENT OF SCORING SCHEMES FOR EXTENDED RESPONSES
Muratova I.A.
Moscow State University named after M.V. Lomonosov
The main advantage of using test assessment technologies was considered the objectivity of assessment, the basis of which is its reliability. One of the conditions for ensuring objectivity and reliability is the use of closed-type tasks, but, obviously, the use of such tasks from the point of view of ensuring the validity of the measurement has certain limitations. In linguodidactic testing, this especially applies to the assessment of skills in such types of speech activities as writing and speaking. And one of the main means of objectifying the assessment of the performance of such tasks, along with an adequate formulation of the task and special training for assessors, is the preparation of effective assessment schemes. The article discusses the most general requirements for the development of an assessment of detailed answers in test instruments, including linguodidactic tests. The definition of the concept of assessment schemes, their types is given, the order of their development is described. Particular attention is paid to the issues of ensuring the validity and reliability of the assessment of detailed answers. Guided by them, it is possible to significantly improve the quality of assessing the skills of subjects in productive types of speech activity.
Keywords: grading scheme; holistic assessment, analytical assessment, criteria, validity of assessment schemes, reliability of assessment schemes.
References
1. Polezhaeva M.V., Simkin V.N. Development of approaches to the assessment of the final essay by educational institutions of higher education. Pedagogical measurements # 1, 2018.
2. Moskal, Barbara M. & Jon A. Leydens. (2000). Scoring Rubric Development: Validity and Reliability. Practical Assessment, Research & Evaluation, 7 (10).
3. V.O. Midova Acmeological productivity of the author's systems of teachers' activities in the assessment of students: diss. ... Cand. psychol. Sciences / Russian Academy of Public Administration under the President of the Russian Federation. Moscow, 2004
4. Midova V.O. Modern methods that increase the efficiency of teaching foreign languages // In the collection: Professionally-oriented teaching of a foreign language and translation at the university. Materials of the Fifth Annual International Conference dedicated to the 50th anniversary of the Peoples' Friendship University of Russia. 2010.S. 350-352.
5. Minasyan E.T., Midova V.O. Grammar as one of the key competencies of language acquisition // Russian Linguistic Bulletin. 2016. No. 3 (7). S. 107-108.
6. Midova V.O. The value of developing cross-cultural competence // Collection of scientific articles of the VI International scientific-practical conference of students, graduate students, undergraduates and young scientists. FSBEI HE "Russian Economic University named after G.V. Plekhanov "/ Edited by M.N. Ku-lapova, M.A. Ponomareva, S. Yu. Starostin. 2016.S. 237-240.
