CC BY
17
Мир науки. Педагогика и психология / World of Science. Pedagogy and psychology https ://mir-nauki.com 2020, №2, Том 8 / 2020, No 2, Vol 8 https://mir-nauki.com/issue-2-2020.html URL статьи: https://mir-nauki.com/PDF/61PDMN220.pdf Ссылка для цитирования этой статьи:
Барбакова Е.В., Столярова И.Н., Сыренова В.Б. Расхождения в оценке региональными экспертами задания 40 единого государственного экзамена по английскому языку: к постановке проблемы // Мир науки. Педагогика и психология, 2020 №2, https://mir-nauki.com/PDF/61PDMN220.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
For citation:
Barbakova E.V., Stolyarova I.N., Syrenova V.B. (2020). Discrepancies in assessing task 40 of the Russian State Exam in English by regional experts: stating the problem. World of Science. Pedagogy and psychology, [online] 2(8). Available at: https://mir-nauki.com/PDF/61PDMN220.pdf (in Russian)
УДК 378 ГРНТИ 14.35.09
Барбакова Екатерина Викторовна
ФГБОУ ВО «Восточно-Сибирский государственный университет технологий и управления», Улан-Удэ, Россия
Кандидат педагогических наук, доцент E-mail: [email protected] РИНЦ: https://elibrary.ru/author profile.asp?authorid=847301
Столярова Ирина Николаевна
ВО «Бурятский государственный университет им. Д. Банзарова», Улан-Удэ, Россия Доцент кафедры «Английского языка и лингводидактики» Кандидат педагогических наук, доцент E-mail: [email protected] РИНЦ: https://elibrary.ru/author_items.asp?authorid=804537
Сыренова Виктория Борисовна
ГБУ «Региональный центр обработки информации и оценки качества образования», Улан-Удэ, Россия
Заместитель директора E-mail: [email protected]
Расхождения в оценке региональными экспертами задания 40 единого государственного экзамена по английскому языку: к постановке проблемы
Аннотация. Несмотря на большую значимость проблематики исследований, связанных с Единым государственным экзаменом, существенное количество аспектов, связанных с подготовкой и качеством работы экспертов ЕГЭ, не получило должного внимания ни на общем уровне, ни на уровне конкретных предметов. К данным аспектам относятся факторы, определяющие расхождения в оценке экспертами заданий с открытым ответом, к которым относится, в частности, задание 40 ЕГЭ по английскому языку, представляющее собой сочинение «Мое мнение» по предложенной проблеме.
Настоящая работа имеет своей целью констатацию ключевых аспектов существующей ситуации с расхождениями и определение направлений дальнейшей работы на примере конкретного региона - Республики Бурятия, в связи с чем авторы ставят 2 исследовательских вопроса: (1) Какой критерий в задании 40 ЕГЭ по АЯ является наиболее трудным для оценивания экспертами, т. е. вызывает больше всего расхождений? (2) Какие типы и виды ошибок можно выделить в рамках каждого параметра оценки?
https:// mir-nauki. com
Исследование проводится на основе статистического анализа данных по оценке работ с третьей проверкой в Республике Бурятия за 2018-2019 гг., а также выявления типов и видов ошибок при выполнении задания 40 в методических рекомендациях и аналитических отчетах ФИПИ.
В результате исследования определена сравнительная сложность применения критериев оценивания задания 40 ЕГЭ по английскому языку и уточнена типология ошибок в данном задании.
Полученные выводы позволяют утверждать, что наиболее трудным в применении объективно является критерий 1 - «Решение коммуникативной задачи», однако для выявления факторов, обусловливающих трудности применения других критериев необходимы дальнейшие исследования с анализом текстов работ и характеристик экспертов.
Ключевые слова: эксперт ЕГЭ; оценка письменной речи; задания с развернутым ответом; единый государственный экзамен; критериальное оценивание; согласованность оценивания
С 2009 года Единый государственный экзамен (ЕГЭ) является единственной формой выпускных экзаменов в школе и основной формой вступительных экзаменов в вузы. Десятилетняя история проведения ЕГЭ говорит о том, что существующая система успешно функционирует и уже имеется некоторый опыт, результаты которого можно анализировать, интерпретировать и использовать для более эффективной работы экспертов предметных комиссий. Тем не менее, при всей отлаженности процесса подготовки экспертов, включающей ежегодные курсы повышения квалификации, развернутую систему консультирования, централизованное онлайн-тестирование экспертов, детально разработанные и ежегодно совершенствуемые критерии и дополнительные схемы оценивания, выявляется значительное количество трудностей и статистически значимых расхождений в оценивании экспертами заданий с открытым ответом по английскому языку, что в частности можно наблюдать в работе предметной комиссии Республики Бурятия.
В первом приближении можно предположить, что такие результаты связаны со спецификой региона, однако, признавая существование последней, нельзя не задуматься об объективных факторах, которые могут действовать, возможно, в меньшей степени, и в общероссийском масштабе. Поэтому представляется целесообразным использовать настоящее исследование, направленное на решение проблемы конкретного региона, для того чтобы поднять вопросы, которые могут иметь общероссийскую актуальность.
Помимо непосредственно очевидной необходимости обеспечения качественной оценки результатов ЕГЭ по английскому языку, актуальность данного исследования заключается во взаимосвязи между уровнем подготовки экспертного корпуса и качеством преподавания английского языка в конкретном регионе, поскольку эксперты проводят методические семинары, консультации в школах города и республики от Регионального центра обработки информации.
Выбор задания 40 ЕГЭ по английскому языку (сочинение формата «Мое мнение») объясняется тем, что по сравнению со вторым жанром ЕГЭ - личным письмом (задание 39) задание 40 характеризуется объективно большей содержательной, структурной, языковой сложностью, а также тем, что оно в некотором роде находится на «перекрестке языков и культур»: с одной стороны, это специфически российский экзаменационный жанр, с другой стороны, предполагается, что в нем отражаются англоязычные социокультурные нормы
Введение
оформления письменного текста. В то же время «цена» неправильной оценки или ошибок в подготовке к этому заданию может оказаться намного выше для тестируемых, поскольку оно относится к заданиям высокого уровня, дифференцирующим испытуемых с высоким уровнем владения языка, а значит, тех, для кого баллы за ЕГЭ по английскому языку будут определять возможность поступления в желаемый вуз.
Несмотря на большую значимость и общественное внимание к проблематике, связанной с ЕГЭ, анализ научной и методической литературы позволяет утверждать, что поставленная проблема не может считаться достаточно исследованной. Наиболее близкими к проблеме, затрагиваемой в настоящей работе, являются исследования критериев анализа согласованности и оценке эффективности работы экспертов [1-3], трудностей и причин ошибок в оценивании заданий с развернутым ответом [4-6], подготовки экспертов [7]. В то же время существующие исследования либо основываются на иной предметной области (математика и информатика [2; 3]; история и обществознание [6]), либо касаются подготовки будущих экспертов или учителей к процедурам оценивания [2; 7], либо носят обзорный и/или теоретический характер [4; 5].
Для определения причин расхождений в оценке региональными экспертами задания 40 ЕГЭ по английскому языку (далее - АЯ) необходимо было бы провести масштабное разноплановое исследование, включающее отбор работ с третьей проверкой, анализ статистики ошибок в работах с расхождениями, проверку и анализ текстов самих работ, анализ факторов, связанных с подготовкой экспертов. Настоящая статья представляет результаты пилотного исследования, имевшего своей целью в рамках общей проблемы определить ключевые моменты существующей ситуации с расхождениями и дать материал для выработки плана дальнейшей работы. Поэтому авторы исследования ставили перед собой 2 конкретных исследовательских вопроса:
1. Какой критерий в задании 40 ЕГЭ по АЯ является наиболее трудным для оценивания экспертами, т. е. вызывает больше всего расхождений?
2. Какие типы и виды ошибок можно выделить в рамках каждого параметра оценки?
Гипотеза исследования включала следующие положения:
• наиболее трудным должны оказаться лексический и грамматический критерии (К3 и К4);
• уточнение типологии должно основываться на дифференциации и однозначной трактовке терминов «параметр», «критерий», «аспект», «ошибка», «трудность».
Практическая значимость заключается в:
• уточнении видов ошибок в работах с расхождениями, которое позволит построить гипотезу о наиболее трудных для выявления ошибках и в перспективе усовершенствовать подготовку экспертного корпуса, а также определить наиболее проблемные зоны и недостатки обучения письменной речи;
• возможности в перспективе использовать результаты для усовершенствования оценки квалификации и эффективности экспертов, которая сейчас определяется количеством расхождений.
Методы
Исследование проводится на основе анализа методических рекомендаций и сопоставления существующих типологий ошибок, а также анализа статистических данных по критерию Фишера.
Материалами для исследования стали:
• данные по оценке работ с третьей проверкой для Республики Бурятия за 2018, 2019 гг. (номера работ, оценки трех экспертов по всем критериям);
• тексты работ по заданию 40, вышедшие на третью проверку в РБ за 2018, 2019 гг.;
• аналитические материалы и методические рекомендации Федерального института педагогических измерений (ФИПИ) по иностранному языку за 2012-2019 гг. (временной диапазон обусловлен тем, что существующий формат задания 40 был введен в 2012 году).
Исследование было организовано следующим образом:
• проанализированы результаты третьей проверки задания 40 ЕГЭ по АЯ за 2018 и 2019 годы по Республике Бурятия (далее РБ) и отобраны работы с расхождениями;
• подсчитано и статистически обработано процентное соотношение расхождений в оценке сочинений по каждому критерию;
• проведен анализ полученных данных, динамики количества расхождений по годам, выявлены наиболее трудные для оценивания критерии и проверено первое положение выдвинутой гипотезы;
• на основе анализа научной литературы уточнены ключевые понятия, служащие инструментом анализа и описания расхождений в оценивании;
• на основе анализа методических и аналитических материалов ФИПИ по иностранным языкам определена типология ошибок по каждому параметру оценки, которые могут стать причиной трудности оценки;
• сформулированы основные выводы исследования.
Результаты
Для поставленной цели и задач исследования нами был отобран корпус работ, которые по результатам проверки двумя экспертами были автоматически отправлены на третью проверку. Это означает, что по всем пяти позициям оценивания задания 40 - эссе разница в выставленных баллах составила 4 или более баллов [8, с. 13].
Общее количество работ, подвергшихся третьей проверке в 2018 году, составило 83, в 2019 году - 54. При этом количество работ без оценки «0» за К1 в 2018 г. составило 38, а в 2019 г. - 10. (табл. 1).
Таблица 1 демонстрирует статистику отдельно за каждый год, так как выведение среднего показателя для каждого критерия за два года, будет несколько искажать картину, не будет статистически достоверной.
Анализ методических рекомендаций для подготовки экспертов и аналитических отчетов ФИПИ за 2012-2019 гг. позволяет выделить типы и виды ошибок по каждому критерию, представленные в таблицах 2-6.
Таблица 1
Данные по оценке работ с третьей проверкой за 2018, 2019 г.
Количество работ с Количество работ с Количество работ с Количество работ с
Критерий расхождениями по расхождениями по расхождениями по расхождениями по
данному критерию в 2018 данному критерию в 2018, в % данному критерию в 2019 данному критерию в 2019, в %
К1 решение КЗ 79 95,2 % 51 94.4 %
Далее учитываем 38 работ, Далее учитываем 10 работ,
в которых оценка за К1 не составила "0" в которых оценка за К1 не составила "0"
К2 организация текста 29 76.3 % 7 70 %
К3 лексика 29 76.3 % 10 100 %
К4 грамматика 20* 52.6 %* 10* 100 %*
К5 орфография и пунктуация 29 76.3 % 8 80 %
Общее
количество 83 100 % 54 100 %
работ
*различия статистически значимы (р = 0,007) (составлено авторами)
Таблица 2
Типология ошибок в К1 «Решение коммуникативной задачи»
Критерий Типы ошибок Виды ошибок
К1 1) ошибки во введении 1.1 отсутствие перифраза (замены как минимум 2-х слов и/или грамматической конструкции) 1.2 несоответствие сформулированной проблемы теме текста 1.3 отсутствие проблемности, дискуссионности темы 1.4 выражение собственного мнения во введении
2) ошибки в выражении своего мнения с приведением аргументов 2.1 отсутствие четко выраженного собственного мнения 2.2 отсутствие аргументов 2.3 несоответствие аргументов теме и мнению 2.4 несостоятельность аргументов 2.5 недостаточная развернутость аргументов (примеры к аргументам для эссе не обязательны, однако если без них сложно понять суть аргумента, отсутствие их можно расценивать как ошибку) 2.6 недостаточное количество аргументов (меньше 2)
3) ошибки в высказывании чужого мнения с приведением аргументов 3.1 отсутствие аргументов в пользу противоположного мнения 3.2 аргументы не соответствуют мнению противоположной стороны 3.3 аргументы противоположной стороны нарочито слабые 3.4 отсутствие четко выраженного противоположного мнения 3.5 полное отсутствие противоположного мнения и аргументов к нему
4) ошибки в объяснении, почему не согласен с чужим мнением 1.1 контраргументы не опровергают аргументов другой стороны (слабее аргументов противоположной стороны) 1.2 контраргументы сводятся к фразе, что все аргументы другой стороны неубедительные 1.3 контраргументы не соответствуют аргументам противоположной стороны 1.4 контраргументы повторяют аргументы в пользу собственного мнения
5) ошибки в заключении 5.1 использование «примиряющих» заключений формата «За и против», где говорится, что каждый делает свой выбор 5.2 точка зрения автора непонятна 5.3 заключение не связано с темой
6) стилистические ошибки 6.1 риторические вопросы 6.2 разговорные выражения и конструкции типа Let's ... (Let us и Let me - нейтральный стиль);
Критерий Типы ошибок Виды ошибок
6.3 сниженная лексика типа folks (people)... 6.4 3 варианта стяженных форм: - типа I'm, he's. - отрицательные формы типа don't, aren't. - формы модальных глаголов типа can't, mustn't.
7) ошибки в объеме сочинения 7.1 объем меньше 180 слов 7.2 объем превышает 275 слов
8) ошибки в формате сочинения 8.1 использование формата сочинения «За и против» вместо «Мое мнение» 8.2 смешение форматов (также может рассматриваться как набор отдельных ошибок) 8.3 использование формата общего рассуждения на предложенную тему (также может рассматриваться как набор отдельных ошибок), переход на более общую тему по сравнению с заданной («топиковость» [13, с. 17]) 8.4 замена формата (например, на личное письмо)
9) фактологические ошибки 9.1 фактологические ошибки, касающиеся общей эрудиции 9.2 ошибки в интерпретации социокультурной информации
Составлено авторами
В таблице 2 представлены критерии, типы и виды ошибок при выполнении задания 40 -написании сочинения «Мое мнение». Во второй графе обобщены, уточнены и сформулированы 9 типов ошибок. Третья графа таблицы представляет виды ошибок, соотносящиеся с конкретным типом. При этом виды ошибок отражают причины ошибок и/или неверно выбранную тестируемым стратегию.
Таблица 3
Типология ошибок в К2 «Организация текста»
Критерий Типы ошибок Виды ошибок
К2 1) иллогичность 1.1 наличие взаимно противоположных утверждений (например, расхождение авторской точки зрения во втором абзаце и в заключении) 1.2 нарушение внутренней структуры абзаца, порядка следования предложений (например, ключевое предложение абзаца - не первое, а после аргументов) 1.3 нелогичный порядок следования предложений внутри абзаца
2) неправильное использование средств логической связи (союзы, вводные слова, местоимения и т. п.) 2.1 неправильный выбор средств связи по смыслу (стилистически неверное средство связи следует отнести к языковым ошибкам) 2.2 отсутствие средств связи там, где они требуются 2.3 использование избыточного количества связок 2.4 отсутствие антецедента для указательного местоимения из первого предложения абзаца 2.5 иные нарушения в отношении связей с местоимением, не сводящиеся к грамматике
3) несоответствие структуры текста предложенному плану 3.1 порядок следования абзацев не соответствует предложенному плану
4) неправильное деление текста на абзацы 4.1 абзац безосновательно разделен на два 4.2 два абзаца безосновательно объединены в один 4.3 в абзаце присутствует предложение, не соответствующее его основной мысли
Составлено авторами
Таблица 4
Типология ошибок в К3 «Лексика»
Критерий Типы ошибок Виды ошибок
К3 1) несоответствие уровню сложности задания и КЗ (В2 по общеевропейской шкале) 1.1 повторы одних и тех же слов и их производных, отсутствие синонимов и/или антонимов; 1.2 некорректное употребление слова; 1.3 нарушение сочетаемости
2) некорректность выбора, использования в контексте, сочетания 2.1 ошибки в употреблении слова в контексте; 2.2 ошибки в сочетаемости; 2.3 пропуск слова, когда это не влияет на грамматическую структуру предложения; 2.4 ошибки в словообразовании (если не меняется часть речи: regular-unregular вместо irregular); 2.5 послелоги во фразовых глаголах; 2.6 ошибки в написании слов, которые меняют их значение (think - thing, lose - loose)
Составлено авторами Таблица 5 Типология ошибок в К4 «Грамматика»
Критерий Типы ошибок Виды ошибок
К4 1) несоответствие уровню сложности задания и КЗ 1.1 повторы одних и тех же грамматических конструкций; 1.2 использование только простых коротких предложений; 1.3 отсутствие распространенных предложений; 1.4 некорректное использование грамматических средств
2) некорректное использование, неточность в выборе в соответствии с целью высказывания 2.1 ошибки в употреблении видовременных форм глаголов, неличных форм глаголов, модальных глаголов; форм множественного числа и притяжательного падежа существительных; форм степеней сравнения прилагательных и наречий; артиклей, предлогов, местоимений и т. д.; 2.2 ошибки в порядке слов в предложении; 2.3 пропуск слова (подлежащего и сказуемого), влияющий на грамматическую структуру предложения; 2.4 ошибки в словообразовании, если меняется часть речи
Составлено авторами Таблица 6 Типология ошибок в К5 «Орфография и пунктуация»
Критерий Типы ошибок Виды ошибок
К5 1) несоблюдение норм орфографии иностранного языка 1.1 неправильное написание слов; 1.2 нет заглавной буквы в начале предложения; 1.3 заглавная буква в середине предложения
2) несоблюдение базовых норм пунктуации иностранного языка 2.1 пунктуация в конце предложения (точка и/или вопросительный и восклицательный знаки в конце предложения); 2.3 отсутствие запятой после всех типов вводных слов; 2.4 отсутствие запятой при перечислении; 2.5 нарушения при оформлении прямой речи; 2.6 использование заглавных букв
Составлено авторами
Предложенная выше типология разграничивает типы и виды ошибок, которые соотносятся с параметрами текста и с аспектами, по которым имеются отклонения. Данная типология может быть дополнена, но это спряжено с рядом трудностей. Например, рассматривая К2 «Организация текста» (табл. 3), констатируем, что ошибки в средствах связи достаточно сложно трактовать и классифицировать в силу разных причин: культурно-обусловленный характер ошибки (связок), количественный состав, правильность выбора того
https:// mir-nauki. com
или иного средства связи по смыслу, грамматически, правильность выбранного местоимения, наличие или отсутствие антецедента, его расположение относительно местоимения. Говоря о критерии КЗ «Лексика» (табл. 4), отмечаем трудность оценки объема словарного запаса, его инструментальной количественной и качественной проверки в соответствии компетенции уровню В2. Следующим сложным критерием является К4 «Грамматика» (табл. 5), в котором трудность определения ошибки выявляется в оценке разнообразия использованных грамматических структур в сочинении.
В 2018 году при общем количестве сочинений с третьей проверкой - 83, было выявлено 79 работ, в которых эксперты допустили расхождения в оценке критерия 1 - «Решение коммуникативной задачи», т. е. в процентном соотношении - 95,2 %. Этот показатель является самым высоким по сравнению с остальными оценками по критериям К2 (организация текста), КЗ (лексика), К4 (грамматика), К5 (орфография и пунктуация) и свидетельствует о том, что эксперты несогласованно оценивают решение тестируемыми коммуникативной задачи и, предположительно, испытывают трудности при оценивании.
Второе место по несогласованности и одинаковый процент расхождений (76,3 %) демонстрируют эксперты в оценке критериев К2, КЗ и К5. К2 предполагает оценку умений организации текста и его логики, КЗ - оценку лексических навыков, К5 - оценку орфографических и пунктуационных навыков.
На последнем месте расхождения, касающиеся К4 (52,6 %), т. е. самым легким для оценивания оказывается критерий - «Грамматика».
Анализ расхождений в оценивании работ в 2019 году показывает, что самый большой процент несогласованности - 100 % допущен экспертами при проверке КЗ «Лексика» и К4 «Грамматика», что свидетельствует о том, что эксперты испытывают большие трудности при проверке и оценивании соответствующих навыков у тестируемых.
На втором месте по количеству расхождений - критерий К1 «Решение коммуникативной задачи», рассогласование составляет 94,4 % работ.
Следующим критерием по количеству расхождений является К5 (80 %), оценивающий сформированность орфографических и пунктуационных навыков тестируемых. Наименее сложным для оценивания и с наименьшим количеством расхождений является К2, оценивающий организацию текста, его структуру и логику.
При этом следует отметить, что процент несогласованности достаточно высокий в оценке всех пяти критериев.
Сравнивая результаты оценки и степень несогласованности за два года, можно однозначно утверждать, что критерий К1 - «Решение коммуникативной задачи» представляет наибольшую трудность для экспертного корпуса. При этом большинство работ с расхождениями - это работы, в которых один из экспертов оценил К1 на «0», а значит, вся работа по всем остальным критериям автоматически оценивалась на «0» баллов. Примерно одинаково трудными для оценивания являются КЗ (лексика), К5 (орфография и пунктуация), К2 (организация текста), К4 (грамматика).
Анализируя динамику изменений за два года, достоверность различий относительных показаний в 2018 и 2019 гг. оценивали по точному двустороннему критерию Фишера. Статистически значимыми считались различия при р < 0,05. Таким образом, при р = 0,007 различия статистически значимы для критерия К4, что свидетельствует об отрицательной
Дискуссия
https:// mir-nauki. com
динамике изменений. Это означает статистически достоверное снижение показателей оценивания экспертами грамматических навыков тестируемых (К4) в написании эссе в 2019 году по сравнению с предыдущим.
Таким образом, в дополнении к исходной гипотезе исследования, заключаем, что не только критерии лексического и грамматического оформления письменной речи (КЗ, К4) оказываются трудными для оценивания, но и критерии решения коммуникативной задачи (К1) и оценки орфографических и пунктуационных навыков (К5). Наиболее легким оказывается критерий - «Организация текста».
Для выявления конкретных причин, обусловливающих расхождения в оценивании по каждому критерию, представлялось необходимым ответить на следующий исследовательский вопрос - «Какие типы и виды ошибок можно выделить в рамках каждого параметра оценки?».
Для построения адекватной типологии ошибок представляется необходимым уточнить определение ошибки. В разработках ФИПИ [8, с. 15] и в словарях по методике обучения иностранным языкам [9, с. 205-206; 10, с. 191] ошибка определяется как результат ошибочного речевого действия, более или менее типичное отклонение от правил и норм иностранного языка. Однако ошибки при создании письменного текста: в структурировании (логика, связность и др.), в отборе содержания (фактические, культурологические ошибки и др.) не сводятся к нарушению языковых правил, в связи с этим более точным определением ошибки будет отклонение от требований, отсутствие или недостаточная реализация аспекта критерия.
Далее следует уточнить понятия «параметр», «критерий», «аспект» и их соотнесенность, так как именно эти элементы служат основанием для построения типологии. В документах ФИПИ параметр текста понимается как «качественная характеристика речевого продукта» [8, с. 15]. Параметры текста достаточно понятны и включают его содержательную и функциональную стороны, структурную организацию, языковое оформление и экстралингвистический аспект оформления, включающий архитектонику текста [11]. Критерий рассматривается как «заранее заданный набор описаний типичных ответов с точки зрения их качества, используемый экспертами в оценочных процедурах» [8, с. 15]. По каждому критерию выделяются аспекты оценивания, при этом определения аспекта не предлагается. Названия имеющихся критериев однозначно определяются параметрами: К1 «Решение коммуникативной задачи», К2 «Организация текста», КЗ «Лексическое оформление высказывания» и т. д. Суть критериев как требований, как заранее заданного набора описания, раскрывается именно в аспектах, которые отражают те характеристики, которыми должен обладать текст по каждому параметру.
Таким образом, можно добавить уточнение к определению понятия «ошибка» - это отсутствие, недостаточная или неправильная реализация аспекта критерия, основанного на параметре. Соответственно, типы ошибок могут быть основаны на параметрах текста, а виды -на аспектах, по которым имеются отклонения.
Анализируя материалы ФИПИ, мы также столкнулись с необходимостью провести более четкое разграничение между ошибкой, ошибочным действием и причиной ошибки. Конкретно-практическая, технологически-коррекционная направленность материалов ФИПИ не детерминирует ошибки, т. е. нарушения в оформлении текста, как следствия причин и стратегий подготовки. Например, среди типичных ошибок отмечают «неумение во введении перефразировать проблему и показать ее проблемный характер», «неумение понять ключевые слова», «неумение понять, где подлежащее, а где сказуемое» [12, с. 100], однако ошибкой в данном случае будет отсутствие перифразирования в тезисе или неверно сформулированный тезис. Еще один пример, трактуемый как ошибка, - это «неправильное понимание темы» [12, с. 100]. В данном случае ошибкой будет уход от темы, несоответствие темы текста заданной
теме, а за этой ошибкой может стоять несовершенное владение языком и/или неверный выбор стратегии - концентрация на отдельных словах вместо целого в процессе декодирования слов темы.
Понятие ошибки тесно связано с понятием трудности. Последнее является обыденным термином методического обихода, регулярно встречающимся в методической литературе разного уровня. Однако в словарях определение трудности как таковой отсутствует. В методической литературе разделяют субъективные и объективные трудности. При этом и те, и другие трудности могут рассматриваться как источник ошибки. Объективные трудности, т. е. трудности, проистекающие из характера языковых средств и ситуации общения, объективно присущие языковому и речевому материалу, могут быть обусловлены межъязыковыми (межкультурными) расхождениями, а также внутриязыковыми (внутрикультурными) факторами. Субъективные трудности могут быть связаны с недостаточным владением материалом, индивидуальными особенностями и т. д. Можно предположить, что трудность -это потенциальная возможность ошибки, в то время как ошибка - это осуществленное нарушение правил, обусловленное трудностью. В то же время, в ситуации оценивания работы экспертом происходят некоторые перестановки: трудность оценивания [6] обусловливается типом и видом ошибок, т. е. некоторые ошибки являются более трудными для оценивания, иными словами, ошибка становится источником трудности и первичным понятием, в связи с чем в дальнейшем мы будем использовать именно понятие «ошибка».
Сопоставление предложенной типологии ошибок и выявленной степени сложности критериев с точки зрения оценивания экспертами показывает, что наибольшая сложность в применении К1 «Решение коммуникативной задачи» может быть связана с количеством нюансов, которые нужно учесть при оценивании: не менее 34 возможных видов ошибок (табл. 2). Различия по количеству видов ошибок между другими критериями не столь значимы (соответственно, 12 видов по К2, 9 по К3, 8 по К4, 9 по К5). Следовательно, корреляция между сложностью следования требованиям к конкретному параметру текста и сложностью оценивания не вполне прямая и однозначная. Кроме того, имеющиеся данные не позволяют объяснить динамику в изменении количества расхождений по К4 от 2018 к 2019 году. Поиск ответа на этот вопрос потребует дополнительных изысканий.
Полученные данные и выводы в целом дают ответы на поставленные исследовательские вопросы:
1. Наиболее трудным в применении для экспертов предметной комиссии РБ является критерий К1 задания 40 «Решение коммуникативной задачи», что может быть связано с количеством трудностей, которые необходимо учесть испытуемым при оформлении соответствующего параметра текста, а значит, с количеством возможных ошибок.
2. На основе данных аналитических отчетов и методических рекомендаций ФИПИ для ЕГЭ по АЯ можно выстроить типологию ошибок при выполнении задания 40, актуальную для всего периода существования задания 40 в его нынешней форме (2012-2019 гг.). При этом количество видов ошибок по К1 коррелирует с наибольшей трудностью применения данного критерия экспертами.
Полученные результаты позволяют, во-первых, определить наиболее проблемные места в подготовке экспертов и подготовке испытуемых в области письменной речи в РБ, а также создают базу для сопоставления с данными по другим регионам и по стране в целом. Кроме того, отсутствие корреляции между сложностью применения К2-К5 и количеством возможных типичных ошибок позволяет сделать вывод, что дальнейший поиск причин расхождений должен вестись в области всех системных факторов, обусловливающих снижение надежности
оценки заданий с развернутым ответом [5, с. 88]. Уточненная типология ошибок может быть использована для дальнейшего анализа и выявления наиболее сложных аспектов оценивания задания 40 в рамках каждого отдельного параметра текста.
Заключение
Подводя итог вышеизложенному, представляется возможным считать, что критерий К1
- «Решение коммуникативной задачи» представляет наибольшую трудность для оценивания экспертами. Следующими по убыванию следуют КЗ (Лексика), К5 (Орфография и пунктуация), К2 (Организация текста), К4 (Грамматика). Однако при рассмотрении динамики рассогласования зафиксировано статистически достоверное снижение показателей оценивания экспертами грамматических навыков тестируемых (К4) в написании сочинения в 2019 году по сравнению с предыдущим. В целом, первая часть гипотезы исследования - о том, что наиболее сложными в применении должны оказаться лексический и грамматический критерии (К3 и К4)
- была опровергнута. Выявление наиболее проблемных критериев для оценивания указывает и на недостатки в обучении письменной речи в соответствующих разделах.
Предложенная типология не выступает в качестве константной, однако она вносит определенный вклад в разработку инструментария для более качественной оценки результатов ЕГЭ по английскому языку, а также может способствовать разработке номенклатуры умений, стратегий и методики обучения письменной речи. Уточнение типологии, основанное на дифференциации и однозначной трактовке терминов «параметр», «критерий», «аспект», «ошибка», «трудность», позволило сделать вывод, что К1 является объективно более сложным в применении из-за количества возможных ошибок, однако необходимы дальнейшие исследования всех возможных факторов, обусловливающих трудность применения других критериев.
Дальнейшее изучение данной проблематики может оказать большое влияние на подготовку экспертного корпуса и учащихся школ региона к ЕГЭ по английскому языку.
ЛИТЕРАТУРА
1. Щербинин Т.А., Гранков М.В. Метод кластеризации в системе оценки результатов работы экспертов по проверке экзаменов в форме ЕГЭ / Т.А. Щербинин, М.В. Гранков // Вестник Донского Государственного Технического Университета. - 2016. - т. 16, вып. 3 (86). - С. 110-118.
2. Афонина М.В. Особенности формирования компетенции учителя в области критериального оценивания / М.В. Афонина // Преподаватель XXI век. - 2017. -№1-1. - С. 20-30.
3. Афонина, М.В., Гонштейн М.А. Анализ согласованности работы экспертов при проверке заданий с развернутым ответом ЕГЭ по информатике и ИКТ / М.В. Афонина, М.А. Гонштейн // Педагогическое образование на Алтае. - 2017 г. - №1. - С. 21-25.
4. Бодоньи М.А. Источники снижения надежности оценки заданий с развернутым ответом по иностранным языкам / М.А. Бодоньи // Педагогические измерения. -2019. - № 1. - С. 80-89.
5. Бодоньи М.А. Оценивание иноязычной письменной речи: моделирование деятельности субъекта оцени / М.А. Бодоньи // Вестник Московского областного государственного университета. Серия: Педагогика. - 2018. - № 3. - С. 99-107.
6. Артасов И.А., Мельникова О.Н. О сложных ситуациях, возникающих при оценивании ответов выпускников на задания ЕГЭ по истории / И.А. Артасов, О.Н. Мельникова // Педагогические измерения. - 2019. - № 2. - С. 37-42.
7. Потапова И.В., Чечиль А.П. Обучение экспертов региональной предметной комиссии по иностранным языкам (на примере французского языка) / И.В. Потапова, А.П. Чечиль // Педагогические измерения. - 2019. - № 2. - С. 103-107.
8. Вербицкая М.В., Махмурян К.С., Курасовская Ю.Б. Методические материалы для председателей и членов предметных комиссий субъектов Российской Федерации по проверке выполнения заданий с развернутым ответом экзаменационных работ ЕГЭ 2019 года. Английский язык. Методические рекомендации по оцениванию выполнения заданий ЕГЭ с развернутым ответом (Раздел «Письмо»). / М.В. Вербицкая, К.С. Махмурян, Ю.Б. Курасовская. - М., 2019. - 88 с.
9. Азимов Э.Г., Щукин А.Н. Словарь методических терминов (теория и практика преподавания языков) / Э.Г. Азимов, А.Н. Щукин. - СПб: «Златоуст», 1999. -472 с.
10. Колесникова И.Л., Долгина О.А. Англо-русский терминологический справочник по методике преподавания иностранных языков: справочное пособие / И.Л. Колесникова, О.А. Долгина. - М.: Дрофа, 2008. - 431 с.
11. Радченко В.В. Архитектоника делового письма (сопоставительный анализ английской, немецкой и русской деловой корреспонденции): дисс. ... канд. фил. наук: 10.02.20. / В В. Радченко. - Пятигорск, 2005. - 206 с.
12. Вербицкая М.В., Махмурян К.С., Симкин В.Н. Методические рекомендации для учителей, подготовленные на основе анализа типичных ошибок участников ЕГЭ 2017 года по английскому языку / М.В. Вербицкая, К.С. Махмурян, В.Н. Симкин // Педагогические измерения. - 2017. - №3. - С. 95-118.
13. Вербицкая М.В., Махмурян К.С., Симкин В.Н. Методические рекомендации для учителей, подготовленные на основе анализа типичных ошибок участников ЕГЭ 2015 года по иностранным языкам / М.В. Вербицкая, К.С. Махмурян, В.Н. Симкин. - М., 2015. - 30 с.
Barbakova Ekaterina Victorovna
East Siberia state university of technology and management, Ulan-Ude, Russia
E-mail: [email protected]
Stolyarova Irina Nikolaevna
Buryat state university, Ulan-Ude, Russia E-mail: [email protected]
Syrenova Victoria Borisovna
Regional center for information processing and assessment of the quality of education, Ulan-Ude, Russia
E-mail: [email protected]
Discrepancies in assessing task 40 of the Russian State Exam in English by regional experts: stating the problem
Abstract. In spite of the social importance of issues and problems concerning the Unified State Exam in Russia, there is a wide range of aspects that are unquestionably underrepresented in research. Among other things, these aspects include training of Unified state exams experts in a variety of subj ect fields and consistency of assessment performed by them. This holds true in particular for assessment consistency of task 40 in the Russian State Exam in English ("My Opinion Essay").
The current article is aimed at stating the problem of identifying the factors that determine the discrepancies in assessing task 40 by the Regional Subject Expert Commission in English in the Republic of Buryatia. The aim requires answering two research questions: (1) Which criteria in task 40 are the most difficult to apply for the experts? (2) What classes of errors can be identified within every aspect of the essay?
The research design included a statistical analysis of data on assessing essays that required a third assessment by the Regional Subject Expert Commission in English in the Republic of Buryatia in 2018-2019 and an analysis of the recommendations and reports by the Federal Institute of Pedagogical Assessment within 2012-2019 aimed at identifying the most common types and classes of errors in task 40.
As a result, C1 (achieving the communication goal) has been established as the most difficult criterion to apply in assessing task 40 and a classification of errors for task 40 has been developed.
The results indicate that the comparative difficulty of C1 is determined by the number of possible errors that can be made while designing this aspect of the essay. However, more data should be obtained to understand the factors behind the difficulty in the application of other criteria.
Keywords: unified state exam; assessment of writing; quality of assessment; unified state exam expert; extended response items; reliability of scoring; criteria assessment
