CC BY
62
УДК 811.111 '243:378.662.277.2
О.П. Кабрышева
старший преподаватель, кафедра иностранных языков, Физико-технический институт, ФГАОУ ВО «Национальный исследовательский Томский политехнический университет»
У.А. Смирнова
старший преподаватель, кафедра иностранных языков, Физико-технический институт, ФГАОУ ВО «<Национальный исследовательский Томский политехнический университет»
ОПРЕДЕЛЕНИЕ НАИБОЛЕЕ ТРУДНЫХ РАЗДЕЛОВ ЭКЗАМЕНА FCE ПО РЕЗУЛЬТАТАМ АНАЛИЗА ДАННЫХ ВЫЕЗДНЫХ СЕССИЙ 2013-2014 ГГ.
В ТОМСКОМ ПОЛИТЕХНИЧЕСКОМ УНИВЕРСИТЕТЕ
Аннотация. В данной работе рассматривается структура международного экзамена по английскому языку FCE, проводится анализ результатов сдачи данного экзамена в Томском политехническом университете (выездные сессии 2013 и 2014 годов) с целью определения наиболее трудных разделов экзамена и зависимости между уровнем владения английским языком и выявленными трудностями (на основании литерной оценки сертификатов). Настоящая работа будет полезна преподавателям иностранных языков, аспирантам, студентам, изучающим английский язык, готовящимся к сдаче экзамена FCE.
Ключевые слова: международный экзамен, раздел экзамена, анализ результатов, трудность.
O.P. Kabrysheva, Tomsk Polytechnic University
U.A. Smirnov3, Tomsk Polytechnic University
DETERMINATION OF THE MOST DIFFICULT FCE EXAM PAPERS BASED ON THE DATA ANALYSIS OF
THE LOCAL SESSIONS (2013-2014) AT TOMSK POLYTECHNIC UNIVERSITY
Abstract. In this paper the structure of the FCE examination is reviewed. The analysis of the examination results at Tomsk Polytechnic University (local sessions 2013-2014) was carried out to determine the most difficult papers of the exam and the correlation between English proficiency level and difficulty (based on the certificate band scores). This work will be useful for EFL teachers, students, FCE candidates.
Keywords: EFL examination, exam paper, data analysis, difficulty.
В условиях конкуренции на образовательном рынке развитие системы международной сертификации по английскому языку в университете может послужить одним из инструментов интернационализации инженерного образования [1]. Международные сертификационные экзамены позволяют структурировать знания, определить уровень владения английским языком и достаточно четко в соответствии с международными стандартами установить, для каких целей можно использовать этот уровень знаний [2].
Самыми популярными международными экзаменами по английскому языку на данный момент в Томском политехническом университете являются Кембриджские экзамены аттестационного агентства Cambridge English Language Assessment, которые признаются более чем 15000 университетами [3] и работодателями 80 стран. Первый Кембриджский сертификат FCE является третьей ступенью пятиуровневой системы Cambridge English Language Assessment и соответствует уровню независимого пользователя - B2 CEFR. Экзамен содержит пять разделов: Чтение (Reading), Письмо (Writing), Использование языка (Use of English), Аудирование (Listening) и Говорение (Speaking) (с 2015 года - 4 раздела) [4, 5].
Система оценок. Результаты оцениваются по сумме баллов в пяти разделах. Кандидаты получают сертификат Cambridge English: First с литерой А (80% и более правильных ответов), В (75-79%) и С (60-74%). При 56-59% правильных ответов выдается сертификат уровня В1 CEFR (НЕ сертификат FCE). Результаты по каждому разделу экзамена представляются в
документе Statement of results (лист результатов), в котором они расположены относительно шкалы оценок со следующей градацией: Неудовлетворительно (Weak), Удовлетворительно (Borderline), Хорошо (Good),Отлично (Exeptional) [4].
Цель работы. Выявить проблемные области и определить, существует ли взаимосвязь между результатами выполнения заданий различных разделов экзамена и литерной оценкой сертификата.
Методы исследования. В работе были использованы следующие методы: теоретический анализ методической литературы, математические методы исследования для обработки данных и результатов, а также личный многолетний опыт организации и проведения выездных сессий международных экзаменов по английскому языку синдиката Cambridge English Language Assessment.
Результаты исследования. В 2013-2014 году в выездной сессии Кембриджского экзамена FCE приняли участие 44 кандидата. Полученные результаты представлены на рисунке 1, из которой видно, что наибольшее количество кандидатов получили сертификат с литерой С -36% испытуемых (16 человек). Сертификат с литерой В и уровнем В1 получили 24% (11 кандидатов) и 27% (12 кандидатов), соответственно.
Результаты сдачи Кембриджско гожм лена FCE В 2013-2014 гг.
25% 1 im
11% ■
2%
А В С B1 Fail
Рисунок 1 - Результаты исследования
Для выявления разделов теста, вызывающих наибольшую трудность у испытуемых, нами были проанализированы Листы результатов (Statement of results). Сводные результаты анализа приведены в таблицах 1, 2 и 3.
Таблица 1 - Сводные результаты анализа в разделах Чтение и Письмо
Reading Writing
Weak Boderline Good Exceptional Weak Boderline Good Exceptional
23% 32% 18% 27% 7% 45% 25% 20%
Таблица 2 - Сводные результаты анализа в разделах Использование языка и Аудирование
Use of English Listening
Weak Boderline Good Exceptional Weak Boderline Good Exceptional
23% 34% 23% 20% 36% 27% 16% 18%
Таблица 3 - Сводные результаты анализа в разделе Говорение
Speaking
Weak Boderline Good Exceptional
2% 34% 50% 14%
Из таблиц 1, 2, 3 видно, что раздел Аудирование (Listening) представляет наибольшую трудность - 36% испытуемых не справились с выполнением заданий данного раздела на уровне, необходимом для успешной сдачи экзамена; выполнение заданий в данном разделе было отмечено как «Слабое» (Weak). Задания, направленные на оценку продуктивных видов речевой деятельности - Письмо (Writing) и Говорение (Speaking), - были выполнены с наименьшим процентом неудовлетворительных оценок - 7% и 2% соотвественно. При этом в данных разделах наблюдается максимальная доля оценки "Удовлетворительно" (Boderline) - 45% и 34% соответственно. Доля таких оценок в разделах Чтение (Reading) и Использование языка (Use of English) составляет 32% и 34%. В то же самое время мы видим, что наибольшая доля оценки "Отлично" (Exceptional) зафиксирована в разделе Чтение (Reading) - 27% , а наименьшая доля отличных оценок - в разделе Говорение (Speaking) - 14%.
Таким образом, наименьшую трудность при выполнении заданий теста вызывают задания в продуктивных видах речевой деятельности - Письмо и Говорение, где наблюдается минимальная доля неудовлетворительных оценок и максимальная доля удовлетворительных и хороших результатов. При этом доля отличных оценок сопоставима с долей таких оценок в других разделах.
Дальнейший анализ был проведен с целью выявления наиболее сложных для выполнения разделов теста среди испытуемых, получивших сертификат с одинаковой оценкой, выраженной в виде литеры (А, В, С, В1). Анализ проводился также на основании данных, представленных в листе результатов (Statement of results) каждого кандидата.
Ниже в таблицах 4, 5, 6, 7, 8 представлены данные по разделам экзамена о количестве кандидатов, получивших каждую из оценок, и доле таких кандидатов относительно общего количества испытуемых. Из таблицы 4 видно, что все кандидаты, имеющие сертификат с литерой A, и более половины кандидатов, получивших сертификат с литерой В (6 из 11), выполняют задания раздела Чтение на «отлично». Большинство, имеющих сертификат с литерой С (10 испытуемых из 16), имеют оценку «удовлетворительно». Наибольшую трудность в выполнении заданий по чтению испытывают кандидаты, получившие сертификат уровня В1 - 9 из 12 испытуемых получили оценку «неудовлетворительно», при этом никто из кандидатов этого уровня не выполнил эти задания на оценку «хорошо» и «отлично».
Таблица 4 - Сопоставительные результаты в разделе
Чтение
Reading
Кол-во/% Weak Boderline Good Exceptional
Все(44 чел.) 10 14 8 12
Все (%) 23% 32% 18% 27%
A (5 чел.) 0 0 0 5
А(%) 0% 0% 0% 11%
В (11 чел) 0 1 4 6
B(%) 0% 2% 9% 14%
C (16 чел) 1 10 4 1
C(%) 2% 23% 9% 2%
B1 (12 чел) 9 3 0 0
B1(%) 20% 7% 0% 0%
Аналогичным образом анализируя показатели по разделу Письмо (табл. 5), мы видим, что с данными заданиями успешно справились абсолютное большинства кандидатов. Интересно заметить, что количество оценок «отлично» в указанном разделе одинаково среди кандидатов, получивших сертификат с литерой A и C (по 2 человека), одновременно с этим более половины кандидатов, имеющих сертификат с литерой С (9 из 16), справились с этими заданиями на оценку «удовлетворительно».
Таблица 5 - Сопоставительные результаты в разделе
Письмо
Writing
Кол-во/% Weak Boderline Good Exceptional
Все(44 чел.) 3 20 11 9
Все % 7% 45% 25% 20%
A (5 чел.) 0 2 1 2
А(%) 0% 5% 2% 5%
В (11 чел) 0 2 4 5
B(%) 0% 5% 9% 11%
C (16 чел) 1 9 4 2
C (%) 2% 20% 9% 5%
B1 (12 чел) 2 7 2 0
B1(%) 5% 16% 5% 0%
Таблица 6 показывает, что задания на знание лексических единиц и грамматических явлений представляют существенную трудность только для получивших сертификат уровня В1 - 9 кандидатов из 12 не справились с заданиями данного раздела, остальные 3 кандидата получили оценку «удовлетворительно». Большинство кандидатов, имеющих сертификат с литерой А (4 из 5) и почти 50% - с литерой В (5 из 11) получили отличную оценку в данном разделе экзамена.
Таблица 6 - Сопоставительные результаты в разделе Использование языка
Use of English
Кол-во/% Weak Boderline Good Exceptional
Все (44 чел.) 10 15 10 9
Все (%) 23% 34% 23% 20%
A (5 чел.) 0 0 1 4
А(%) 0% 0% 2% 9%
В (11 чел) 0 1 5 5
B% 0% 2% 11% 11%
C (16 чел) 1 11 4 0
C(%) 2% 25% 9% 0%
B1 (12 чел) 9 3 0 0
B(1%) 20% 7% 0% 0%
Задания по аудированию (табл. 7) представляют существенную трудность для большинства кандидатов, имеющих уровень владения английским языком В1 - 9 испытуемых из 12 не справились с выполнением заданий данного раздела. Такую же оценку получили почти половина кандидатов, имеющих сертификат с литерой С (7 из 16 человек). Остальные кандидаты, показавшие более высокий уровень владения АЯ по результатам экзамена, не обнаружили существенных трудностей в выполнении заданий данного раздела.
Задания по говорению (табл. 8) были успешно выполнены абсолютным большинством кандидатов. Один испытуемый (уровень В1) получил неудовлетворительную оценку в данном разделе. Следует отметить, что оценку "хорошо" получили большинство кандидатов, имеющих
сертификат с литерой В (9 из 11) и С (9 из 16).
Таблица 7 - Сопоставительные результаты в разделе Аудирование
Listening
Кол-во/% Weak Boderline Good Exceptional
Все (44 чел.) 16 12 7 8
Все (%) 36% 27% 16% 18%
A (5 чел.) 0 1 1 4
А(%) 0% 2% 2% 9%
В (11 чел) 0 4 4 3
B(%) 0% 9% 9% 7%
C (16 чел) 7 6 2 1
C(%) 16% 14% 5% 2%
B1 (12 чел) 9 2 0 0
B1(%) 20% 5% 0% 0%
Таблица 8 - Сопоставительные результаты в разделе Говорение
Speaking
Кол-во / % Weak Boderline Good Exceptional
Все (44 чел.) 1 15 22 6
Все (%) 2% 34% 50% 14%
A (5 чел.) 0 0 1 4
А(%) 0% 0% 2% 9%
В (11 чел) 0 1 9 1
B(%) 0% 2% 20% 2%
C (16 чел) 0 6 9 1
C(%) 0% 14% 20% 2%
B1 (12 чел) 1 8 4 0
B1(%) 2% 18% 9% 0%
Традиционно считается, что продуктивные виды РД являются наиболее трудными для овладения при изучении ИЯ, однако проведенный анализ опровергает данное утверждение. Выявление возможных причин отсутствия или наличия корреляции между общим владением АЯ и успешностью выполнения того или иного раздела экзамена должно основываться на дополнительном многофакторном анализе (возраст кандидатов, прохождение подготовительного курса перед сдачей экзамена, период изучения АЯ и пр.). Тем не менее, исходя из личного опыта работы, среди наиболее вероятных причин такого дисбаланса можно обозначить следующие. Во-первых, в продуктивных разделах экзамена - это возможность кандидата выбирать те лексико-грамматические единицы, которые им были усвоены более глубоко и точно, что естественным образом ведет к уменьшению количества ошибок. Во-вторых, в рецептивных видах чем ниже уровень владения АЯ, тем более наблюдается интерференция пробелов в знаниях или недостаточность сформированности одного и/или нескольких умений. Так, например, недостаточно сформированные умения чтения могут частично быть причиной неверного выполнения заданий по аудированию.
Заключение. Проведенный анализ позволяет сделать следующие выводы о трудности разделов теста РОБ в зависимости от уровня подготовки кандидатов.
1. Независимо от уровня подготовки кандидатов, наименьшую трудность представляют задания продуктивных разделов теста - Письмо и Говорение. Абсолютное большинство справились с данными заданиями, при этом более половины всех кандидатов получили оценку «хорошо» и выше.
2. Исходя из количества оценок «неудовлетворительно», наибольшую трудность представляют задания по аудированию - для 36% испытуемых. Однако такую трудность испытывают только кандидаты с более низким уровнем подготовки ( сертификаты с литерой С и B1).
3. С разделами Чтение и Использование языка не справились одинаковое количество испытуемых - 23%, при этом оба раздела представляют трудность только для кандидатов с уровнем владения ИЯ B1.
4. Для выявления причин трудности отдельных разделов и корреляции между трудностью и уровнем владения АЯ необходим дополнительный многофакторный анализ.
Список литературы:
1. Смирнова У.А. Международные экзамены по английскому языку как инструмент независимого лингвистического аудита уровня владения языком будущего инженера (на примере международных экзаменов по английскому языку Cambridge English Language Assessment). -Томск: Издательство Томского политехнического университета, 2014.
2. Сайт экзаменационного агентства Cambridge English Language Assessment [Электронный ресурс]. http: //www.cambridgeenglish.org/.
3. Cambridge English [Электронный ресурс]. URL: http://www.cambridgeenglish.org/why-cambridge-english/global-recognition/index.aspx?s=1.
4. Cambridge English: First - First Certificate in English (FCE) CEFR Level B2. Handbook for Teachers. - UCLES, 2012.
5. Cambridge English: First - First Certificate in English (FCE) CEFR Level B2. Specifications and Sample Papers for examinations from January 2015. - UCLES, 2013.
6. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. - M.: Логос, 2002. - 432 с.
7. Alderson J. Language Test Construction and Evaluation / J.C. Alderson, C. Clapham, D. Wall. - New York: Cambridge University Press, 1999.
8. Bachman L. Language Testing in Practice: Designing and Developing Useful Language Tests. - Oxford: Oxford University Press, 1997.
9. Common European Framework of Reference for Languages: Learning, teaching, assessment. - Cambridge: Cambridge University Press, 2001.
10. Hughes A. Testing for Language Teachers / A. Hughes. - Cambridge: Cambridge University Press, 2000.
11. Madsen H. Techniques in Testing. - Oxford: Oxford University Press, 1983.
12. Portuguese schools to use Cambridge English as part of national scheme [Электронный ресурс]. - URL: http://www.cambridgeenglish.org/news/view/portuguese-schools-to-use-cambridge-english-as-part-of-national-scheme/ (дата обращения:28.02.14).
