CC BY
195
ЛИНГВОДИДАКТИКА И МЕТОДИКА ОБУЧЕНИЯ ЯЗЫКУ
УДК 372.8
Т. М. Пермякова, М. С. Шевелева ЕГЭ как предиктор успешности изучения английского языка в вузе
В статье рассматривается влияние результатов ЕГЭ по английскому языку на успешность изучения иностранного языка в ВУЗе студентами неязыковой специальности. Сравнение результатов лонгитюдных наблюдений позволяет выявить, является ли ЕГЭ предиктором успешного изучения английского языка на уровне специальности в вузе.
This paper deals with the correlation between English-language Russian State Exam scores and efficiency of English-language learning in Institutions of Higher Education for professional purposes. The comparison of longitudinal study results enables the authors to prove whether Russian State Exams sores could be regarded as a predictor of English-language learning efficiency.
Ключевые слова: ЕГЭ по английскому языку, предиктор успешности, соотнесенность с международными стандартами.
Key words: English-language Russian State Exam, predictor of efficiency, comparison with international standards.
Интерес исследователей к ЕГЭ как социальному институту и инструменту измерения знаний все возрастает. Ряд авторов подчеркивает несомненные достоинства ЕГЭ: снижение нагрузки на ученика и объективность компьютерной проверки [15, c. 294], возможность выбора оптимальной стратегии поступления в вуз для абитуриентов [1, c. 64], эффективное распределение абитуриентов между вузами и возможность объективной оценки популярности последних [7, c. 192]. Вместе с тем, в ряде статей обсуждаются недостатки ЕГЭ содержательного характера [4, c. 59; 13, c. 40] и ставятся задачи дальнейшего развития и совершенствования данного экзамена [14, c. 165].
Данная статья посвящена вопросу о том, является ли ЕГЭ по иностранному языку предиктором успешного изучения английского языка на уровне специальности в ВУЗе. Для решения рассмотрены вопросы:
1) проблематики контрольно-измерительных материалов ЕГЭ по иностранному языку и уровневого диагностического тестирования, соотнесенного с международными стандартами;
2) соотношения уровня овладения английским языком как иностранным для академических целей и успешности учебной деятельности;
3) особенностей ЕГЭ и международного тестирования как предикторов успешности учебной деятельности;
© Пермякова Т. М., Шевелева М. С., 2013
205
4) результатов исследования соотнесения данных ЕГЭ и диагностического тестирования (практического материала).
Проблемы качества контрольно-измерительных материалов ЕГЭ подробно анализируются в работе А. П. Иванова [2, c. 3]. Автор рассматривает технические, дидактические и методологические характеристики эффективных тестов и приводит данные исследований формата и длины заданий тестов. При таком подходе с точки зрения технических характеристик ЕГЭ по английскому языку и диагностическое тестирование на базе международных тестов не вызывают сомнений, так как хронометраж рассчитан на каждый тип задания и их совокупность, а качество оформления теста утверждено Cambridge Assessment [24, c. 6].
С точки зрения проверки дидактических требований к тесту не вызывают сомнения такие параметры, как соответствие заданий теста предметной области - и в случае ЕГЭ по английскому языку, и в случае диагностического тестирования, проверяется уровень овладения иностранным языком - и возможность оценить уровень и структуру знаний как отдельного тестируемого, так и целой группы.
При этом нам видится потенциал использования баз(ы) данных для выявления особенностей учебного процесса для большей успешности изучения иностранного языка, например, режимов работы «Учитель - Студент», «Учитель - Студенты», «Студент - Студент», «Студент -Студенты», «Студенты - Студенты». К сожалению, на данный момент нет работ, отдельно посвященных вопросам индивидуального и группового режимов работы при подготовке к ЕГЭ по английскому языку. Такие разработки и методические рекомендации имеются для преподавателей и кандидатов Кембриджских экзаменов FCE (Cambridge English: First), CAE (Cambridge English: Advanced), CPE (Cambridge English: Proficiency), Business English Certificates: Preliminary, Vantage, Higher [18]. По данным непосредственных наблюдений опытные педагоги с ними знакомы и используют в своей практике.
Мы склонны также полагать, что уровень трудности заданий ЕГЭ и диагностического тестирования соответствует целевому назначению теста, а именно выявлению уровня овладения английским языком по завершению курса обучения.
Третье методологическое требование к контрольно-измерительным материалам - надежность, валидность, дискриминативность и объективность - наиболее широко подтверждается имеющимися публикациями [24, c. 8].
Вопросы соотношения уровня овладения английским языком как иностранным для академических целей и успешности учебной деятельности активно обсуждаются англоязычными авторами - профессионалами неязыковой специальности [19, c. 58; 26, c. 1], как правило, с предсказуемой мотивировкой следующей гипотезы: чем выше уровень языковой компетенции, тем успешнее учебная деятельность. Однако частные аспекты ши-
роко принимаемой гипотезы имеют ряд конвергентных и дивергентных положений к трактовке поставленной нами проблемы - ЕГЭ как предиктора успешности освоения иностранного языка по завершению программы обучения английскому языку для неязыковой специальности в вузе.
Конвергентные подходы заключаются в следующем. Большинство западных англоязычных высших учебных заведений склонно трактовать результаты стандартизованных тестов по английскому языку для иностранных студентов как возможность допуска к образованию, подтверждению способности к обучению в системе высшего образования (термин gate-keepers) [19, c. 68; 26, c. 2]. Ни в западной, ни в отечественной литературе ЕГЭ не рассматривается как предиктор успешности овладения иностранным языком для специальной профессиональной деятельности.
Данные исследований [17, c. 48] демонстрируют слабую положительную корреляцию между оценкой (при r от 0.2 до 0.5 в зависимости от исследовательского вопроса - рассматривается ли устная / письменная часть экзамена и выбираемая гуманитарно-социальная или научно-техническая специализация студентов), полученной по итогам стандартизированного теста по английскому языку, и средними показателями успеваемости студента на первом курсе.
Традиционно корреляция между устной / письменной частью продуктивных навыков (Speaking / Writing) стандартизованного теста высока [17, c. 12], что, по-видимому, дало основания убрать устную часть российского ЕГЭ в 2009 году по ряду не собственно предметных соображений. Однако данное утверждение не снимает с повестки дня проблему оценки ряда навыков устной речи - фонетических в лингвистических компетенциях и коммуникативно-прагматических в дискурсивных компетенциях. Также отметим, что «эталонные» требования при сдаче стандартизованных тестов, хотя формально и дают возможность не сдавать («завалить») какую-либо часть по видам языковой деятельности, на самом деле этого не подразумевают.
Дивергентные подходы заключаются в следующих положениях. Во-первых, западные университеты предусматривают возможность наличия доступа к образованию по окончанию средней школы не только через результаты равнозначных стандартизированных тестов, но и по завершению специализированных курсов по английскому как иностранному, чаще всего на базе собственного подготовительного центра (таковые имеются практически во всех университетах, например, Applied English Centre, English for Academic Purposes). Как правило, лучшие специализированные центры могут разработать собственную систему тестирования, соответствующую всем требованиям и быть признаваемой наряду с другими тестами на национальном уровне (Michigan Test of the English Language Proficiency, University of Lancaster Language Testing).
Во-вторых, результаты исследований гипотезы «чем выше уровень владения иностранным языком, тем успешнее учеба» часто подтверждают-
ся для одной лингвистической группы, но не для разных лингвистических групп [19, с. 67]. В целом характерной чертой западных стандартизированных тестов по английскому как иностранному является ориентация на мультилингвальность тестируемых, в то время как ЕГЭ по иностранному языку в Российской Федерации ориентирован преимущественно на русскоязычных.
Таким образом, не учитывается фактор естественного или искусственного билингвизма (хотя мы осознаем, что это редкий случай) для российского ЕГЭ по иностранному языку. Нам видится потенциал учета данных при анализе ЕГЭ как предиктора успешности освоения английского языка как иностранного таких факторов, как знание второго иностранного языка, наличие естественного билингвизма, владение русским языком как родным или неродным, результаты ЕГЭ по русскому языку. Данное заключение согласуется с выводами авторов, анализирующих результаты SAT (Scholastic Aptitude Test) - американского аналога ЕГЭ - как предиктора успешности обучения в вузе [6, с. 10; 25, с. 30], которые в частности утверждают, что прогнозирующая сила SAT происходит в значительной степени от демографических характеристик тестируемых. Ряд авторов также настаивает на том, что в качестве независимых переменных успешности будущей профессиональной деятельности - помимо навыков, связанных с обучением, психологических характеристик - необходимо рассматривать социально-демографические, когнитивные и биографические данные (так называемый background) [9, с. 36].
Подведем краткие предварительные итоги обзора литературы по методологии вопроса. Результаты стандартизованных тестов по английскому языку как иностранному не являются надежным предиктором учебной успешности и наоборот [17, с. 50; 21, с. 492; 26, с. 7]; 85% отклонений от r = 0.39 составляют такие факторы, как склонность к учебной работе, мотивация, организационные навыки, адаптивность, чувство эмоциональной защищенности и др.
Такие результаты согласуются с выводами исследования научноисследовательской компетенции студентов, где показано, что «успешность научной работы связана не с развитием отдельных когнитивных, коммуникативных или личностных свойств, ас их системным взаимодействием. При неустойчивости или неоптимальности этого взаимодействия эффективность ... деятельности оказывается низкой, даже если уровень развития отдельных когнитивных или личностных свойств достаточно высок» [12, c. 167]. Авторы отмечают, что «как правило, исследования соответствия профессиональной карьеры полученному образованию строятся в парадигме сравнения приобретаемых и необходимых для работы навыков. При этом редко обращают внимание на мотивационные, ценностные и другие личностные детерминанты изменения траектории профессионализации в период между завершением образования и профессиональной карьерой. И это при том, что мотивационная сфера и сфера интересов рассматриваются <...> как движущая сила, определяющая направление собственной актив-
ности человека. В литературе практически отсутствуют и систематические оценки влияния социально-экономических характеристик индивида на выбор им области работы после завершения профессионального образования» [9, с. 41].
Помимо этого, для студентов, изучающих английский язык как иностранный, навыки письма являются более существенным индикатором успешности учебы, чем навыки устной речи [5, с. 181 - 182; 17, с. 51].
Навыки, приобретаемые и оцениваемые в курсах по английскому языку для академических целей, в некоторых случаях ограниченно применимы к требованиям других курсов [17, с. 52]. Это позволяет автору выдвинуть две гипотезы: а) приобретаемые и оцениваемые навыки нерелевантны и потому непереносимы к другим дисциплинам / курсам; б) навыки релевантны, но студенты не могут их перенести [17, с. 52].
Исследования о предикторах включают следующий круг вопросов: а) соотнесенность результатов теста по английскому языку и надежности оценивающего, б) влияние обучения на подготовительных курсах на результаты теста, в) зависимость последующей академической успеваемости от результатов теста [22, с. 5]. Данные вопросы, как правило, поднимаются с целью выяснить адекватность речевой практики лингвистическим требованиям, предъявляемым студенту в конкретном курсе, и обоснования необходимости повысить или понизить «входные» требования к языку, чтобы прослушать тот или иной университетский курс [22, с. 21].
Предварительные исследования показывают, что результаты IELTS (International English Language Testing System) неточно прогнозируют языковое поведение студентов в университетской среде. Но, как правило, уточнения требований к уровню языковой компетенции требуются только для тех студентов, которые соответствуют минимальному «входному порогу», но не превышают его [22, с. 58]. Результаты SAT в значительно меньшей степени являются предикторами будущей успеваемости, чем текущей [25, с. 3].
Относительно ЕГЭ по английскому языку исследователи высказывают общее мнение, что его результат мало значим для определения успешности учебы, например, для студентов экономической специальности «наибольший вклад в оценку успеваемости на первом курсе дает результат ЕГЭ по математике, наименьший - результат ЕГЭ по иностранному языку» [6, с. 31; 8, с. 68]. Помимо этого, мнение отечественных авторов аналогично заключениям зарубежных исследователей о том, что достаточные проходные баллы не являются гарантией академической успешности и могут служить только «порогом» [6, с. 23; 26, с. 6]. Исследователи связывают успешность учебы с содержательными характеристиками мотивации, стоящими за результатами экзаменов. Итак, наряду с психологическими факторами успешности учебы в зависимости от результатов ЕГЭ ученые считают важным рассматривать социально-демографические характеристики тестируемых и навыки, связанные с обучением [9, с. 41; 10, с. 145].
Далее рассмотрим вопрос о создании базы данных, используемой для анализа факторов, влияющих на успешность изучения иностранного языка в ВУЗе. Кафедрой иностранных НИУ ВШЭ - Пермь проводится регулярное внутреннее диагностическое тестирование студентов. Данное тестирование организовано с целью выявления соответствия знаний, полученных в ходе обучения, международным стандартам в области обучения иностранным языкам. Диагностические тестирования проходят на факультетах направлений «Экономика», «Менеджмент», «Бизнес-информатика» (I ступень - бакалавриат) на регулярной основе, первое проводится в начале первого года обучения и служит основанием для формирования групп. Далее тестирование организуется в конце первого, второго и третьего курса. Такой подход позволяет осуществлять «систематическую и системную соотнесенность с международной сертификацией» [3, с. 2] и последовательным образом отслеживать прогресс учащихся в изучении иностранных языков. Таким образом, накоплен большой массив данных, позволяющих провести анализ зависимости изучения английского языка от начального уровня подготовленности.
Поскольку ЕГЭ по иностранным языкам является обязательным условием поступления в НИУ ВШЭ, то входной уровень владения языком может быть выражен как результатами ЕГЭ, так и первоначальным диагностическим тестированием. Сравнение результатов лонгитюдных наблюдений позволяет выявить, насколько успешны студенты в изучении английского языка в зависимости от результатов ЕГЭ в долгосрочной перспективе, и, следовательно, можно ли говорить о том, что ЕГЭ является предиктором успешного изучения английского языка на уровне специальности в ВУЗе.
Глубина открытия архива накопленных данных - 5 лет, таким образом, были проанализированы данные с 2008 года. Первым шагом исследования было проведение корреляционного анализа для сравнения результатов ЕГЭ и первичного диагностического тестирования (см. таблицу 1), проводимого перед началом первого года обучения, количество наблюдений - 1000 человек. Выборочный коэффициент корреляции Пирсона составил 0,44, что говорит о прямой линейной зависимости переменных и слабой положительной корреляции между ними. Таким образом, мы наблюдаем слабую положительную корреляцию между результатами ЕГЭ, который абитуриенты сдают в конце мая - начале июня и результатами внутреннего диагностического тестирования, проводимого в первых числах сентября.
Нам представляется, что данный показатель может быть объяснен рядом факторов. Во-первых, входное диагностическое тестирование проходит в формате международного экзамена FCE. Задания подобного типа могут представлять повышенную сложность для тех, кто только начинает обучение в ВУЗе, так как ранее не отрабатывались в практике изучения английского зыка на уровне школы.
Выявленные корреляции
Таблица 1
Виды корреляций Значение
Корреляция между результатами ЕГЭ и входным диагностическим тестированием 0,44
Корреляция между результатами ЕГЭ и финальным диагностическим тестированием 0,57
Корреляция между входным и финальным диагностическим тестированием 0,66
Во-вторых, абитуриенты последний год обучения в школе готовятся исключительно к заданиям в формате ЕГЭ, что может негативно сказываться на общем уровне владения английским языком и, следовательно, приводить к более низким показателям при прохождении тестовых заданий, отличающихся от формата ЕГЭ.
В-третьих, выше речь шла об ограничениях в трактовке качества ЕГЭ по английскому языку как экзамена, отражающего реальный уровень владения иностранным языком, а также о слабой корреляции результатов других общепризнанных внешних экзаменов (IELTS, SAT) и успешностью образовательной деятельности для студентов неязыковых специальностей.
Кроме того, интересным представляется анализ динамики данных ЕГЭ по английскому языку абитуриентов с 2008 по 2012 год. В таблице можно отметить большой разброс баллов ЕГЭ (от 12 до 94), что говорит о разном уровне подготовленности абитуриентов и, в свою очередь, значительно затрудняет работу преподавателей по подготовке специалистов, хорошо владеющих иностранным языком в рамках соответствующей специальности. Также можно отметить постепенное снижение среднего балла ЕГЭ по английскому языку и увеличение стандартного отклонения по выборке (см. таблицу 2).
Таблица 2
Анализ результатов данных ЕГЭ абитуриентов по английскому языку
(2008 - 2012 гг.)
Год Минимальное значение Максимальное значение Среднее значение Стандартное отклонение
2012 20 98 70 15
2011 20 98 75 12,9
2010 23 100 73 12,7
2009 38 99 85 7,8
2008 12 96 76 13,1
Вторым этапом исследования было проведение корреляционного анализа между результатами ЕГЭ и результатами финального диагностического тестирования в конце третьего года изучения английского языка в
ВУЗе. В этом случае коэффициент Пирсона составил 0,57, при выборке 500 человек. В данном случае мы наблюдаем незначительное возрастание коэффициента корреляции, в том время как можно было бы предполагать постепенное элиминирование влияния первоначальных знаний на успешность обучения.
Нам представляется, что данный результат можно объяснить особенностями изучения иностранного языка, где исходный уровень владения чрезвычайно важен для дальнейшей успешности обучения, а также тем, что способности к изучению иностранного языка проявляются уже на уровне школы и, вероятно, не возрастают со временем. В качестве объяснения возрастания коэффициента корреляции в данном исследовании можно также привести тот факт, что студенты на протяжении трех лет обучения знакомятся с форматом разных международных экзаменов (FCE, BEC Preliminary, BEC Vantage) и к концу третьего года обучения успешно выполняют многие задания. Следовательно, первоначальная сложность, связанная с форматом данных экзаменов, может быть снята.
На третьем этапе был подсчитан коэффициент корреляции между входным и финальным диагностическим тестированием, который составил 0,66, выборка - 500 человек. Это самый высокий уровень корреляции в данном исследовании, который объясняется проведением тестирования в одной системе, на материале, хорошо знакомом студентам, по итогам использования методики преподавания, базирующейся на единых программных требованиях с учетом достижения уровня овладения английским языком как иностранным.
В данном исследовании можно отметить ряд ограничений, связанных с особенностями собранного материала. К моментам, которые могут вызывать «исследовательский шум», можно отнести тот факт, что внутреннее диагностические тестирование проходит в формате разных экзаменов на первом и последующих курсах. Вместе с тем, это ограничение преодолевается уравниванием объема и сложности предлагаемых заданий. Еще одним ограничением исследования является изменение наполнения ЕГЭ (исключение устной части экзамена в 2009 г.) и варьирование сложности его заданий год от года (изменение формата и уровня сложности письменной части экзамена). Преодоление упомянутого ограничения не представляется возможным, поскольку данный факт находится вне сферы контроля исследователей.
В заключении подчеркнем, что результаты ЕГЭ и других стандартизированных экзаменов являются общепризнанной основой отбора и зачисления абитуриентов в высшие учебные заведения. Вместе с тем, нет однозначных данных о том, что ЕГЭ по разным предметам и, в том числе, по иностранному языку, служит предиктором успешности обучения в ВУЗе в долгосрочном периоде. Проведеннное лонгитюдное исследование показывает, что результаты ЕГЭ по иностранному языку в определенной мере могут детерминировать успешность изучения иностранного языка в
ВУЗе на уровне специальности. Видится, что результаты, полученные в ходе данного исследования, представляют интерес как с точки зрения отбора абитуриентов и организации процесса преподавания иностранного языка в ВУЗе, так и с точки зрения изучения факторов мотивации изучения иностранного языка в высшей школе, в том числе в долговременной перспективе.
Список литературы
1. Андрущак Г. В., Натхов Т. В. Введение ЕГЭ, стратегии абитуриентов и доступность высшего образования // Вопросы образования. - 2012. - № 3. - С. 64 - 87.
2. Иванов А. П. Критические замечания по ЕГЭ (математика): качество тестов и технология проведения экзамена // Вопросы образования. - 2005. - № 1. - С. 2 - 24.
3. Концепция преподавания английского языка в Государственном университете - Высшей школе экономики (I ступень - бакалавриат). Утверждена Ученым Советом ГУ-ВШЭ 02.07.2010 г. Протокол № 15. - М., 2010. - С. 1 - 21.
4. Кузнецов А. В. «Липа», дрессировка и Недоросль: снова о ЕГЭ // Директор школы. - 2011. - № 3 (156). - С. 58 - 60.
5. Лытаева М. А., Талалакина Е. С. Academic skills: сущность, модель, практика // Вопросы образования. - 2011. - № 4. - С. 178 - 201.
6. Пересецкий А., Давтян М. Эффективность ЕГЭ и олимпиад как инструмента
отбора студентов // Прикладная эконометрика. - 2011. - № 3 (23). - [Электронный ресурс] : http://www.litres.ru/a-pereseckiy/mariya-davtyan/ effektivnost-ege-i-olimpiad-kak-
instrumenta-otbora-abiturientov/ [Проверено 04.03.2013]
7. Польдин О. В., Силаев А. М. Сравнение образовательных программ по результатам ЕГЭ зачисленных студентов // Вопросы образования. - 2011. - № 3. - С. 192 -209.
8. Польдин О. В. Прогнозирование успеваемости в вузе по результатам ЕГЭ // Образование. - № 1 (21). - 2011. - С. 56 - 69.
9. Попов Д. С., Тюменева Ю. А., Кузьмина Ю. В. Индивидуальнопсихологические предикторы в лонгитюдных исследованиях образовательных и профессиональных карьер // Вопросы образования. - 2010. - № 4. - С. 31 - 53.
10. Прахов И. А., Юдкевич М. М. Влияние доходов домохозяйств на результаты ЕГЭ и выбор вуза // Вопросы образования. - 2012. - № 1. - С. 126 - 147.
11. Программа развития Государственного университета - Высшей школы экономики на период 2009 - 2015 гг. и до 2020 г.
12. Рамендик Д. М. Психологические факторы успешности в научной работе у
студентов-биологов // Вопросы образования. - 2011. - № 1. - С. 161 - 171.
13. Симонов В. П. Контроль достоверности ЕГЭ: качество тестирования // Директор школы. - 2010. - № 7 (150). - С. 40 - 46.
14. Уроки ЕГЭ как системного проекта. Семинар, посвященный юбилею
B.А. Болотова // Вопросы образования. - 2012. - № 3. - С. 165 - 183.
15. Чиганашкин В. М. Серьезно о ЕГЭ // Вопросы образования. - 2012. - № 2. -
C. 285 - 294.
16. Эконометрика: учеб. пособие / Перм.гос.нац.исслед.ун-т; М. В. Радионова, Н. В. Фролова, В. В. Чичагов. - Пермь, 2011.
17. Black J. Performance in English Skill Courses and Overall Academic Achievement // TESL Canada Journal. - Vol. 9. - № 1. - Winter. - 991. - Pp. 42 - 56.
18. Cambridge English: Business Certificates. Handbook for Teachers, 2013.
19. Chen Yu., Sun Ch. Language Proficiency and Academic Performance // Assessment and Learning. Bridging Diverse Disciplines and Domains. - 2012. - April. - Pp. 58 -72.
20. Dreyer C., Van Der Walt J. The Significance of Learner Variables as Predictors for ESL Proficiency // Studia Anglica Posnaniensia XXIX. - 1994. - Pp. 91 - 103.
21. Fakeye D.O., Ogunsiji Ye. English Language Proficiency as a Predictor of Academic Achievement among EFL Students in Nigeria // European Journal of Scientific Research. - Vol. 37. - № 3. - 2009. - Pp. 490 - 495.
22. Ingram D., Bayliss A. IELTS as a Predictor of Academic Language Performance // IELTS Research Report. - 2004. - Vol. 7. - Part 1.
23. Paul A. IELTS as a Predictor of Academic Language Performance // IELTS Research Report. - 2004. - Vol. 7. - Part 2.
24. Principles of Good Practice. Quality Management and Validation in Language Assessment. - January 2013.
25. Rothstein J. College Performance Predictions and the SAT // Journal of Econometrics. - May. - 2003. - Pp. 3 - 33.
26. Yen D.A., Kuzma J. Higher IELTS score, higher academic performance? The Validity of IELTS in Predicting the Academic Performance of Chinese Students. - Mimeo: University of Worcester, 2009.
