CC BY
78
УДК:372.881.111.1
О. А. Сеничкина O. A. Senichkina
Особенности тестирования языковых навыков и речевых умений студентов-психологов при обучении профессионально-ориентированному английскому языку
Features of testing language skills and speaking abilities of students taking esp course at the faculty of psychology
Статья посвящена рассмотрению особенностей создания итогового теста для проверки языковых навыков и речевых умений студентов-психологов при обучении профессионально-ориентированному английскому языку и анализу результатов проведенного тестирования.
The article considers the design of language final achievement test for the ESP students of the Faculty of Psychology. The statistical analysis of the results is presented.
Ключевые слова: итогового теста, языковые навыки, речевые умения, тестовый балл, тестовый вопрос, язык специальности, статистический анализ.
Key words: final achievement test, language skills, speaking abilities, test score, item, ESP, statistical analysis.
До настоящего времени на неязыковых гуманитарных факультетах, и в частности на факультете психологии в СПбгУ, курс английского языка носил грамматико-переводной профессионально направленный характер. Целью курса являлось приобретение обучающимися навыка чтения специальной литературы.
В настоящее время курс английского языка носит коммуникативно-ориентированный и профессионально-направленный характер. Его задачи определяются коммуникативными и познавательными потребностями специалистов соответствующего профиля. Цель курса - приобретение обучающимися англоязычной коммуникативной компетенции, уровень которой позволяет использовать английский язык в учебной, профессиональной (практической и научной) деятельности, а также для целей самообразования.
Изменение целей курса неизбежно влечет за собой изменение подхода к обучению, а, следовательно, и к новому пониманию обу-ченности английскому языку. При коммуникативном подходе к преподаванию английского языка понятие обученности означает достижение того или уровня развития коммуникативной компетенции, всех ее составляющих, таких как знания (лингвистические, фо-
новые, социокультурные и др.), навыки (слухо-произносительные, лексические, грамматические, технические навыки чтения и письма) и умения в различных видах речевой деятельности: в чтении, аудировании, говорении и письменной речи [1; 2, с. 111-113].
В свою очередь изменение целей и задач обучения английскому языку на факультете психологии влекут за собой изменение в понимании роли контроля и тестирования, как промежуточного, так и итогового. Контроль должен быть направлен не только на проверку знания определенного набора лексических единиц узкоспециализированной лексики и операций, связанных с образованием различных грамматических форм и конструкций, но и на выполнение действий и операций с изученными языковыми явлениями в ходе продуцирования устных и письменных высказываний или восприятия и понимания текстов на слух при чтении. Изменяются требования как к методам контроля и содержанию контрольно-измерительных материалов, для входного, промежуточного, и итогового контроля знаний по общему и английскому языку специальности, так и к подходу в выставлении оценки. Тестовые задания должны проверять все речевые умения и навыки, а не только чтение и перевод, свойственное для грамматико-переводного метода. При выставлении оценки необходимо учитывать не только уровень владения языком, подтвержденный результатами теста, но и работу студента в течение периода обучения, то есть те успехи, которых студент достиг по сравнению с предыдущим тестированием.
Целью данной работы являлось создание валидного теста для проведения итогового тестирования на факультете психологи в Санкт-Петербургском Государственном Университете.
В создании теста принимали участие сотрудники кафедры английского языка для факультета психологии Санкт-Петербургского Государственного Университета прошедшие соответствующую подготовку в Центре языкового тестирования. Ими была разработана структура экзамена и тестовые задания. После того как были сформулированы объекты тестирования было составлено техническое задание. Техническое задание включало в себя: требования к тестовым заданиям, сроки исполнения и проведения модерации, ответственных исполнителей. В соответствии с техническим заданием был составлен стандартизированный тест, который состоит из 2 частей: письменной и устной. Каждая из частей включает в себя батарею субтестов с заданиями по четырем разделам: «Письмо»; «Чтение»; «Практическое использование языкового материала»; «Говорение» и проведена его модерация для претестирования. Учитывая реальные технические возможности было решено прово-
дить экзамен поэтапно. Далее представлена структура многоэтапного экзамена.
Структура многоэтапного экзамена Этап 1. Письменное тестирование: Письмо.
Задачей теста в разделе «Письмо» являлось определение уровня сформированности речевых умений продуктивной письменной речи.
Тест включает в себя три задания:
1. Анализ графика или диаграммы.
2. Письмо делового характера.
3. Сочинение-рассуждение типа Opinion Essay или For and Against Essay, основанное на утверждении психологической тематики.
Студенты, проходившие обучение на уровнях Pre-Intermediate и Intermediate обязательно выполняют задания 1 и 2. Студенты, проходившие обучение на уровнях Upper-Intermediate/Advanced обязательно выполняют задание 3 и 1 или 2 по выбору.
Продолжительность выполнения теста - 80 минут. Этап 2. Письменное тестирование: Чтение. Использование языкового материала.
1. Чтение текста психологической тематики объемом 500 слов с целью полного понимания. Тип задания «Множественный выбор» (тестовые вопросы с 1 по 6). Чтение текста психологической тематики объемом в 400 слов с целью полного понимания. Тип задания «Альтернативные ответы» (тестовые вопросы с 7 по 16).
2. Проверка знания лексических единиц психологической тематики, навыков словообразования, умения перефразировать предложение, употребив сложные грамматические структуры, правильно использовать лексические единицы психологической тематики (тестовые вопросы с 17 по 50).
Продолжительность выполнения теста - 79 минут, из них на раздел «Чтение» отводится 45 минут, а на «Использование языкового материала» - 34 минуты.
Этап 3. Представление Портфолио составленного в процессе обучения. Проверяется и оценивается преподавателем за 2 недели до конца курса обучения.
Университетский языковой портфель (портфолио) наглядно показывает и документально подтверждает результаты, которые достигнуты на данном этапе, то, что студент может делать на английском языке; а также делает учебный процесс более открытым, помогает студенту развивать самоконтроль, планировать и анализировать свой учебный процесс, постепенно подводит студентов к большей ответственности за свое обучение.
Этап 4. Устная часть экзамена: Интервью и беседа с преподавателем; устные ответы на вопросы к тексту по специальности.
1) Интервью и беседа с экзаменатором:
1. Интервью (2 минуты) на тему личного характера, учеба, хобби, планы на будущее.
2. Монолог 3-4 минуты по вопросам билета (время на подготовку 1-2 минуты).
3. Беседа с преподавателем 4-5 минут (ответы на вопросы, требующие аргументированного личного мнения студента) в связи с той же темой.
Для студентов проходивших обучение на уровнях Pre-Intermediate и Intermediate предъявлялась карточка тестируемого с тремя аспектами, по которым он должен высказать свою точку зрения. Карточка экзаменатора-собеседника содержала два дополнительных вопроса. Для студентов проходивших обучение на уровнях Upper-Intermediate/Advanced предъявлялась карточка тестируемого с тремя мини высказываниями по заданной проблемной речевой ситуации. Карточка экзаменатора-собеседника содержала два дополнительных мини высказываниями и один вопрос.
2) Чтение без словаря отрывка статьи психологической тематики объемом 1000 печатных знаков в течение 5 минут, устные ответы на вопросы преподавателя. Представлены вопросы 2 типов направленные на изложение фактической информации и побуждающие студента аргументировано выразить мнение по проблеме, поставленной в тексте.
Формат итогового теста по английскому языку на факультете психологии
Части Разделы Количество заданий Продолжительность
Чтение 2 45 мин.
Практическое использование языкового материала 4 34 мин.
Письмо 2 80 мин.
Устная Говорение 2 21 мин.
Всего: 10 3 часа
Соотношение разделов итогового теста установлено в следующей пропорции:
• Чтение 20%
• Практическое использование языкового материала 20%
• Письмо 20%
• Говорение 20%
• Портфолио 20%
Таким образом, итоговый балл выводится как среднее арифметическое: средний балл за итоговые письменные тесты, оценки за портфолио, и оценки, полученной на устном экзамене.
После составления теста было:
• проведено претестирование. Проведение претестирования преследовало 2 основные цели: - выработать критерии оценки и ознакомить студентов с форматом теста;
• проведено анкетирование студентов, где студентов просили дать отзыв на формат теста, оценить сложность заданий, выразить пожелания, какому аспекту следует уделять большее внимание на аудиторных занятиях в рамках профориентированного обучения иностранному языку;
• проведена статистическая обработка результатов и выработаны критерии оценки как объективной, так и субъективной категории тестов.
В данном педагогическом эксперименте принимали участие 12 групп студентов 3 курса факультета психологии разного уровня владения английским языком общей численностью 146 человек. Данная выборка состояла на одну треть (28 %) из юношей и на две трети (72 %) из девушек прошедших курс обучения английскому языку из 260 часов, из которых по 80 часов были посвящены академическому английскому и профессионально ориентированному.
Результаты претестирования и списки с аттестацией каждого студента ведущим преподавателем были сведены в таблицы. Для выборки в целом определены меры центральной тенденции - мода, медиана и средняя. Наличие трех мод в выборке показывает ее неоднородность, т.е. подтверждает наличие трех подгрупп испытуемых выделяющихся по уровню подготовки соответствующих уровням Pre-Intermediate, Intermediate и Upper-Intermediate/Advanced. По полученным результатам 12 групп были разбиты на 3 подгруппы. Для каждой подгруппы установлено количество тестовых баллов по каждому разделу теста соответствующее оценке удовлетворительно, хорошо и отлично, соответственно. Далее:
• проведено тестирование в 3 этапа - письмо, чтение лексика/грамматика, устная часть;
• проведена статистическая обработка результатов, откорректированы критерии выставления оценки;
• выставлена итоговая оценка.
В оценивании письменных работ и устных ответов студентов принимали участие сотрудники кафедры прошедшие подготовку в центре языкового тестирования Санкт-Петербургского государст-
190
венного университета по программе «Подготовка экзаменаторов и экспертов по тестовым формам контроля» по разделу «Письмо» и «Говорение». Оценивание проводилось на основе «Единой шкалы критериев оценивания» для каждого раздела и дополнительных схем оценивания, интерпретирующих использование шкалы критериев оценивания применительно к конкретному тестовому заданию.
Письменные работы оценивались по следующим критериям:
■ содержательная адекватность письменного высказывания;
■ логичность и связанность письменного высказывания;
■ правильность организации текста;
■ адекватность использования языкового материала;
■ правильность орфографии и пунктуации.
Максимальный балл за раздел « Письмо» равнялся 30 баллам.
Устные ответы оценивались по следующим критериям:
• содержательная адекватность устного высказывания;
• логичность и связность устного высказывания;
• адекватность использования стратегий речевого взаимодействия;
• адекватность использования языкового материала;
• правильность фонетики.
Максимальный балл за раздел «Говорение», который тестируемый мог набрать, равнялся 6 баллам.
Задания в разделах «Чтение», «Практическое использование языкового материала» оценивались по дихотомической модели: за каждый правильный ответ по тестовому вопросу давался один балл. Задания проверялись по ключам. Грамматические и орфографические ошибки не допускались. Итоговым первичным (исходным) баллом по заданию являлась сумма баллов, полученных за правильные ответы по тестовым вопросам задания.
Далее в программе ITEMAN (tm) for 32-bit Windows, Version 3.6 проведена статистическая обработка результатов [3, с. 4-7; 4].
Анализ статистических характеристик показал, что тестовые задания разделов «Чтение», «Практическое использование языкового материала» обладают высоким уровнем надежности и точности измерений.
Анализ таких статистических характеристик, как коэффициент дискриминации, коэффициент точечно-бисериальной корреляции, процент выполнения задания, процент выбора дистракторов показал, что в данном разделе теста 4 тестовых вопросов из 50 имеют некоторые отклонения по тому или иному параметру. Однако по совокупности статистических характеристик только 1 из тестовых вопросов был признан проблемным и исключен из рассмотрения. Это говорит
о высокой степени достоверности результатов теста по разделам «Чтение», «Практическое использование языкового материала».
Сравнительный анализ результатов выполнения теста по разделам показал, что у тестируемых лучше всего сформированы умения в таком виде речевой деятельности, как «Чтение». В достаточной мере устойчиво сформирован навык использования грамматических структур и лексических единиц в профессионально-ориентированном контексте (раздел «Практическое использование языкового материала»). Хуже всего сформированы умения в таком виде речевой деятельности как «Говорение». Высокий показатель дисперсии в таких видах речевой деятельности, как «Письмо» и «Говорение» говорит о разнице в уровне сформированности данных речевых умений и навыков.
Проведенный анализ типичных ошибок позволил сделать более детальные выводы об уровне сформированности умений тестируемых и дать рекомендации по формированию различных умений по разделам.
В разделе «Чтение» в заданиях типа «Множественный выбор» неправильный выбор ответа связан с тем, что тестируемые не достаточно внимательно читают формулировку тестового вопроса и части текста, к которой относится этот вопрос; в заданиях «Альтернативные ответы» тестируемые затрудняются найти в прочитанном тексте нужную информацию и сделать правильный вывод. Они выбирают ответ только по наличию одинаковых слов в вопросе и тексте.
При формировании умений понимать полное содержание прочитанного, в аудиторной работе следует акцентировать внимание студентов на том, что:
• выбор ответа в заданиях на полное понимание прочитанного, должен быть основан только на информации, которая есть в тексте, а не на основании того, что они думают или знают по предложенному вопросу;
• лексика в формулировке тестовых вопросов и в тексте не совпадают, поэтому при чтении необходимо сосредоточить внимание на синонимичных выражениях или словах близких по смыслу.
Наибольшие трудности возникли в заданиях, где надо было использовать сложные грамматические конструкции типы Complex Subject.
Анализ типичных ошибок в разделе «Использование языкового материала» показал, что в работе по формированию и закреплению лексико-грамматических навыков полезно:
• предъявлять грамматический и лексический материал в связных аутентичных текста психологической тематики;
• при формировании навыков использования словообразовательных средств учитывать смысл всего текста и каждого предложения, а также структуру предложения, для того чтобы понять, какая часть речи необходима для заполнения пропуска образованного существительного и увидеть необходимость использования отрицательного значения слова.
В разделе «Письмо» при написании письма делового характера тестируемые запрашивают не всю информацию, которую должны запросить, не используют косвенные вопросы, делают ошибки при расположении написании адресов, допускают ошибки в средствах логической связи. При анализе графика к типичным недостатка относятся: отсутствие деления текста на абзацы или недостаточно логичное деление текста на абзацы, описание не фактической информации представленной на графике, а самой картинки, факты не группируются и не сопоставляются между собой, отсутствие вывода. Допускаются лексические, грамматические и орфографические ошибки. При написании сочинения-рассуждения тестируемые часто не приводят противоположную точку зрения, вывод в конце сочинения не соответствует сказанному ранее, логически неоправданно делят текст на абзацы, используют ограниченный запас средств логической связи, допускают лексические и орфографические ошибки. При обучении студентов аспекту «Письмо» рекомендуется:
• знакомить студентов с разными видами заданий по письму и их форматом;
• акцентировать внимание студентов на необходимости внимательно читать задание и выделять существенную информацию, которая должна быть отражена в работе;
• приучать приводить аргументы и поддерживать их фактами, развивать умение употреблять средства логической связи внутри предложений, между предложениями и между частями текста.
К основной проблеме при выполнении задания «Монологическое высказывание по предложенной речевой ситуации» в разделе «Говорение» относится неумение тестируемыми выразить свою точку зрения, так, тестируемые часто ограничивались односложными фразами, большая часть тестируемых испытывала трудности при выражении аргументированной точки зрения. Во втором задании отвечая на вопросы студенты скорее опирались на базовые знания по специальности, а не информацию изложенную в тексте.
По результатам выполненной работы проведен анализ результатов, анкет студентов и отзывов преподавателей. Анализ показал, что целесообразно:
• создать и постоянно обновлять банк нормированных в соответствии с уровнем заданий по разделам «Говорение», «Письмо», «Чтение», «Практическое использование языкового материала»;
• составить и провести анкетирование среди студентов с целью выявления междисциплинарного соответствия тем текстов вошедших в тест и тем изучаемых в рамках профилирующих предметов;
• создать банк текстов по специальности на английском языке.
Список литературы
1. Актуальные вопросы языкового тестирования. Под редакцией И.Ю. Павловской. Санкт-Петербург, 2008.
2. Павловская И.Ю., Башмакова Н.И. Основы методологии обучения иностранным языкам. Тестология (курс лекций) Санкт-Петербург, 2002.
3. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. М., 1995.
4. User's Manual for the ITEMAN™ Conventional Analysis Program. Assessment Systems Corporation.
