Проектирование языковых тестов: компетентностный подход (на материале дисциплины «Английский язык») Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

И. В. Тер-Авакян

ПРОЕКТИРОВАНИЕ ЯЗЫКОВЫХ ТЕСТОВ: КОМПЕТЕНТНОСТНЫЙ ПОДХОД (НА МАТЕРИАЛЕ ДИСЦИПЛИНЫ «АНГЛИЙСКИЙ ЯЗЫК»)

Статья посвящена проблеме тестовой диагностики качества обучения иностранным языкам в техническом вузе. Предлагается методика проектирования текстоцентрических тестов, позволяющая на основе формализованного подхода проводить линг-водидактические измерения с целью выявления уровней владения английским языком в условиях «отложенной» коммуникации.

The paper deals with a problem of assessment of foreign language proficiency in the area of professional education. The key idea is to introduce a model of text-oriented tests and to define its design parameters to improve the reliability of test procedures. Special attention is paid on accuracy of decisions when evaluating students' competence in the context of indirect communication.

Факт вхождения России в состав стран - участниц Болонских соглашений во многом требует переосмысления не только содержания образовательных программ [1], но и эффективного решения проблем диагностики и контроля знаний, получаемых в стенах высших учебных заведений. Именно поэтому особое внимание отечественных исследователей привлечено к созданию надежной системы оценки качества высшего образования.

В соответствии со сложившейся традицией действие такой системы строится на применении комплекса тестовых материалов, охватывающего все основные предметные направления в области высшего образования, а оценка результатов тестирования осуществляется посредством использования специальных диагностических процедур.

В последнее время наиболее интересные разработки в этой области принадлежат коллективу Национального аккредитационного агентства в сфере образования. Одним из направлений работы этого коллектива является проект «Интернет-экзамен», в основе которого лежит идея использования формализованных подходов для оценки качества усвоения учебного материала.

Для реализации данного проекта создана и постоянно обновляется база тестовых заданий, в том числе и в рамках дисциплины «Иностранный язык». Работа по созданию и расширению базы ведется в двух направлениях. Во-первых, осуществляется систематизация тестовых материалов в соответствии с критериями, разработанными в документах Совета Европы [2]. Во-вторых, разработана методология, отрабатывается

© Тер-Авакян И. В., 2008 50

и совершенствуется технология языкового тестирования, основанная на компетентностной модели обучения.

Цель такого тестирования - попытка выявить и измерить коммуникативную компетентность студентов, изучающих английский язык в неязыковых вузах. Задачей разработчиков является создание и внедрение системы тестовых заданий, которая позволила бы, в контексте коммуникативных компетенций, осуществлять диагностику качества языковых знаний и оценку уровня сфор-мированности коммуникативных навыков студентов высшей школы.

Поставленная задача решается на базе ком-петентностного подхода, в рамках которого действуют принципы системности, функциональности и прагматичности. Эти принципы помогают регулировать процедуру отбора тем для тестовых заданий, а также разработать структуру теста, разделы которого соотнесены с теми областями профессиональной деятельности, в которых может потребоваться практическое применение иностранного языка. Комплектация языкового материала также осуществляется с учетом соотнесенности разделов теста с конкретными областями профессиональной деятельности, при этом в каждом из разделов имеются задания, позволяющие выявлять и оценивать уровень языковой и коммуникативной компетенции студентов применительно к отдельным видам коммуникативной деятельности.

Чтобы упорядочить процедуру отбора тестовых материалов и определить область их применения в структуре языкового теста, потребовалось выработать критерии, позволяющие соотнести виды коммуникативной деятельности с областями их применения.

Решение данной проблемы было получено путем смыслоразличительного разделения понятий «компетенция» и «компетентность» [3], терминологическая интерпретация которых представлена ниже (см. табл. 1 и 2).

Поскольку такое разделение понятий при рассмотрении проблем языкового тестирования является особенно значимым, представляется целесообразным, в рамках данной работы, присвоить им значения, исходя из их объектно-субъектной ориентации. Термин «компетенция», учитывая его объектную ориентацию, - использовать для обозначения четко очерченной сферы активности/области, в рамках которой должна осуществляться определенная практическая деятельность. Термин «компетентность», ввиду его субъектной ориентации, - для обозначения способности адекватно функционировать с целью получения желаемых (планируемых) результатов специализированной деятельности в заданных условиях (сфере/области).

И. В. Тер-Абакян. Проектирование Языковых тестов: компетентностный подход.

Таблица 1

Компетентностный подход в языковом тестировании

ПРОЦЕСС КОММУНИКАЦИИ (прямая/непосредственная коммуникация)

Компетентность (субъектная ориентация) Компетенция (объектная ориентация)

Вид деятельности Область применения

Распознавание звуковой информации Аудирование

Порождение звуковой информации Речь

Таблица 2

ПРОДУКТ КОММУНИКАЦИИ («отложенная»/опосредованная коммуникация)

Компетентность (субъектная ориентация) Компетенция (объектная ориентация)

Вид деятельности Область применения

Декодирование письменной информации Чтение

Кодирование письменной информации Письмо

Апробация первых версий многовариантного комплекса тестовых заданий включала разделы, связанные с диагностикой коммуникативной компетентности в области «отложенной» коммуникации. Это объясняется тем, что, во-первых, работа с текстовой информацией в условиях «отложенной» коммуникации занимает в ходе обучения в неязыковых вузах особое место: на нее затрачивается значительная часть учебного времени. Во-вторых, базовый лингвистический минимум знаний при языковом обучении взрослых, как показывает практика, наиболее эффективно усваивается в контексте письменной коммуникации. Кроме того, чтение - это главный источник информации общеобразовательного и профессионального характера.

Анализ полученных результатов позволил уточнить дальнейшие задачи исследования и пересмотреть некоторые традиционные методические концепции и лингводидактические положения. Опора на компетентностый подход и принципы системности, функциональности и прагматичности подтвердили необходимость выделения единой дидактической единицы тестирования (далее ДЕ), тем более что единообразие и однородность объектов измерения способствует устойчивости в функционировании системы формализованной оценки качества выполнения заданий языкового теста.

В качестве ДЕ тестирования, учитывая ком-муникативно-компетентностные характеристики тестовых материалов, был избран текст, кото-

рый использовался в качестве основной дидактической единицы (ОДЕ) и единицы текста (слово, словосочетание, предложение и комплекс предложений/абзац), которые, с учетом их текстовых характеристик, рассматривались как дополнительные дидактические единицы (ДДЕ).

Текст при этом рассматривался как коммуникативная единица, которая, обладая признаками смыслового единства и коммуникативной значимости и представляя собой упорядоченное множество предложений, объединенных различными типами лексической, логической и грамматической связи, способна передавать определенным образом организованную информацию. Это позволило обеспечить критерий целостности для всех предъявляемых тестовых материалов, сохранив при этом их коммуникативно-компетентнос-тные характеристики.

Обычно за ДЕ тестирования в языковых тестах принимаются разноплановые лингвистические объекты и понятия: «лексика», «грамматика», «речевой этикет», «чтение» и т. д. Выбор текста в качестве основной ДЕ и единиц текста -в качестве дополнительных ДЕ не означает отказа от перечисленных выше значимых языковых реалий. Напротив, все они предусмотрены при проектировании теста, но представлены в тестовых заданиях имплицитно.

При проектировании теста учитывались те виды обработки письменной информации, которые имеют место при поиске и изучении текстов профессионально направленной ориентации. Структура измерительных материалов была представлена в виде блоков, каждый из которых включает набор заданий одинакового уровня сложности и организован по принципу «множественного выбора» (позволяет осуществлять выбор правильного ответа из четырех предложенных вариантов). Спецификация заданий каждого блока обусловлена прагматическими потребностями пользователя языка [см. приложение].

Характер выбранных вариантов ответов и полнота выполнения набора заданий в составе представленных блоков позволяет проводить диагностику и осуществлять лингводидактические измерения языковых компетенций в контексте одного и того же текста, даже в том случае, если объектом измерения является ДДЕ. Такой подход упрощает процедуру диагностики, оценка результатов тестирования становится более прозрачной, а анализ полученных данных может быть соотнесен с такими фундаментальными критериями, как валидность, надежность и выполнимость [4].

Предлагаемая концепция создания тестовых материалов [5] отвечает требованиям личност-но-деятельностной стратегии обучения, поскольку обеспечивает:

(а) нацеленность на конкретные сферы применения знаний и умений;

(б) ориентацию на получение заранее спланированного результата;

(в) возможность выбора варианта решения;

(г) наличие алгоритма выполнения тестового задания.

Если все эти аспекты учтены в концепции языкового тестирования и система тестовых заданий отражает их наличие, полученные результаты будут отражать реальный уровень того, как обучаемые знают язык, какие коммуникативные умения демонстрируют и как способны действовать, успешно применяя знания, в реальном мире.

Примечания

1. Гальскова, Н. Д. Теория обучения иностранным языкам. Лингводидактика и методика [Текст] / Н. Д. Гальскова, Н. И. Гез // М.: Изд. центр «Академия», 2004; Никитаев, С. Н. Болонский процесс и государственные образовательные стандарты высшего профессионального образования нового поколения. Современные теории и методы обучения иностранным языкам [Текст] / С. Н. Никитаев // М-лы Второй междунар. научн.-практ. конф. «Языки мира и мир языка» / Моск. акад. экономики и права. М.: Экзамен, 2006. С. 9-12; Новые государственные стандарты по иностранному языку [Текст]. М.: Астрель, 2004; Перфилова, Г. В. Компетентностный подход и его реализация в современном образовательном контексте [Текст] / Г. В. Перфилова // Компетентностный подход как основа совершенствования методики обучения иностранному языку в неязыковых вузах: Проблемы и перспективы. М.: Рема, 2008. С. 18-29. (Вестник Моск. гос. лингвист. ун-та; вып. 546. Сер. Лингводидактика); Программа курса иностранного языка для вузов неязыковых специальностей [Текст]. М.: МГЛУ, 2004.

2. Общеевропейские компетенции владения иностранным языком: Изучение, обучение, оценка. Совет Европы. Страсбург, 2001 [Текст]. М.: МГЛУ, 2003.

3. Андреев, А. Знания или компетенции? [Текст] / А. Андреев // Высшее образование в России. 2005. № 2. С. 38; Гончарова, Н. Л. Категории «компетентность» и «компетенция» в современной образовательной парадигме [Электронный ресурс] / Н. Л. Гончарова // Сборник научных трудов СевКавГТУ. Сер. «Гуманитарные науки». 2007. № 5; Зимняя, И. А. Ключевые компетенции - новая парадигма результата образования [Текст] / И. А. Зимняя // Образование сегодня. 2003. № 5. С. 34-42; Зотова, И. Н. Психолого-педагогическая поддержка развития коммуникативной компетентности студентов технического вуза [Текст]: автореф. дис. ... канд. психол. наук / И. Н. Зотова. Ставрополь, 2006.

4. Общеевропейские компетенции...

5. Тер-Авакян, И. В. Языковое тестирование: Новые подходы (на материале дисциплины «Английский язык») [Текст] / И. В. Тер-Авакян // Языковое тестирование: Новые подходы (на материале дисциплины «Английский язык»). Йошкар-Ола: Национальное аккредитационное агентство в сфере образования, 2008. С. 30-58.

ПРИЛОЖЕНИЕ

Структура измерительных материалов

(фрагмент) Дисциплина: Английский язык

ОДЕ 1 (Текст)

Вид проверки: Декодирование информации Спецификация заданий: Тематическая ориентация в содержании текста

(Критерий освоения ДЕ: не менее 2 правильно выполненных заданий.)

ОДЕ 1 (Текст)

Вид проверки: Декодирование информации Спецификация заданий: Извлечение информации по заданным параметрам

(Критерий освоения ДЕ: не менее 2 правильно выполненных заданий.)

ОДЕ 1 (Фрагмент текста) Вид проверки: Декодирование информации Спецификация заданий: Осмысление содержания текста

(Критерий освоения ДЕ: не менее 2 правильно выполненных заданий.)

9 Ознакомительное чтение: Выявление ключевых предложений текста

10 Ознакомительное чтение: Определение истинности утверждения на основе сопоставительного анализа предложенных вариантов

11 Ознакомительное чтение: Формулировка главной идеи текста

1 Просмотровое чтение: Выявление тематической направленности текста

2 Просмотровое чтение: Определение характера развития темы

3 Просмотровое чтение: Выявление тематически значимой информации посредством сопоставления компонентов текста

4 Просмотровое чтение: Определение предметной области и сферы потенциального применения извлеченной информации

5 Поисковое чтение: Извлечение запрашиваемой информации

6 Поисковое чтение: Извлечение запрашиваемой информации

7 Поисковое чтение: Извлечение и интерпретация запрашиваемой информации

8 Поисковое чтение: Извлечение и интерпретация запрашиваемой информации

И. В. Тер-Авакян. Проектирование языковых тестов: компетентностный подход.

ДДЕ 1 (Предложение в составе фрагмента текста)

Вид проверки: Декодирование информации

Спецификация заданий: Изучение и интерпретация смысла предложения

(Критерий освоения ДЕ: не менее 2 правильно выполненных заданий.)

12 Изучающее чтение: Обработка информации посредством структурно-логического анализа предложения

13 Изучающее чтение: Обработка информации посредством структурно-логического и грамматического анализа предложения

14 Изучающее чтение: Обработка информации посредством грамматического анализа компонента предложения

15 Изучающее чтение: Обработка информации посредством структурно-смыслового анализа компонента предложения

ДДЕ 2 (Словосочетание в составе предложения) Вид проверки: Декодирование информации Спецификация заданий: Смысловая ориентация в структуре словосочетания

(Критерий освоения ДЕ: не менее 3 правильно выполненных заданий.)

ДДЕ 3 (Слово в составе словосочетания) Вид проверки: Декодирование информации Спецификация заданий: Уточнение смысловой функции слова

(Критерий освоения ДЕ: не менее 4 правильно выполненных заданий.)

22 Извлечение запрашиваемой информации посредством анализа морфологической формы и функции слова в составе словосочетания

23 Извлечение запрашиваемой информации посредством анализа морфологической формы и функции слова в составе словосочетания

24 Извлечение запрашиваемой информации посредством анализа морфологической формы слова и привлечения фоновых знаний

25 Извлечение запрашиваемой информации посредством смыслового анализа контекста и привлечения фоновых знаний

26 Извлечение запрашиваемой информации на основе обобщенно-логического значения артикля

27 Извлечение запрашиваемой информации на основе обобщенно-логического значения предлога

28 Извлечение запрашиваемой информации на основе обобщенно-логического значения местоимения

29 Извлечение запрашиваемой информации на основе обобщенно-логического значения союза

ДДЕ 3 (Слово в составе словосочетания) Вид проверки: Декодирование информации Спецификация заданий: Уточнение значения слова с помощью грамматических маркеров

(Критерий освоения ДЕ: не менее 3 правильно выполненных заданий.)

16 Извлечение запрашиваемой информации посредством структурно-логического анализа именного словосочетания

17 Извлечение запрашиваемой информации посредством структурно-логического анализа именного словосочетания

18 Извлечение запрашиваемой информации посредством структурно-логического анализа именного словосочетания

19 Извлечение и интерпретация запрашиваемой информации посредством структурно-логического анализа глагольно-именного словосочетания

20 Извлечение и интерпретация запрашиваемой информации посредством структурно-логического анализа глагольного словосочетания

21 Извлечение и интерпретация запрашиваемой информации посредством структурно-логического анализа глагольного словосочетания

30 Имена: Определение класса и уточнение значения слова: Суффиксы

31 Имена: Определение класса и уточнение значения слова: Суффиксы

32 Имена: Уточнение значения слова: Префиксы

33 Имена: Уточнение значения слова: Префиксы

34 Глагол: Определение класса и уточнение значения слова: Суффиксы

35 Глагол: Уточнение значения слова: Префиксы