CC BY
48
В.Г. НАВОДНОВ, профессор И.В. ТЕР-АВАКЯН, доцент Марийский государственный технический университет
Новое в методологии проектирования языковых тестов
Статья посвящена проблеме тестовой диагностики качества обучения иностранным языкам в техническом вузе. В центре внимания - вопросы проектирования языковых тестов на базе компетентностного подхода и концепция создания текстоцентри-ческих тестов, позволяющая проводить лингводидактические измерения с целью выявления уровней владения английским языком в условиях письменной коммуникации.
Ключевые слова: компетентностный подход, иноязычная коммуникативная компетенция, оценка качества, тест-проектирование, текстоцентрические тесты.
на базе компетентностного подхода, были выработаны принципы, позволяющие проектировать комплексы тестовых заданий, адаптированные для
Проблема повышения качества языковой подготовки в сфере высшего профессионального образования приобретает международный характер [1]. Идеи, сформулированные на базе компетентностного подхода[2-5] и разрабатываемые на основе Федеральной целевой программы развития образования на 2006-2010 гг., создают условия для внедрения новых образовательных технологий и совершенствования систем диагностики и контроля качества результатов обучения.
Масштабы распространения в педагогической практике процедур тестового контроля, а также потребность в надежном и эффективном измерительном инструментарии породили идею использования формализованных подходов для оценки качества высшего профессионального образования. При этом особой проблемой стала задача адаптации таких подходов для нужд языкового тестирования, где в силу специфики объекта существуют области, слабо поддающиеся какой-либо формализации.
Первая попытка реализовать описанные выше идеи была предпринята в 2005 г. в рамках проекта «Федеральный Интернет-экзамен в сфере профессионального образования» (ФЭПО) [6,7]. В результате теоретических и практических исследований в области языкового тестирования, проводимых
целей формализованного контроля [8].
Результаты апробации подготовленных материалов в экспериментальных группах показали необходимость дальнейшей разработки идей и позволили определить перспективы и направление следующего этапа исследований. Главной задачей на новом этапе стало усовершенствование процедуры лингводидактических измерений и их переориентация на получение показателей, которые позволяют устанавливать уровень владения иностранным языком в приложении к конкретным областям коммуникативной деятельности [9, с. 100].
В силу комплексного характера проблем диагностики разработка тестовых материалов была ограничена контекстом «отложенной» (письменной) коммуникации. При этом основу исследования составили следующие исходные положения.
1. Цель языкового тестирования в неязыковом вузе - диагностика иноязычной коммуникативной деятельности студентов и оценка их умения понимать и продуцировать письменную речь.
2. Задача проектировщиков - разработать комплекс тестовых материа-
лов, пригодный для измерения и анализа показателей рецептивной и продуктивной деятельности студентов с учетом конкретных параметров коммуникации. В данном случае в качестве таких параметров рассматриваются: канал коммуникации - письменный и тип коммуникации - восприятие или продуцирование [10].
3. Рецептивная деятельность в заданных параметрах коммуникации определяется как последовательность действий, направленных на извлечение, понимание, осмысление и интерпретацию информации, которая содержится в предъявленном тексте.
4. Продуктивная деятельность как последовательность действий, позволяющих в заданных параметрах коммуникации создавать письменное сообщение в формате текста, рассматривается, исходя из целей данного исследования, через призму рецептивной деятельности. (Это дает возможность проследить, как осуществляется экстраполяция компетентностных умений, требуемых для выполнения рецептивной деятельности, на новую область коммуникации).
5. Методология тестирования формируется на базе компетентностного подхода и охватывает все этапы тестовой деятельности:
■ при форматировании тестовых заданий, включая компоновку заданий в пулы и формулировку каждого из тестовых заданий, - определяет концепцию проектирования языковых тестов и тем самым регламентирует деятельность разработчиков (это обеспечивает соотнесенность заданий с возможными потребностями коммуникации в конкретных областях профессиональной деятельности);
■ при выполнении студентами тестовых заданий - характеризует их деятельность (это проявляется либо в использовании ими технологии фор-
мализованного членения и структурно-логического анализа текста, либо в применении иного алгоритма логически обусловленной последовательности действий) [11];
■ на этапе анализа результатов тестирования - формирует методику, направляя ее на измерение коммуникативной деятельности.
6. Процедура измерения результатов тестирования фокусируется на выявлении количественных и качественных показателей коммуникативной деятельности в рамках заданного канала и типа коммуникации и в проекции на составные функциональные компоненты коммуникативной компетенции. В данном случае в центре внимания оказываются лингвистический, дискурсивный и так называемый «прагматический» (или технологический) компоненты коммуникативной компетенции.
7. Количественные показатели составляют «горизонтальный» срез результатов тестирования, выраженный в баллах. Они позволяют:
• анализировать результаты тестирования с учетом наличия в тесте отдельных групп заданий, выполнение которых предполагает активизацию студентами определенных компонентов коммуникативной компетенции;
• выявить факт активизации заданного компонента коммуникативной компетенции при выполнении конкретного тестового задания;
• определить критерии для последующего введения качественных показателей тестирования.
8. Качественные показатели образуют «вертикальный» срез результатов тестирования, используемый для определения уровня владения языком в рамках заданного канала и типа коммуникации.
9. Диагностика деятельности осуществляется при помощи специально
разработанных эталонов - шкал, таблиц и расчетов. Показатели, полученные в ходе тестирования, сопоставляются с представленными в них данными и соответствующим образом интерпретируются.
10. Интерпретация результатов языкового тестирования носит конкретный, исчерпывающий характер и позволяет определять степень соответствия тестируемой деятельности шкале уровней владения иностранным языком, разработанной в документе Евросоюза (Common European Framework, 2001) [1]. При этом в качестве базового уровня для студентов неязыковых вузов рассматривается уровень В1, хотя в целом показатели оценки могут охватывать диапазон от А2 до В2.
На основе проведенных исследований была разработана концепция проектирования языкового теста, предназначенного для студентов неязыковых вузов; сформирована система лингводидактических измерений; подготовлены и апробированы демонстрационные версии теста, направленные на выявление уровня владения английским языком в условиях «отложенной» коммуникации. Каждая из версий такого теста имела текстоцентрич-ный характер: комплекс тестовых заданий проектировался на основе профессионально-направленного аутентичного текста с заданными характеристиками языковой сложности.
В соответствии с параметрами линг-водидактических измерений текст-основа, будучи главным объектом измерения, рассматривалась как основная дидактическая единица (ОДЕ), а образующие его единицы (слово, словосочетание, предложение и комплекс предложений/ абзац) - как дополнительные дидактические единицы (ДДЕ).
Структура теста была образована двумя отдельными разделами и включала задания, выполняемые в контексте
ОДЕ. В первом разделе, содержавшем 35 заданий рецептивной направленности, использовалась одна основная дидактическая единица (ОДЕ 1) и комплекс соотнесенных с ней ДДЕ. Во втором разделе, составленном из 15 заданий продуктивной направленности, - четыре основные дидактические единицы (ОДЕ 2; ОДЕ 3; ОДЕ 4; ОДЕ 5).
Задания первого раздела были объединены в пулы, каждый из которых включал пять заданий, ориентированных на разные уровни владения языком (от А2 до В2). Эти задания имели общую коммуникативную направленность, а их формулировки носили прагматический характер, моделируя возможные практические потребности пользователя информации. Характер выполнения каждого из заданий предполагал реализацию принципа «множественного выбора» из четырех предложенных вариантов. Типология заданий в составе каждого пула предусматривала возможность выявления глубины понимания текстовой информации: выполнение одних заданий требовало извлечения лишь фактуальной информации, в то время как выполнение других - анализа или интерпретации концептуальной информации.
В силу отмеченных выше ограничений задания второго раздела были организованы иначе: их выполнение предполагало либо редактирование, либо форматирование текста. Однако все они также были соотнесены с определенным уровнем владения языком (А2; В1; В2).
Помимо этого, все задания теста были ранжированы:
• имели заданный коэффициент сложности, что позволяло учитывать многообразие и различия в спецификации заданий, относимых к одному уровню владения языком;
• были дифференцированы по трем признакам деятельности (реак-
тивность, вариативность, самостоятельность);
• снабжены индексами, позволяющими выразить значимость каждого из признаков деятельности для успешного выполнения задания и тем самым обосновать соотнесенность каждого задания с одним из уровней владения языком:
0,4 - реактивность - А2 0,7 - вариативность - В1 1,0 - самостоятельность - В2 При анализе результатов тестирования учитывался характер выбранных вариантов ответов и полнота выполнения набора заданий в составе каждого пула. А наличие текстоцентричности всех заданий теста позволило проводить диагностику и осуществлять процедуру лингводидактических измерений в контексте одного и того же текста (даже в том случае, если объектом измерения являлась одна из ДДЕ).
Анализ результатов тестирования был сделан на базе специально разработанной системы лингводидактичес-ких измерений [8], и это дало возможность получить показатели, соотносимые с определенным уровнем владения иностранным языком в рамках заданных параметров коммуникативной деятельности.
Важно подчеркнуть, что выделенные в ходе исследования параметры лингводидактических измерений охватили все реализуемые аспекты рецептивной и продуктивной деятельности, описываемые в рамках компетентност-ного подхода с помощью таких дескрипторов коммуникативной компетенции как лингвистический, дискурсивный и технологический. Эти же параметры позволили сформировать уров-невую систему диагностических измерений. Обеспечив проведение анализа данных «горизонтального» среза диагностических измерений, они создали предпосылки для получения «верти-
кального» среза и выполнения последующих расчетов, связанных с систематизацией результатов по уровням владения языком.
Апробация созданных версий тек-стоцентрического теста показала перспективность разработанной концепции проектирования языковых тестов. Предлагаемый подход в целом обеспечивает формализацию и тем самым упрощает процедуру лингводидактических измерений. Она выглядит более прозрачной, а полученные результаты соотносятся с такими фундаментальными концептами тестирования, как валидность, надежность и выполнимость.
Литература
1. Общеевропейские компетенции владения
иностранным языком: Изучение, обучение, оценка. М.: МГЛУ, 2003. 256 с.
2. Андреев А. Знания или компетенции? //
Высшее образование в России. 2005. №2. С. 3-11.
3. Андриенко А.С. Развитие иноязычной про-
фессиональной коммуникативной компетентности студентов технического вуза (на основе кредитно-модульной технологии обучения): Автореф. дис. ... канд. пед. наук. Ростов н/Д, 2007. 26 с.
4. Зимняя И.А. Ключевые компетенции - но-
вая парадигма результата образования // Высшее образование сегодня. 2003. № 5. С. 34-42.
5. Зотова И.Н. Психолого-педагогическая
поддержка развития коммуникативной компетентности студентов технического вуза: Автореф. дис. ... канд. психол. наук. Ставрополь, 2006. 22 с.
6. Наводнов В.Г., Масленников А.С. Интер-
нет-экзамен в сфере профессионального образования // Высшее образование в России. 2006. № 4. С. 15-19.
7. Наводнов В.Г, Масленников А.С, Киселе-
ва В.П. ФЭПО как инновационный подход в системе обеспечения качества образования // Аккредитация в образовании. 2008. № 24. С. 74-81.
8. Тер-Авакян И.В. Языковое тестирование:
Новые подходы (на материале дисципли-
ны «Английский язык»). Препринт. Йошкар-Ола: Национальное аккредитацион-ное агентство в сфере образования, 2008. 66 е.; Тер-Авакян И.В. Проектирование языковых тестов: компетентностный подход (на материале дисциплины «Английский язык» // Вестник Вятского государственного гуманитарного университета.
2008. № 4 (2). С. 50-53; Тер-Авакян И.В. Методология лингводидактических измерений: компетентностный подход (на материале дисциплины «Английский язык»). Йошкар-Ола: Национальное аккредитаци-онное агентство в сфере образования.
2009. 63 с.
9. Гальскова Н.Д, Гез Н.И. Теория обучения
иностранным языкам. Лингводидактика и методика. М.: Академия, 2004. 336 с.
10. Сотникова Т.В. О лингвистических основах тестирования // Language and Literature. URL: http://frgf.utmn.ru/last/No13/ text21.htm
11. Тер-Авакян И.В. Английский язык: Грамматика для чтения. Ч. I. Йошкар-Ола: Мар-ГТУ, 2005.124 с.; Тер-Авакян И.В. Английский язык: Грамматика для чтения. Ч.2. Йошкар-Ола: МарГТУ, 2005. 96 с.; Тер-Ава-кян И.В Английский язык: Чтение и обработка информации. Йошкар-Ола: МарГТУ, 2007. 168 с.
NAVODNOV V., TER-AVAKYAN I. NEW APPROACH TO DESIGNING LANGUAGE TESTS
The paper deals with a problem of assessment of foreign language proficiency in the area of professional education. The key idea is to introduce a model of text-oriented tests and to define its design parameters with the view of improving the reliability of test procedures. Special attention is paid to the accuracy of decisions when evaluating the levels of students' competence in the context of indirect communication.
Keywords: competence-based approach; communicative competence; quality assessment; test designing; text-oriented language tests.
И.Х. ГАЛЕЕВ, доцент Казанский государственный технологический университет
Информационно-образовательное пространство России и «перечень» журналов
Новым ключевым требованием, предъявляемым к научным журналам, является их участие в формировании РИНЦ. Показаны нерешенные проблемы, существующие между издательствами, НТЦ «ИНФОРМРЕГИСТР» и НЭБ, препятствующие формированию единого открытого информационно-образовательного пространства России.
Ключевые слова: информационное общество, информационные ресурсы, относительный рейтинг, востребованность, цитируемость, импакт-фактор, самоцитирование.
Формирование информационного общества сопровождается интенсивным созданием информационных ресурсов и технологий для науки и образования. Наглядным примером, в частности, служит совместная работа ряда стран над созданием Всемирной цифровой (электронной) библиотеки (World Digital Library). Поиск на вебсайте Всемирной электронной библиотеки (ВЭБ) можно будет вести на семи языках, в том числе на русском. ВЭБ
изначально создавалась на базе Библиотеки Конгресса США, в которой на сегодняшний день хранится 26 млн. единиц документов. Однако за последние четыре года к проекту присоединились библиотеки и национальные архивы ряда других стран, в том числе Российская национальная библиотека (Санкт-Петербург), Российская государственная библиотека (Москва) и Президентская библиотека имени Б.Н. Ельцина.
