Тест как средство толерантного контроля Текст научной статьи по специальности «Языкознание и литературоведение»

ТЕСТ КАК СРЕДСТВО ТОЛЕРАНТНОГО КОНТРОЛЯ Чжао Юйцзян

Пекинский педагогический университет Пекин, КНР

Данная статья затрагивает такие характеристики толерантного теста, как его объективность, валидность и надежность. Эти факторы должны стать определяющими при составлении тестов по русскому языку. В статье также приводятся примеры ошибок китайских учащихся, которые должны учитываться при составлении национально-ориентированных тестовых материалов.

В психологии, где впервые было сформулировано научное понятие «толерантность», ему дается следующее определение: «Толерантность (от лат. Ыегапйа -терпение) - отсутствие или ослабление реагирования на какой-либо неблагоприятный фактор в результате снижения чувствительности к его воздействию; внешне проявляется в выдержке, самообладании, способности длительно выносить неблагоприятные воздействия без снижения адаптивных возможностей».

В современном языке это понятие становится все более актуальным, едва ли не самым общественно-значимым. Так, Н.Д. Левитов, расширяя контекст употребления данного слова, указывает, что толерантность может использоваться и для обозначения барьеров, которые можно назвать разумными и необходимыми. Речь идет не о том, чтобы стереть эти барьеры, а о том, чтобы признавать их необходимость и полезность, считать их для себя благом, и переживать фрустрацию скорее тогда, когда эти барьеры недостаточны.

В сфере общественных отношений толерантность означает уважение, принятие и правильное понимание богатого многообразия культур нашего мира, форм самовыражения и способов проявлений человеческой индивидуальности. Ей способствуют знания, открытость, общение и свобода мысли, совести и убеждений. Толерантность - это гармония в многообразии. Это не только моральный долг, но и политическая и правовая потребность. Толерантность - добродетель, которая делает возможным достижение мира и способствует замене культуры войны культурой мира.

В Декларации принципов толерантности подчеркивается, что толерантность, по сути, не уступка, снисхождение или потворство. Толерантность - прежде всего активное отношение, формируемое на основе признания универсальных прав и основных свобод человека. Ни при каких обстоятельствах толерантность не может служить оправданием посягательств на эти основные ценности.

Такое развернутое определение, толкование толерантности дано нами неслучайно. В настоящее время данное понятие оказалось актуальным для систем образования разных стран. Образование становится все более открытым, наметившиеся в нем процессы интеграции коснулись форм контроля, который призван обретать объективный характер.

Как известно, средством такого контроля и инструментом проверки стали тесты, занимающие прочные позиции и в оценке уровня владения иностранным языком, в частности РКИ. Чем достигается или может быть достигнута толерантность теста? Какие его характеристики служат основанием для отнесения теста к разряду толерантных средств обучения и контроля?

Характеристики толерантного теста: объективноть, валидность и надежность

Толерантный тест, на наш взгляд, тесно связан с характеристиками толерантности: уважением прав человека, предоставлением участникам тестовой процедуры равных прав и возможностей, конфиденциальностью результатов теста. Тест призван служить средством регулирования связи между обучением, общественными потребностями и др. Эти факторы непосредственно влияют на интересы и мотивы учащихся. Во-вторых, свидетельством толерантности теста служат такие его системные характеристики, как объективность, валидность, надежность.

ООьективность является одним из критериев теста, указывающим на то, что при его проведении исключается влияние проверяющего на оценку результатов. Объективный тест требует выбора ответа посредством отметки (галочкой или кружком) нужной буквы или цифры, под которой закодирован ответ, т.е. это так называемый тест «карандаш и бумага».

Объективность теста и тестовой процедуры связана с переходом от субъективного оценивания знаний, умений и навыков к лингводидактическим измерениям стандартизированными средствами. Считается [5], что тестирование в большей степени, чем традиционный контроль, предоставляет достоверные и соизмеримые данные о реальных коммуникативных возможностях изучающих РКИ, об их учебных достижениях. Вместе с тем получение объективных результатов по итогам тестирования зависит от выполнения ряда условий, начиная с момента замысла теста до момента окончания работы над ним. Перечислим некоторые из условий, которые свидетельствуют о потенциальном стремлении теста быть объективным и таким образом легитимным:

- тщательность подготовки (разработки) теста (предтеста) в соответствии с определенными правилами-инструкциями, спецификацией;

- предварительная экспериметальная проверка и процедура улучшения тестовых заданий, теста в целом;

- строгая регламентация процесса (процедуры) тестирования;

- наличие эталона, образца правильного ответа и простота сравнения ответов испытуемых с ним;

- независимость оценки результатов от личных суждений проверяющих тест ( речь идет о формализованном тесте; в тесте со свободно конструируемым ответом, как известно, оценка выставляется по специальной шкале, при этом учитывается мнение тестора и рейтера [соответственно 1/3 + 2/3], проводящих устный экзамен);

- возможность количественного учета и математико-статистической обработки результатов.

Легитимность, толерантность теста связана, на наш взгляд, с его валидностью.

Длительный период недоверия общественности к результатам тестирования,

педагогических измерений сыграл, как замечает B.C. Аванесов, определенную положительную роль в формировании своеобразного рефлексивного мышления у исследователей, занимающихся измерениями; они вынуждены были обращать внимание не только на создание теста, но и на поиск доказательств того, что их тест свободен от существенных погрешностей (2002, с. 199). Внимание исследователей сосредоточилось на показателях, или характеристиках, качества тестов.

Валидность (validity) означает степень соответствия, пригодности тестовых результатов той цели, ради которой проводится тестирование. Валидность зависит:

- от качества заданий;

- их числа;

- степени полноты и глубины охвата содержания учебной дисциплины (по аспектам, по темам) в заданиях теста;

- баланса распределения заданий по трудности;

- метода отбора заданий в тест из общего банка заданий;

- интерпретации тестовых результатов;

- организации сбора данных и др.

В соответствии с вышеперечисленным различаются следующие виды валидности:

- содержательная;

- критериальная;

- конструктная;

- внешняя;

- функциональная.

Содержательная валидность, или валидность по содержанию (content validity), определяется тем, насколько полно и всесторонне тест охватывает учебный материал, для проверки которого он был сконструирован, и зависит от глубины предварительно проведенного составителями теста анализа учебного плана, программы, содержания учебников, от точности, полноты формулировок, иерархичности и взаимосвязанности целей обучения и контроля.

Критериальная валидность (criterion validity) показывает, в какой степени результаты, полученные при выполнении данного теста, могут быть соотнесены с реальным состоянием или прогнозом эффективности деятельности испытуемого. С этой точки зрения критериальную валидность подразделяют следующим образом.

1. Сопоставительная валидность (concurrent validity), предполагающая сопоставление результатов проведенного теста:

- с результатами другого теста;

- самооценкой испытуемых;

- оценками преподавателей, которые были получены примерно в то же время.

При определении сопоставительной валидности важно учесть, что

соответствующую корреляцию результатов конкретного теста с результатами другого измерения (теста, оценки, самооценки) могут снижать:

- несовпадение объектов измерения;

- временной разрыв в измерениях (значимы даже 1-2 недели).

Для валидности тестов применяется также методика рейтинга, т.е оценивание педагогами, учащимися, представителями контактной (учебной) группы заданных умений.

2. Прогностическая валидность (predictive/prognostic validity) показывает насколько хорошо результат данного теста предсказывает успешность будущей учебы. С этой целью результат данного теста сопоставляют с результатами других, аналогичных, но проведенных позднее (через полгода, год) измерений.

Конструктная (концептуальная, конструктивная) валидность (construct validity) показывает, насколько объект тестирования и характер заданий учитывают психолингвистическую модель усвоения языкового материала или заданную модель коммуникативной компетенции; насколько обоснованно утверждение, что данный тест измеряет типичное свойство, состояние, умение, отражаемое в данной конструкции (концепции). Так, С.С. Пашковская [7, с. 8] в психолингвистическую модель усвоения фонетического материала включает анализ закономерностей запоминания, хранения и воспроизведения различных фонетических единиц, а также анализ специфических трудностей, связанных с формированием слухопроизносительных навыков.

В процессе тестирования умений по чтению анализируются единство психических процессов анализа и синтеза, сформированное^ механизмов, операций и действий, связанных с чтением как видом речевой деятельности, например:

- зрительное восприятие и узнавание;

- соотношение зрительных образов с речемоторными и слуховыми;

- антиципация, предвосхищение;

- сегментирование речевого потока на дискретные единицы, группировка слов внутри предложений, использование полученных групп в качестве смысловых вех;

- смысловая догадка и т.д. [4, с. 34-45].

Внешняя валидность (face validity) свидетельствует о «приспособленности» теста к испытуемым (учет уровня обученности, возрастных, национальных особенностей). Внешняя валидность, кроме этого, определяется тем, насколько привлекательными и приемлемыми представляются задания теста испытуемым, преподавателям, администраторам - уровень интуитивно-субъективного суждения о содержании теста. Поэтому для обозначения внешней валидности иногда пользуются термином субъективная валидность. Данные по этому поводу могут быть получены при помощи опроса, анкетирования.

В случае речевых тестов возникает связанная с внешней валидностью проблема аутентичности, которую нужно анализировать с точки зрения тестовой ситуации, а не языка, т.е. насколько близкой является данная тестовая ситуация к реальной, встречающейся в жизненном опыте тестируемых. Например, тесты типа клоуз нередко кажутся тестируемым жизненно неправдоподобными, хотя при разговоре по телефону, часто приходится заполнять возникающие паузы - «пропуски» [5, с. 38].

Функциональная валидность (functional validity) отражает степень соответствия теста тому уровню усвоения, аспекту языка, виду речевой деятельности, для которого он создан. Так, тест по детальному аудированию с критической оценкой нельзя подменять тестом для проверки умений в области выяснительного аудирования,

поскольку в первом случае объектами проверки будут умения отличить факты от мнений, оценить точку зрения автора, сделать умозаключение, интерпретировать подтекст.

Или, к примеру, невозможно в тесте проверить письменную речь вообще, разделив ее лишь на продуктивную и репродуктивную. По классификации Т. Хеджа [9, с. 96], существуют следующие ее типы:

- письменная речь, используемая в учебных целях (конспект, аннотация, план);

- письменная речь, используемая в профессиональных целях (деловые письма, контракты, отчеты, статьи и т.д.);

- письменная речь, используемая для поддержания общения (записки, частные письма, открытки, электронные послания, телеграфные/факсовые сообщения и т.д.);

- письменная речь, используемая в личных целях (записи на память, записи адресов телефонов, рецептов, дневниковые записи и т.д.);

- творческая письменная речь (рассказы, стихи, сценарии и т.д.).

В тесте следует учитывать не только имеющиеся разновидности речи, но и то, была ли организована в таком плане учебно-речевая деятельность тестируемого, соотносится ли тот или иной ее вид с этапом обучения, уровнем владения языком.

Надежность (reliability) - важный качественный показатель качества толерантного теста, отражающий объективность и точность педагогического измерения, степень постоянства, стабильности результатов тестирования. Оценка результатов надежного теста не должна зависеть от времени и условий его проведения, от экспертов, осуществляющих контроль. Надежным считается тест, дающий устойчивые результаты при повторных предъявлениях. В то же время тест не может быть надежным, не будучи валидным.

По мнению С.И. Воскерчьян [3, с. 37], на надежность отрицательно влияют следующие факторы:

- малое количество задач: чем полнее объем проверяемых явлений, тем надежнее тест;

- разнородность материала: менее надежен тест, требующий выполнения

различных речевых или языковых операций, действий;

- недостаток времени, отведенного на выполнение теста;

- непонимание инструкции или задания из-за некорректности формулировок;

- угадывание верных ответов, а также умение-неумение выполнять тесты, интерес, мотивация, условия проведения теста;

- трудность заданий: важно иметь в тесте равномерное распределение количества заданий по их трудности, т.е. по проценту правильных ответов в интервале от 35% до 85% (это означает нецелесообразность включения в тест заданий, для которых индекс трудности ниже 35%, т.е. они слишком трудные, или выше 85%, т.е. они слишком легкие);

- стабильность и стандартизация оценки субъективного (коммуникативно-речевого) теста [4,с.39].

Существует ряд способов проверки надежности теста:

1) метод параллельных форм, когда задается аналогичный вариант уже использованного теста, позволяющий проверить правильность отбора заданий, оптимальность структуры теста, возможность построения различных вариантов на основе типового теста;

2) ретестовый метод, повторное тестирование, предусматривающий сравнение результатов, показанных испытуемым в разное время при выполнении одного и того же теста: чем выше показатели, тем менее чувствителен результат к изменениям состояния тестируемого, к обстановке тестирования;

3) метод внутренней согласованности форм теста, или метод расщепления, суть которого состоит в том, что он предполагает разделение теста на равные части с четными и нечетными номерами заданий, предлагаемые как самостоятельные, не связанные один с другим тесты. Тестируемый, таким образом, должен выполнить тест, состоящий из двух равноценных по трудности частей. Подсчет баллов ведется отдельно по условным - первому и второму -- тестам;

4) метод субъективных оценок, предусматривающий сопоставление итоговых матриц с оценками независимых экспертов;

5) метод Кьюдера - Ричардсона: формула Ю1- 20 в виде

„ п -{Ър-Ър2)

' и-1* а?

где р - трудность задания без процента, т.е.

Ш1Г р -------

В формуле Ю1-20 суммируются непроцентные трудности всех заданий, и из этой суммы вычитается сумма квадратов указанных трудностей заданий.

Типичные ошибки китайских граждан и их учет в тестировании Толерантность теста зависит, на наш взгляд, еще и от того, насколько «небезучастен» тестовый материал к академическим, индивидуально-личностным особенностям иностранцев. Сейчас появляются национально-ориентированные тесты, в которых их составители пытаются учесть характер, специфику ошибок, допускаемых представителями разных этносов. Приведем некоторые примеры ошибочного употребления слов грамматических форм китайскими учащимися.

Рассмотрим следующие примеры.

- Я другу сообщил, что в следующий понедельник будет первенство по настольному теннису.

- Он говорит, что будет досрочно в спортзале, чтобы потренироваться (правильный вариант - раньше).

- Когда строители узнали о времени выполнения задания, они решили раньше закончить его (правильный вариант - досрочно).

- Иван, помоги мне купить билет на балет «Лебединое озеро» в Большой театр, раньше спасибо (правильный вариант - заранее благодарю).

- Вечером будет встреча с друзьями, поэтому он заранее ушел с работы (правильный вариант - раньше).

Наречия досрочно, раньше и заранее близки по значению, они обозначают время и срок совершения действия. В русском языке наречия досрочно, раньше и заранее имеют смысловые и сочетаемостные различия. Досрочно выражает время ‘до установленного срока1, например: План выполнен досрочно; раньше — ‘до момента речи’, например: Сегодня она вернулась домой раньше обычного; заранее означает ‘за некоторое время до чего-либо’, например: Друг просил достать билет в театр. Уходя, он заранее поблагодарил. В китайском языке не существует подобного отличия, употребляются только два одинаковых иероглифа, которые выражают оттенок времени в любой ситуации.

Еще один пример частотной в русскоязычной речи китайца ошибки:

- Молено обратиться к вам?

- Не можно (правильный вариант - нельзя).

В русской речи употребляется только нельзя. А в китайской речи часто звучит «не можно», потому что это связано с образом мышления: китайцы образуют и пользуются такими сочетаниями, которые в русском языке передаются «есть - не есть», «дать - не дать» и др.

Приехавший в Москву друг спросил меня:

- Ты любишь Москву?

- Ну да, люблю (правильный вариант - нравится).

Ошибка заключается в неправильном восприятии семантики глагола: по степени проявления чувств глагол любить «сильнее», чем глагол нравиться. Но дело не только в смысловой градации, а в том, что любить прежде всего оценивает отношение между людьми.

Иван не нашел нужную его другу фирму на сайте, при встрече с другом он сказал: -Прошу прощения, не нашел ее в интернете (более правильный вариант - извини). «Прошу прощения» носит оттенок вины, в этом примере говорящий не виновен. Кстати, в этом примере частично отражаются особенности русского этикета: прошу прощения часто используется в ситуации, когда общающиеся выполняют асимметричные роли.

- Ты получил большие успехи в изучении русского языка (правильный вариант -добиться, достигнуть). Подобная ошибка часто встречается в речи учащихся, потому что они не знают семантики этих глаголов, глагол получить значит «брать, принимать», а глагол добиться означает «достигать поставленной цели, прилагая усилия и старания». Поэтому глагол получить не сочетается со словами, которые выражают цель.

- Какой подарок ты мне принес из-за рубежа? (правильный вариант - привезти). В этом примере перепутаны глаголы принести и привезти, глагол принести означает, что действие совершается без помощи транспорта, а глагол привезти значит, что действие совершается с помощью транспорта: поезда, самолета. В китайском языке не существует такого отличия, в любой ситуации используется одно и то же слово.

В нашей статье мы попытались перенести понятие «толерантность» в тестовую практику. Примеров, подтверждающих актуальность этой позиции, может быть больше. Они соотносятся не только с этической, этнической составляющими теста и тестирования, а касаются также чувства привычности (искушенности) к тестовой процедуре, прозрачности критериев оценки ответа. Полагаем, что эта тема займет

определенное место в теории и практике тестирования, особенно в области языковых тестов.

ЛИТЕРАТУРА

1. Балыхина Т.М. Основы теории тестов и практика тестирования (в аспекте русского языка как иностранного). - М., 2004.

2. Балыхина ТМ. Словарь терминов и понятий тестологии. - М., 2000.

3. Воскерчъян С.И. Об использовании метода тестов при учёте успеваемости школьников // Советская педагогика. - № 10. - 1963.

4.Тапочка И.К. Конструктивитсткое основание для тестов, проверяющих навыки и умения в чтении // Тестирование в обучении РКИ / Под ред. Т.М. Балыхиной. - М., 2003.

5.Коккота В.А. Лингводидактическое тестирование. - М., 1989.

6. Jleeumoe Н. Д\ Вопросы психологии. - М., 1967.

7.Пашковская С.С. Тестирование слухопроизносительных навыков в обучении русскому языку как иностранному: Автореф. дисс. ... пед. наук. --М., 1997.

8. Психология. Словарь под ред. A.B. Петровского. - М., 1990.

9. Hedge Т. Writting. - Oxford: OUP, 1993.

TEST AS MEANS OF TOLERANT CONTROL Zhao Yujiang

Beijing Normal University (Beijing, China)

The given article considers such characteristics of tolerance of the test as its objectivity, validity and reliability. These factors should become defining at drawing up of tests. Author gives examples of mistakes of the Chinese students which should be considered at drawing up of the national-focused tests.