CC BY
135
УДК 811.161.1
Н. П. Андрюшина, М. Н. Макова
Андрюшина Н. П., кандидат филологических наук, доцент, МГУ им. М. В. Ломоносова, e-maiL: msu-andryushina@yandex.ru
Макова М. Н., зав. подготовительным отделением ФОИГ МГЛУ, ст. преподаватель кафедры русского языка как иностранного ФОИГ, e-maiL: makova_marina@maiL.ru
АКТУАЛЬНЫЕ ПРОБЛЕМЫ РАЗРАБОТКИ ТЕСТОВЫХ МАТЕРИАЛОВ ВТОРОГО УРОВНЯ ОБЩЕГО ВЛАДЕНИЯ РУССКИМ ЯЗЫКОМ КАК ИНОСТРАННЫМ
В статье рассматривается содержание Типового теста II сертификационного уровня (общее владение) - компонента государственной системы тестирования по русскому языку как иностранному.
В работе анализируются объекты контроля всех субтестов, оценивается качество измерительных материалов, уровень валидности некоторых заданий. Выясняется, насколько задания Типового теста коррелируют с описанием, содержащимся в Стандарте данного уровня. Приводятся иллюстрации следующих случаев несоответствия содержания Стандарта и Типового теста: а) элемент является объектом контроля, но отсутствует в Стандарте (например, понимание глаголов движения в переносном значении); б) параметры заявленного в Стандарте объекта контроля отличаются от параметров тестового задания (например, объем текстов, проверяющих навыки чтения); в) тестовое задание не обеспечивает адекватного измерения умения, вошедшего в описание уровня (например, владение ритмико-интонационными средствами).
Авторы обращают внимание на наличие лакун в требованиях ко Второму уровню владения русским языком как иностранным (далее - РКИ). Так, в Стандарте не конкретизируются компоненты лексической компетенции, не упоминается весьма значимая для Второго уровня социолингвистическая компетенция. Подобные пробелы существенно снижают валидность тестовых материалов и являются фактором, негативно влияющим на адекватность измерения навыков и умений, которыми должен владеть иностранец на определенном уровне. По мнению авторов, необходимо уточнить и ряд параметрических данных, что позволит значительно улучшить качество тестовых материалов.
В статье предлагаются пути решения проблем, существующих в системе тестового контроля данного уровня; обосновывается необходимость разработки новых аспектов в описании уровней владения русским языком, которые позволят значительно улучшить качество тестов, повысить точность измерения уровня владения русским языком и способствовать дальнейшему развитию Российской системы тестирования по РКИ в целом.
Ключевые слова: русский язык как иностранный; уровень владения русским языком; система тестирования по русскому языку как иностранному.
N. P. Andryushina
PhD, Associate Professor, Lomonosov Moscow State University; e-maiL: msu-Andryushina@yandex.ru
M. N. Makova
Head of Preparatory Department for foreign students MSLU; e-mail: makova_marina@mail.ru
CURRENT PROBLEMS OF DESIGNING OF TEST MATERIALS OF THE SECOND LEVEL OF GENERAL RUSSIAN AS A FOREIGN LANGUAGE
The article deals with TRKI-II / B2 Model Test (General Russian) as a component of the State Testing System in Russian as a foreign language.
Tested language skiUs, the quality of assessment materials and the validity of certain tasks are under review in the article. The aim is to figure out to what extent the tasks of the Model Test meet the requirements of the Level Standard. The cases of discrepancy are as foUows: a) some language skiUs as objects of assessment are missing in the Level Standard (for example, the understanding of the verbs of motion in a figurative sense); b) the parameters of the object of control stated in the Level Standard differ from those of the Test task (for example, the length of texts evaluating reading skills); c) the Test task does not ensure adequate assessment of the language skiUs included in the Level Standard (for example, the ability to use rhythmic-intonation means).
The authors point out some inadequacies in the requirements to the TRKI-II / B2 Level. For example, the components of lexical and sociolinguistic competences are worded rather vaguely. Such gaps significantly reduce the validity of test materials and negatively affect the adequacy of the assessment of skiUs and abilities expected of a foreigner at this level. According to the authors, it is necessary to clarify certain parametric data to improve the quality of the Test tasks.
The authors suggest different solutions to the mentioned problems and try to prove the necessity of adding new aspects to the level descriptions in order to improve the validity of assessment of proficiency in the Russian language and contribute to the development of the Russian Testing System.
Key words: Russian as a foreign language; level of proficiency in Russian; Russian as a foreign language testing system.
Введение
В марте 2017 г. Российской системе тестирования по русскому языку как иностранному (далее - ТРКИ) исполнилось 20 лет. Система разрабатывалась с целью максимально точного, объективного, формализованного и экономичного измерения уровня владения русским языком иностранными гражданами.
Основой системы стали иерархия уровней владения русским языком, Стандарты / Требования, Типовые тесты, Лексические минимумы по русскому языку как иностранному (РКИ), Программа по РКИ для Первого уровня; позднее были опубликованы различные виды тренировочных тестов. Система была успешно введена в международное образовательное пространство, в короткие сроки получив широкое признание специалистов. В настоящее время тестовая форма контроля активно используется не только в сертификационном тестировании, но и при обучении иностранных граждан в образовательных учреждениях России.
За прошедшие годы Российская система тестирования прошла определенный эволюционный путь: создавались новые компоненты (модульные тесты, лексические минимумы высоких уровней владения языком, учебные пособия, ориентированные на конкретный уровень владения, тренировочные тесты разных уровней и т. д.), уточнялось описание уровней, издавались варианты типовых тестов, на конференциях обсуждались теоретические проблемы и практические вопросы тестирования по РКИ [Тестовые формы контроля ... 2005]. Однако со временем развитие системы явно замедлилось, назрела потребность в модернизации как нормативных документов, так и тестовых материалов. Такая модернизация должна производиться на основе всестороннего анализа предыдущих результатов тестирования. Учет накопленного за почти 20-летнюю практику тестирования огромного фактологического материала позволит найти решение многих теоретических и практических вопросов [Андрюшина 2016, с. 20].
Тесты по РКИ уровня В2. Общее владение
В связи с тем, что одним из наиболее востребованных на сегодняшний день является тестирование на сертификат Второго уровня, важно обеспечить измерение коммуникативной компетенции (далее -КК) инофона качественным инструментом, т. е. тестовыми материалами. Проанализируем, насколько содержание Типовых тестов (общее владение) отвечает основным требованиям лингводидактического тестирования [Типовые тесты по русскому языку ... 1999].
Субтест «Лексика. Грамматика» содержит шесть частей, включающих 150 позиций, имеющих одинаковую стоимость (один балл). Объектами контроля являются: выражение субъектно-предикативных отношений, глагольное и именное управление, выражение объектных,
обстоятельственных и определительных отношений в простом предложении, видовременные формы глагола употребление причастий и деепричастий, сложное предложение, лексика, стилистика [Типовые тесты по русскому языку ... 1999, с. 91-92].
Оставляя в стороне проблему определения стоимости заданий1, рассмотрим, насколько содержание субтеста соответствует заявленным в Стандарте умениям, которыми должны владеть иностранцы на Втором уровне, т. е. насколько правомерно те или иные объекты контроля введены в субтест [Государственный образовательный стандарт ... 1999]. Прежде всего отметим, что, хотя в приведенном перечне объектов контроля ни в Стандарте, ни в Методических рекомендациях, содержащихся в Типовом тесте, не заявлено понимание глаголов в переносном значении, этот аспект (совершенно справедливо) включен в проверку. Например: «Несоблюдение графика ведет к конфликту...» (поз. 114), «.она ходит в темных очках.» (поз. 115) и др. Наличие объекта контроля, не упомянутого в нормативном документе, снижает валидность задания. Подобные факты подтверждают постулат о необходимости корректировки нормативных документов.
Лишним в данном субтесте представляется задание, проверяющее знание особенностей официального документа (позиции 133-140), поскольку в субтесте «Письмо» испытуемые должны вновь продемонстрировать умение продуцировать также продукт, относящийся к официально-деловой сфере общения, т. е. дублируется один и тот же объект проверки, чего в контрольных материалах быть не должно.
И, конечно, нельзя не упомянуть о необходимости включения в субтест заданий, проверяющих понимание фразеологизмов (при этом можно вполне без ущерба для качества теста исключить более легкие задания, относящиеся скорее к Первому уровню2). Данный объект контроля отсутствует в Стандарте, хотя, бесспорно, играет большую роль в изучении русского языка и является важным компонентом лексической компетенции. В определенной мере существующую в описании Второго уровня лексической компетенции лакуну компенсирует Лексический минимум второго уровня, который, помимо алфавит-
1 Вопрос определения стоимости заданий является дискуссионным и требует разностороннего рассмотрения в рамках отдельной статьи.
2 См., например, позицию 36, где объектом контроля являются конструкции времени: «... автогонщики России участвовали.» / Прошлого года / В прошлом году / С прошлого года / О прошлом годе.
ного словника объемом около 5000 единиц, знакомит пользователей с системой синонимии и антонимии, а также содержит перечень фразеологизмов и устойчивых словосочетаний [Лексический минимум ... 2017]. Однако и в Стандарте лексическая компетенция должна быть представлена в более полном виде, нежели в настоящее время.
Субтест «Чтение» (содержит три текста, 25 заданий одинаковой стоимости) в целом соответствует позициям, заявленным в Стандарте, однако последний предусматривает предъявление текстов большего объема (что значительно усложняет работу испытуемого). Например, «в субтесте предлагаются тексты объемом 150-200, 200-250, 300-350 слов, тогда как в Стандарте заявленный объем текста в два раза больше - 300-600» слов [Макова, Ускова 2005, с. 109]. Такое несоответствие также снижает валидность субтеста.
Субтест «Письмо» содержит три задания, два из них имеют максимальную стоимость 20 баллов, третье - 25 баллов. При перечислении требований к данному виду речевой деятельности Стандарт постулирует, что иностранец должен уметь «репродуцировать письменный и аудиотексты, демонстрируя умение выделять основную информацию, производить компрессию, путем исключения второстепенной информации» [Государственный образовательный стандарт ... 1999, с. 12]. В действительности в существующем на данный момент Типовом тесте декларируется «проверка способности тестируемого, согласно заданию, выделять в репродуцируемом тексте информацию и развертывать (!) ее», т. е. объект проверки изменен на противоположный [Типовые тесты по русскому языку ... 1999, с. 62]. При этом от испытуемого требуется дать рекомендацию на основе прочитанной рекламной информации (т. е. не предъявляется текст описательно-повествовательного характера с элементами рассуждения, как того требует Стандарт). К тому же «в этом задании проверяется также и умение продуцировать определенную интенцию, что не заявлено в методических пояснениях. Таким образом, объектом проверки данного задания стало умение, не вошедшее в спецификацию, но получившее определенное количество баллов в рейтерской таблице» [Андрюшина 2005, с. 18].
Приведем явление противоположного толка: в заданиях, проверяющих сформированность навыков письменной речи, зафиксированы показатели скорости работы: определены не только время, но и объем текста, однако в рейтерской таблице оценка объема не
предусматривается, хотя это достаточно значимый показатель1. В результате заявленный параметр не задействован в процессе измерения.
В субтесте «Аудирование» испытуемым предлагается 25 заданий множественного выбора, которые выполняются после прослушивания / просмотра 5 текстов. Естественно, по сравнению с требованиями, предъявляемыми на Первом сертификационном уровне, объекты контроля значительно усложняются. Согласно Стандарту, проверяется не только умение «понимать основное тематическое содержание ...» и «семантику отдельных фрагментов текста и ключевых единиц.» [Государственный образовательный стандарт ... 1999, с. 10], но и умение понимать: а) «основные социально-поведенческие характеристики говорящего»; б) «основные цели и мотивы говорящего, характер его отношения к предмету речи и реципиенту, выраженные ... эксплицитно» [там же, с. 11]. Последние пункты представляют огромную трудность и для разработчиков тестовых заданий, и для желающих пройти тестирование на получение сертификата Второго уровня. Если задания на проверку понимания цели действия / высказывания, отношения к предмету речи конструируются и выполняются довольно успешно, то разработать задания, способные измерить степень понимания социально-поведенческих характеристик (а иностранец должен продемонстрировать нужную степень их понимания), соблюдая при этом приемлемый уровень валидности, затруднительно. Проблема состоит в том, что до сих пор в Стандарте отсутствуют требования к социокультурной компетенции. «Перед специалистами стоит задача выработать принципы стандартизованного описания требований к сформированности социокультурной составляющей коммуникативной компетенции» и ввести их в нормативные документы [Жорова 2017, с. 676]. В настоящее время приходится констатировать, что необходимый объем социокультурных знаний устанавливается авторами тестов (и учебных материалов) «исключительно на основе своих субъективных ощущений, часто не совпадающих с субъективными ощущениями» инофонов» [там же, с. 671].
1 Возможно, отсутствие параметра объясняется пониманием того, что чрезвычайно сложно в требуемом объеме (70 слов) написать неформальное письмо, которое «должно содержать информацию, достаточную для принятия решения [Типовые тесты по русскому языку ... 1999, с. 20].
Ситуация усугубляется еще тем, что Стандарт допускает имплицитные способы выражения содержания, которые «отличаются высокой частотностью и стандартностью моделей продуцирования смысла» [Государственный образовательный стандарт ... 1999, с. 10]. Но представление о частотности имплицитных способов выражения смысла весьма разные в разных социальных группах (не говоря уже о национальных менталитетах). Налицо неограниченные возможности субъективного подхода к оцениванию КК иностранцев. Необходимо обозначить хотя бы минимальные рамки данного компонента КК, ввести соответствующие разъяснения хотя бы в Методические рекомендации, сопровождающие Типовые тесты. Пока же приходится признать задания на проверку указанных компонентов КК невалидными.
Субтест «Говорение». Задания на проверку умения вести монологическую и диалогическую речь предъявляются вперемешку (выявление оптимального порядка следования монологических и диалогических заданий не проводилось). При выполнении заданий, проверяющих умение вести диалог, от иностранца требуется продемонстрировать способность участвовать как в подготовленном, так и в неподготовленном разговоре. Например, испытуемому дается время на подготовку диалога-расспроса. Монологические высказывания являются только подготовленными.
Субтест состоит из 15 заданий, которые оцениваются по шести рейтерским таблицам. Согласно положениям Методических рекомендаций, критериями оценки в первых двух таблицах (задания 1-8) служат выражение содержания и выражение интенции, в третьей таблице (задания 9-12) присутствует лишь оценка интенции. Те же критерии (содержание, интенции) плюс оценка структуры и формы высказывания, оценка языковых средств содержатся в четвертой рейтерской таблице (задание 13). В пятой таблице (задание 14) в качестве критериев представлен набор коммуникативных задач, которые испытуемый должен реализовать в процессе общения по телефону: приветствие, представление; объяснение цели звонка; запрос информации; запрос разъяснения; выражение признательности, прощание. Наконец, шестая таблица (задание 15) также содержит программу речевого поведения при проведении неподготовленной беседы с тестером.
Чтобы дать инофону более адекватное представление о тех задачах, которые ему предстоит решить при выполнении последнего задания (задание, содержащееся в Типовых тестах, такого представления
не дает), в Тренировочные тесты помещена развернутая формулировка задания [Андрюшина, Макова 2018, с. 68].
Прокомментируем некоторые из положений / заданий субтеста.
Многолетняя практика тестирования иностранных граждан, желающих получить сертификат Второго уровня, показала, что задания 9-12, по замыслу разработчиков, проверяющие способность тестируемого по «достигать определенных коммуникативных целей ритмико-интонационными средствами» [Типовые тесты по русскому языку ... 1999, с. 78], абсолютным большинством испытуемых не выполняется. Этот факт говорит о том, что данные задания «не работают», следовательно, описываемый объект контроля нуждается в корректировке. В качестве варианта решения можно предложить объединить и задания 5-8 и 9-12 (конечно, изменив их), и рейтерские таблицы, введя в модифицированную таблицу пункт «ритмико-интонационное оформление высказывания».
Вызывают вопросы и параметры оценивания. Например, в Методических рекомендациях к заданию 14 предлагается ставить четыре балла, «если тестируемый при реализации заданного намерения демонстрирует речевое поведение, адекватное социальной роли в предлагаемой ситуации, в достаточной степени владеет нормами речевого этикета, но допускает при этом некоторые ошибки в использовании языковых и речевых средств, не ведущие к искажению смысла» [Типовые тесты по русскому языку ... 1999, с. 85]. Данное высказывание вместо разъяснений порождает массу проблем: упоминается социальная роль - значит, надо иметь описание социолингвистической компетенции; «достаточная степень» владения этикетом - но порог выполнения не уточняется, можно обойтись лексикой базового уровня (на практике часто так и происходит); «некоторые ошибки» - не определено, какого типа (лексические, грамматические, фонетические) и сколько ошибок допускается на одно высказывание, в подобных случаях неизбежен субъективный подход к оцениванию речевого продукта.
Нельзя не заметить и явную диспропорцию в оценке реплик: приветствие, сообщение о цели звонка, благодарность и прощание обеспечивают успешное (75 %) выполнение задания даже при низком уровне лингвистической компетенции.
Заключение
Итак, рассмотрение содержания Типового теста Второго уровня показало, что: 1) ожидает уточнения часть формулировок заданий, направленных на контроль продуктивных видов речевой деятельности; 2) нуждаются в обосновании критерии и параметры оценивания заданий; 3) для того чтобы спецификацию субтестов привести в соответствие с содержанием Стандарта, требуется корректировка как Стандарта, так и всех субтестов Типового теста; 4) описание содержания Второго уровня необходимо существенно доработать, в частности в Стандарте дополнить раздел «Лексика» более подробными требованиями к лексической компетенции.
СПИСОК ЛИТЕРАТУРЫ
Андрюшина Н. П. Уровень коммуникативной компетенции: адекватность измерения // Актуальные проблемы обучения русскому языку. XI. Брно, 2014. 320 с.
Андрюшина Н. П. Объекты контроля в тестах по русскому языку как иностранному: Международная научно-практическая конференция. Русский язык как иностранный. Проблемы изучения, преподавания, оценки в свете общеевропейских компетенций владения иностранным языком. 13-14 мая 2005 г., г. Хельсинки. М., 2005. С. 13-21. Андрюшина Н. П., Макова М. Н. Тренировочные тесты по русскому языку как иностранному. II сертификационный уровень. Общее владение. 9-е изд. СПб. : Златоуст, 2018. 140 с. Государственный образовательный стандарт по русскому языку как иностранному. Второй уровень. Общее владение. М. ; СПб. : Златоуст, 1999. 40 с.
Жорова А. П. Социокультурная компетенция на высоких уровнях владения РКИ: к проблеме формирования и стандартизации: Русистика: вчера, сегодня, завтра. Юбилейная Международная научная конференция, посвященная 50-летию Общества русистов Болгарии и 50-летию Международной ассоциации преподавателей русского языка и литературы. 29 июня -2 июля 2017 г. София, Болгария. Доклады. София, 2018. 793 с. Лексический минимум по русскому языку как иностранному. Второй сертификационный уровень. Общее владение / под ред. Н. П. Андрюшиной. 7-е изд.СПб. : Златоуст, 2017. 164 с. Макова М. Н., Ускова О. А. Анализ тестовых заданий II сертификационного уровня (ТРКИ-2): Тестовые формы контроля по русскому языку как
иностранному (РКИ). Доклады и сообщения / ЦМО МГУ им. М. В. Ломоносова. 12-13 апреля 2005 г. / под ред. Н. П. Андрюшиной, О. А. Усковой. М. : Физический институт им. П. Н. Лебедева РАН, 2005. С. 108-116.
Макова М. Н., Ускова О. А. В мире людей. Вып. 1. Письмо. Говорение: учеб. пособие по подготовке к тестированию по русскому языку для граждан зарубежных стран (ТРКИ-2 - ТРКИ 3). СПб. : Златоуст, 2013. 288 с.
Тестовые формы контроля по русскому языку как иностранному (РКИ). Доклады и сообщения / ЦМО МГУ им. М. В. Ломоносова. 12-13 апреля 2005 г. / под ред. Н. П. Андрюшиной, О. А. Усковой. М. : Физический ин-т им. П. Н. Лебедева Российской академии наук, 2005. 196 с.
Типовые тесты по русскому языку как иностранному. II сертификационный уровень. Общее владение. СПб. : Златоуст, 1999. 112 с.
REFERENCES
Andrjushina N. P. Uroven' kommunikativnoj kompetencii: adekvatnost' izmerenija // Aktual'nye problemy obuchenija russkomu jazyku. XI. Brno, 2014. 320 s.
Andrjushina N. P. Ob'ekty kontrolja v testah po russkomu jazyku kak inostrannomu: Mezhdunarodnaja nauchno-prakticheskaja konferencija. Russkij jazyk kak inostrannyj. Problemy izuchenija, prepodavanija, ocenki v svete obshheevropejskih kompetencij vladenija inostrannym jazykom. 13-14 maja 2005 g., g. Hel'sinki. M., 2005. S. 13-21.
Andrjushina N. P., Makova M. N. Trenirovochnye testy po russkomu jazyku kak inostrannomu. II sertifikacionnyj uroven'. Obshhee vladenie. 9-e izd. SPb. : Zlatoust, 2018. 140 s.
Gosudarstvennyj obrazovatel'nyj standart po russkomu jazyku kak inostrannomu. Vtoroj uroven'. Obshhee vladenie. M. ; SPb. : Zlatoust, 1999. 40 s.
Zhorova A. P. Sociokul'turnaja kompetencija na vysokih urovnjah vladenija RKI: k probleme formirovanija i standartizacii: Rusistika: vchera, segodnja, zavtra. Jubilejnaja mezhdunarodnaja nauchnaja konferencija, posvjashhennaja 50-letiju Obshhestva rusistov Bolgarii i 50-letiju Mezhdunarodnoj associacii prepodavatelej russkogo jazyka i literatury. 29 ijunja - 2 ijulja 2017 g. Sofija, Bolgarija. Doklady. Sofija, 2018. 793 s.
Leksicheskij minimum po russkomu jazyku kak inostrannomu. Vtoroj sertifikacionnyj uroven'. Obshhee vladenie. 7-e izdanie / pod red. N. P. Andrju-shinoj. SPb. : Zlatoust, 2017. 164 s.
Makova M. N., Uskova O. A. Analiz testovyh zadanij II sertifikacionnogo urovnja (TRKI-2): Testovye formy kontrolja po russkomu jazyku kak inostrannomu (RKI). Doklady i soobshhenija / CMO MGU im. M. V. Lomonosova.
12-13 aprelja 2005 goda / pod red. N. P. Andrjushinoj, O. A. Uskovoj. M. : Fizicheskij institut im. P. N. Lebedeva Rossijskoj akademii nauk, 2005. S. 108-116.
Makova M.N., Uskova O. A. V mire ljudej. Vyp. 1. Pis'mo. Govorenie: ucheb. posobie po podgotovke k testirovaniju po russkomu jazyku dlja grazhdan zarubezhnyh stran (TRKI-2 - TRKI 3). SPb. : Zlatoust, 2013. 288 s. Testovye formy kontrolja po russkomu jazyku kak inostrannomu (RKI). Doklady i soobshhenija / CMO MGU im. M. V. Lomonosova. 12-13 aprelja 2005 goda / pod red. N. P. Andrjushinoj, O.A. Uskovoj. M. : Fizicheskij institut im. P. N. Lebedeva Rossijskoj akademii nauk, 2005. 196 s. Tipovye testy po russkomu jazyku kak inostrannomu. II sertifikacionnyj uroven'. Obshhee vladenie. SPb. : Zlatoust, 1999. 112 s.
