CC BY
43
Russian Language Studies
Русистика
2021 Vol. 19 No. 2 207-221
http://journals.rudn.ru/ russian-language-studies
СОВРЕМЕННАЯ ЛИНГВОДИДАКТИКА MODERN LINGUODIDACTICS
DOI 10.22363/2618-8163-2021-19-2-207-221
Научная статья
Реализация современных принципов в разработке субтеста «Чтение и использование языка» ТРКИ-11
И.Н. ЕрофееваИ, Т.И. Попова
Санкт-Петербургский государственный университет, Российская Федерация, 119034, Санкт-Петербург, Университетская наб., д. 7-9
Аннотация. Рассматриваются современные принципы разработки тестов по русскому языку как иностранному (РКИ) с учетом мирового опыта. Цель исследования -обобщить современные принципы разработки языковых тестов и показать, как они реализуются в новых тестах по РКИ. Материалом исследования послужили методические работы российских и зарубежных авторов за последние 20 лет, а также современные форматы тестирования по иностранным языкам. На первом этапе исследования для выделения и систематизации принципов создания языковых тестов применялись общенаучные методы обобщения, систематизации, структурирования. На втором этапе методом моделирования был разработан новый формат теста по РКИ «Чтение и использование языка» (ТРКИ-11), объединяющий проверку языковой и коммуникативной компетенции. На третьем этапе для проверки надежности и валидности нового формата теста был проведен эксперимент с участием 48 иностранных испытуемых, обучающихся в магистратуре по направлению «Русский язык и русская культура в аспекте русского языка как иностранного» СПбГУ. Был сделан вывод о том, что современный тест по русскому языку как иностранному в соответствии с базовым когнитивно-коммуникативным подходом к обучению и контролю должен базироваться на таких принципах, как проверка навыков и умений в различных видах речевой деятельности преимущественно на материале текста; взаимозависимость типа задания и речевого жанра создаваемого/ используемого в задании текста; опора на лингводидактическое описание уровня коммуникативной компетенции; интегративность; использование различных типов тестовых заданий внутри одного субтеста; принцип возрастающей сложности заданий; учет степени сложности каждого задания при его балльной квалификации; посильность, соответствие уровню; учет ценностей поликультурного мира; учет международного опыта; соответствие характеристик тестовых заданий критериям надежности и валидности. Приводится пример реализации этих принципов в новом формате субтеста ТРКИ-11 «Чтение и использование языка». Применение современных принципов создания теста должно обеспечить системное выделение во всех видах речевой деятельности объектов контроля соответствующего уровня и параметров их оценки. Выделенные принципы со-
© Ерофеева И.Н., Попова Т.Н., 2021
0 I This work is licensed under a Creative Commons Attribution 4.0 International License https://creativecomn10ns.0rg/licenses/by/4.O/
здания теста и пример их реализации могут быть положены в основу полноценной системы контрольно-измерительных материалов, базирующихся на лингводидактических описаниях каждого уровня.
Ключевые слова: русский язык как иностранный, ТРКИ-II, новый формат теста, принципы разработки тестов, интегративная проверка коммуникативной компетенции, тестовые задания различных типов
История статьи: поступила в редакцию 16.09.2020; принята к печати 18.11.2020.
Благодарности: Затраты на реализацию проекта «Лингводидактическое описание компетенций в сфере русского языка как иностранного (уровень В2/ТРКИ-П)» частично покрыты за счет гранта, предоставленного фондом «Русский мир», договор от 01.04.2017 г. № 16511Гр/П -244-17.
Участие авторов: Т.И. Попова - концепция и дизайн исследования; И.Н. Ерофеева -анализ полученных данных, написание текста.
Для цитирования: Ерофеева И.Н., Попова Т.И. Реализация современных принципов в разработке субтеста «Чтение и использование языка» ТРКИ-II // Русистика. 2021. Т. 19. № 2. С. 207-221. http://dx.doi.org/10.22363/2618-8163-2021-19-2-207-221
Введение
Система тестирования ТРКИ (общее владение) была внедрена во все российские и многие зарубежные вузы более 20 лет назад. Авторами-разработчиками данной системы являются Московский государственный университет имени М.В. Ломоносова (ТРКИ - элементарный, базовый, I уровни) и Санкт-Петербургский государственный университет (ТРКИ - II, III, IV уровни).
За прошедшие годы были созданы и опубликованы Типовые тесты по русскому языку как иностранному разных уровней как общего владения русским языком (Аверьянова и др., 1999), так и профессионально ориентированные тесты, было разработано много вариантов тестов для всех уровней. Однако в течение 20 последних лет система высших уровней (ТРКИ-II, ТРКИ-Ш, ТРКИ-IV) не обновлялась. Небольшие изменения были внесены только в тесты элементарного, базового, первого уровней.
В то же время развитие тестологии в мире не стояло на месте. Изменились принципы создания тестов, их применения, влияния на процесс обучения и развития личности. Эти вопросы обсуждались на конференциях различных международных организаций, занимающихся проблемами контроля и оценивания коммуникативной компетенции по иностранным языкам, они отражены в трудах, издаваемых этими организациями (ALTE Principles of Good Practice, 2020; Manual for Language Test Development and Examining Council of Europe, 2011; ILTA Guidelines for Practice in English, 2020), что требует осмысления и внедрения результатов этих исследований в российскую систему тестирования как части европейской системы языкового тестирования.
Система государственного тестирования по русскому языку как иностранному в свое время создавалась с учетом основополагающих документов европейской системы языкового тестирования, таких, как Code of Practice, основной задачей которого было создание тестов, сопоставимых с точки
зрения уровня компетенции, соответствующих общим стандартам (The ALTE Code of Practice, 1994). Под эгидой Европейского совета были разработаны единые шкалы описания уровней компетенции, а также представлены дис-крипторы для всех уровней (Общеевропейские компетенции владения иностранным языком, 2005). Международная сопоставимость сертификатов стала «образовательным императивом» (Alderson, Banerjee, 2002: 213), особенно после Болонской декларации 1999 года (The Bologna process).
Изменения в системе европейского языкового тестирования, частью которого является и система тестирования по русскому языку как иностранному, требуют качественного совершенствования последней. Основными вопросами являются создание качественного лингводидактического описания требований к коммуникативной компетенции на разных уровнях, учет преемственности в описании разных уровней, разработка и внедрение новых форм тестирования, позволяющих комплексно оценить уровень коммуникативной компетенции. Решение данных вопросов приведет к повышению валидности сертификационных экзаменов, укреплению позиций системы ТРКИ в рамках российского и зарубежного образовательного пространства (Виноградова, Клобукова, 2019).
В соответствии с задачами, стоящими перед системой тестирования по русскому языку как иностранному, коллектив авторов Санкт-Петербургского государственного университета в 2017 году приступил к разработке нового формата теста Второго сертификационного уровня или В2 в рамках работы над проектом «Лингводидактическое описание компетенций в сфере русского языка как иностранного (уровень В2/ТРКИ-П)», финансируемом фондом «Русский мир». Этапы работы над созданием теста включали создание пред-теста, апробацию, анализ результатов тестирования, переработку заданий. Но основным и первым этапом стал анализ старых и разработка новых принципов создания тестов.
Первыми среди субтестов в тесте по русскому языку (ТРКИ-II) анализу и переработке были подвергнуты субтесты по чтению и грамматике/лексике из Типового теста по русскому языку. Субтест по чтению является первым в батарее тестов, объединенных в тест ТРКИ-2. Выполнение субтеста по грамматике/лексике в процессе практического тестирования обычно следует после «Чтения». Но причиной выбора именно данных субтестов явилась прежде всего возможность объединить, согласно международному опыту, данные субтесты в один - «Чтение и использование языка».
Задания данных действующих субтестов созданы по единому принципу -ориентации на выбор правильного ответа. Такая однородность композиции оправдана с точки зрения простоты подготовки к тестированию и привычности в выполнении заданий, однако большинство таких заданий направлено на проверку только рецептивных навыков и умений. Для более полной проверки коммуникативной компетенции мы предлагаем использовать задания разных типов, созданные на основе не трех, как это представлено в существующем Типовом тесте по чтению, а восьми текстов, различных по жанру, типу и относящимся к различным сферам общения. Объем текстов в Типовом тесте колеблется от 200 до 550 слов. В новом субтесте - от 50 до 500. Обращение к текстам меньшего, чем в существующем субтесте по чтению, размера обосновывается рекомендациями психологов и социологов, выявивших такие спе-
цифические особенности современных молодых людей, как, например, неумение долго концентрировать внимание, в частности, при чтении «длинных текстов» и др. (Аникина и др., 2016). Тексты действующего субтеста по чтению в 1990-е годы были отобраны с учетом принципа страноведческой направленности, в них много страноведческих реалий (описание российских городов, музеев, биографии русских писателей и др.), что было обосновано методическими принципами обучения и контроля в конце ХХ века, но не может быть оправдано в наше время - время глобализации, взаимопроникновения культур, необходимости расширения знаний о мировых ценностях, реалиях жизни других народов, общемировых достижений в науке, искусстве и т. д. Все вышесказанное приводит к выводу о том, что настало время разрабатывать тест нового поколения. В процессе его создания изменению были подвергнуты как формы, типы заданий, так и их содержание. Важной задачей было также определить актуальность лексического, грамматического, текстового материала, представленного в типовом тесте, составить задания, соответствующие современному периоду жизни языка.
Цель
Цель исследования - представить современные принципы разработки алгоритма тестирования, показать, как они реализуются в новых тестах по РКИ Второго сертификационного уровня (ТРКИ-11) на примере субтеста «Чтение и использование языка».
Методы и материалы
В исследовании применялись общенаучные методы обобщения, систематизации, структурирования. Материалом исследования послужили методические работы российских и зарубежных авторов за последние 20 лет, которые были подвергнуты анализу с целью выявления новых методических принципов создания языковых тестов, а также были рассмотрены современные форматы тестирования по иностранным языкам. На основе выделенных принципов были пересмотрены существующие типовые тесты по РКИ второго сертификационного уровня и предложен новый формат теста «Чтение и использование языка», объединяющий проверку языковой и коммуникативной компетенции.
Для проверки надежности и валидности нового формата теста был проведен эксперимент, в котором участвовали 48 студентов магистратуры направления «Русский язык и русская культура в аспекте РКИ» СПбГУ. Студентам было предложено выполнить задания субтеста «Чтение и использование языка» (ТРКИ-11) в пределах установленных границ времени, после чего была проведена проверка выполненных тестовых заданий, результаты теста были статистически обработаны и проанализированы.
Результаты
Результатом работы стало определение общих принципов создания современного формата теста по русскому языку как иностранному (Уровень английского В2). Были систематизированы уже существующие принципы тестирования и контроля: соответствие трудности задания и уровня тестирования коммуника-
тивной компетенции; обладание заданий основными характеристиками качества -валидностью, надежностью. На основе исследования научно-методических трудов в области тестирования, а также анализа тестов зарубежных систем тестирования были выделены новые принципы. Прежде всего, принцип базирования на лингводидактическом описании уровня коммуникативной компетенции, где определены тематические сферы, а также типичные жанры текстов, актуальные для современной жизни иностранцев, стратегические и тактические умения достижения коммуникативных целей, лексико-грамматические, стилистические, синтаксические средства их реализации в ситуациях, актуальных для уровня владения русским языком на уровне ТРКИ-П. При отборе текстов для тестовых заданий мы пришли к выводу о необходимости выделения принципа учета ценностей поликультурного мира. Исследование психолингвистических механизмов в процессе выбора и производства ответов при контроле коммуникативной компетенции привело к выделению когнитивно-коммуникативного принципа как базового в тестировании, а также сочетания в одном субтесте заданий разных типов. Мы считаем также необходимым выдвинуть новый - актуальный для современного этапа развития международных контактов в различных областях науки, образования и культуры - принцип учета международного опыта. Все вышеназванные принципы были положены в основу разработки тестов по русскому языку как иностранному второго сертификационного уровня, в частности, субтеста по чтению и использованию языка.
Новый субтест «Чтение и использование языка» (ТРКИ-П ) был создан с учетом всех вышеназванных принципов и на основе текстов, отвечающих всем требованиям отбора текстового материала для тестов: представление в заданиях текстов различных речевых жанров, отбираемых с ориентацией на частотные коммуникативные потребности иностранца и соответствующие целям проверки коммуникативной компетенции; ориентация на функционально-смысловые типы речи; соответствие лексико-грамматических, прагматических, стилистических характеристик текстов уровню проверяемой коммуникативной компетенции; информационная привлекательность текстов; взаимозависимость типа задания и речевого жанра используемого в задании текста; соответствие уровню и др.
Выделение принципов, которые были положены в основу разработки тестов, способствовало созданию качественных тестов, что было подтверждено в ходе проведенного эксперимента. В экспериментальном тестировании участвовали 48 иностранных студентов магистратуры направления «Русский язык и русская культура в аспекте РКИ» СПбГУ, по уровню коммуникативной компетенции соответствующие уровню ТРКИ-П. Сдали тест «Чтение и использование языка» с результатом 66 % и более 27 человек. Из них 18 человек показали результат более 75 %. Тест не сдали 12 человек (25 %) (их результаты - менее 66 %). Данные результаты говорят о ва-лидности теста и его достаточной надежности.
Обсуждение
Разработанное коллективом авторов СПбГУ лингводидактическое описание требований к уровню сформированности коммуникативной компетенции на уровне ТРКИ-П (авторы И.М. Вознесенская, И.А. Гончар, И.Н. Еро-
феева, Т.И. Попова, К.А. Рогова, О.В. Хорохордина, Н.М. Марусенко, Н.Л. Федотова) дало возможность увидеть и четко систематизировать тематические сферы и макроситуации, которые являются частотными и актуальными для решения коммуникативных задач иностранных учащихся в России (человек и его частная/личная жизнь; человек и его учебная деятельность; человек и его профессиональная деятельность; человек и государство; человек и общество; человек и его духовное развитие; природа и человек). При создании теста по русскому языку принцип базирования на лингводидактическом описании уровня коммуникативной компетенции можно назвать основным. Производя анализ текстов заданий существующих субтестов в Типовом тесте по русскому языку как иностранному (ТРКИ-II), мы обнаружили, что большая часть используемых в нем текстов имеет узко страноведческую направленность, а также содержит информацию о реалиях, не существующих, устаревших, даже не знакомых молодому поколению в наше время. Именно поэтому в соответствии с мировой тенденцией усиления процесса глобализации, взаимопроникновения культур, необходимости расширения знаний о мировых ценностях, реалиях жизни других народов, общемировых достижений в науке, искусстве и т. д. необходимо при создании языковых тестов выдвинуть принцип учета ценностей поликультурного мира и следовать ему при отборе текстов.
Следующими важными вопросами при создании нового теста являются проблемы, связанные с разработкой самих заданий и их правильным расположением внутри субтестов. Описание умений и навыков по всем аспектам речевой деятельности на определенном этапе дало возможность реализовать принцип соответствия задания по трудности уровню, который подвергается проверке. Показатель трудности задания - структурообразующий фактор теста. Напомним, трудность задания определяется двумя способами. Первый способ основан на анализе количества и качества умственных операций, совершаемых человеком при решении задания; второй - на результатах опробования системы тестовых заданий (Аванесов, 2005). При создании нового субтеста во внимание принимались оба фактора.
Общая концепция теста теперь подчинена принципу не коммуникативного метода обучения и контроля, а когнитивно-коммуникативному. Этим вопросам посвящены такие работы, как Investigating learners' cognitive processes during a computer-based CAE Reading test (Weir, Bax, 2012), Testing and cognition (Wittrock, Baker 1991), The cognitive processes underlying the academic reading construct as measured by IELTS (Weir et al., 2009), The coming age for research on test-taking strategies (Cohen, 2007), A closer look at the relationship of cognitive and metacognitive strategy use to EFL reading achievement test performance (Phakiti, 2003) и др. Среди российских исследований можно назвать работы А.В. Матиенко, А.В. Щепиловой, Ю.А. Ситнова, А.Н. Ша-мова (Матиенко, 2011; Шепилова, 2003; Ситнов, 2005; Шамов, 2006). В соответствии с этим принципом в обучении иностранному языку и тестировании серьезное внимание уделяется формированию и развитию умений выбирать, сравнивать, сопоставлять, определять жанровую специфику текста, соответствующие ей языковые средства. Этот принцип закладывается теперь как основной в тестировании коммуникативной компетенции.
Важнейшим правилом создания теста является определение его пригодности (валидности), зависящей от «лингвистического содержания теста, от его цели и от ситуации или метода, использованных для тестирования содержания» (Павловская, Башмакова, 2007: 147). М.Б. Челышкова определяет данное качество как «характеристику репрезентативности содержания теста по отношению к запланированным для проверки знаниям и умениям» (Челышкова, 2002: 342). Данное правило в современной тестологии трактуется как необходимость следования принципу подтверждения основных характеристик теста при его разработке (Sukyadi, 2020).
При разработке нового формата теста мы опирались также на принцип учета международного опыта. В связи с этим считаем необходимым назвать работы, использованные нами при определении принципов, положенных в основу разработки новых тестов по русскому языку: Testing Principles (Sukyadi, 2020), Language Testing in Practice: Designing and Developing Useful Language Tests (Bachman, Palmer, 1996), Testing for Language Teachers (Hughes, 2003), The use of language tests in the service of policy: issues of validity (McNamara, 2010).
При создании нового теста были проанализированы тесты по иностранным языкам, в частности, экзамен по английскому языку Кембриджского университета - First Certificate in English (Cambridge English: First (FCE): Reading and Use of English). В кембриджском тесте представлены различные типы заданий, что реализует принцип использования в одном субтесте различных видов тестовых заданий. Если ранее тестирование проводилось на основе заданий, ориентированных на проверку только «чистых» умений речевой деятельности (чтения, аудирования, письма, говорения), то сейчас используется интегративный принцип проверки языковых навыков и речевых умений.
Продемонстрируем, как реализуются данные принципы в новом формате первого из субтестов в батарее тестов ТРКИ-II - субтесте «Чтение и использование языка» (авторы И.М. Вознесенская, И.Н. Ерофеева, Т.И. Попова, К.А. Рогова, О.В. Хорохордина). Данный субтест объединил в себе два субтеста - «Чтение» и «Лексика. Грамматика». Важной задачей было определить степень необходимости сохранения типов заданий, а также актуальность лексического, грамматического, текстового материала, представленного в типовом тесте.
Тексты субтеста по чтению (Аванесов, 1998) в существующем Типовом тесте по РКИ были отобраны с учетом принципа страноведческой направленности, что было обосновано методическими принципами обучения и контроля в 80-90-е годы ХХ века, но не может быть оправдано в наше время -время глобализации. Старый формат субтеста по чтению ТРКИ-II состоял из 25 заданий и был рассчитан на 60 минут выполнения. Задания субтеста «Грамматика» ТРКИ-2 старого формата были даны в форме синтаксической структуры предложения, редко - диалогического единства. Тестируемому предлагалось 150 заданий, выполнялся тест в течение 90 минут. В субтестах по чтению, грамматике и лексике использовались задания одного типа -множественного выбора.
Новый субтест «Чтение и использование языка» в тесте по РКИ второго сертификационного уровня рассчитан на 80 минут выполнения. Он включает в себя 50 тестовых заданий, разделенных на 8 блоков. В блоках заданий
субтеста представлены тексты различных речевых жанров, ориентированные на «Лингводидактическое описание второго сертификационного уровня владения русским языком как иностранным». Каждый из блоков заданий базируется на материале отдельного текста и ориентирован на проверку определенных грамматических, лексических навыков. Например, владение лексикой определенной тематики и сферы общения проверяется на основе текстов: официально-делового характера (в задании необходимо заполнить пробелы, находя и используя в нужной форме лексические единицы, соответствующие контексту и стилю: Московский Кремль (13) ......... официальной резиденцией Президента Российской (14) .........); статьи рекомендательного характера инструктивного типа социально-бытовой сферы общения (в задании надо выбрать из предложенных слов то, которое наиболее подходит по контексту: Подготовьтесь к поездке. Узнайте, какие в стране
есть (4) ......... (тематические, обзорные), рестораны, какие предлагают
(5) ......... для молодежи. (4) А. экскурсии, Б. экскурсоводы, В. гиды, Г. рассказы; (5) А. увлечения, Б. развлечения, В. привлечения, Г. отвлечения) и других типов текстов различных жанров.
В новом формате субтеста реализуется принцип учета ценностей поликультурного мира. В нем представлены тексты, тематически связанные с различными аспектами жизни и интересами иностранного учащегося не только в России, но и в мире вообще: достижения в науке, жизнь деятеля науки, искусства, проблемы студентов, взаимоотношения в семье. Например, для проверки навыков словообразования предлагается актуальный текст об использовании роботов в будущем1. На месте пропусков необходимо вписать слова, образованные от предложенных слов:
Футурологи предсказывают, что в ................ (1) будущем роботов на планете будет больше, чем людей. (1) близкий
Роботы будут настолько явно присутствовать во всех сферах............(2) жизни, что в какой-то момент может произойти слияние технических и (3)............видов. (2)человек (3) биология
В новом формате субтеста представлены задания различных типов: множественного выбора, альтернативные; задания на заполнение пробелов; задания на определение соответствия. Задания носят интегративный характер: корректность использования лексико-грамматической конструкции проверяется не на основе отдельного предложения, теперь ее употребление зависит от характеристик целого текста. Использование интегративных заданий дает возможность сократить объем субтеста, не уменьшая при этом содержательную информативность заданий (пример задания: восполните каждый из пропусков соответствующим контексту вариантом ответа. Получив
высшее образование (0) ......... [А. по специальности, Б. со специальностью,
В. на специальность, Г. при специальности] «Международное управление в топливно-энергетическом комплексе» в Московском государственном институте международных отношений (МГИМО), я подаю документы .........
1 Роботы в нашей жизни. URL: https://your-happy-life.com/robotyi-v-nashey-zhizni/ (дата обращения: 22.10.2020).
[А. по программе, Б. на программу, В. с программой, Г. к программе] магистратуры MSc «Менеджмент в энергетическом комплексе». (33) ......... [А.
Поскольку, Б. Потому что, В. Благодаря тому что, Г. Из-за того что] энергетика - это одна из основных производственных отраслей в мире, в бакалавриате я выбрал «Управление в энергетическом комплексе»2.
Практически все задания субтеста подчинены принципу когнитивности. Поиск правильной грамматической формы/лексической единицы внутри текста, дающего ситуативный контекст, способствует реализации когнитивных способностей кандидатов. В новом субтесте лексико-грамматические задания различаются и могут быть градуированы по степени и количеству когнитивных операций, необходимых для их выполнения: выбор единицы из предложенных без изменения ее формы; выбор единицы из предложенных, вписывание ее в пробел с изменением формы; самостоятельное нахождение единицы и вписывание ее в пробел; образование слова на базе словообразовательной основы предложенной единицы. Таким образом установлена последовательность заданий внутри субтеста и система балльного оценивания заданий. Например, баллом 1 оценивается правильный выбор единицы из предложенных (При выборе тура обязательно делайте пометки в блокноте, что нужно уточнить, на что обратить (8) .........8. А. взор, Б. взгляд, В. глаза, Г. внимание); баллом 2 оценивается самостоятельное нахождение единицы и вписывание ее в пробел (Московский Кремль (13) ......... официальной резиденцией Президента Российской (14) .........); баллом 3 - образование слова на базе словообразовательной основы и постановка его
в правильной форме: Человеческое тело, ......... из огромного количества нано-
роботов, сможет принимать любую внешность по команде «мозг» (состоять).
Особого внимания заслуживают задания, связанные с проверкой умений понять оценочную информацию, социопсихолингвистические особенности речевого поведения коммуникантов. Они созданы на основе художественного текста, отобранные фрагменты отражают частотные ситуации неофициального общения людей в кругу друзей, знакомых, семьи и обязательно включают разговорный диалог, затрагивающий личные отношения.
Пример3:
- Вот я тебя попросил мне помочь, - Костя смотрел на стол прямо перед собой, - и как ты мне помог? Ладно! Потом увидим.
- Чего увидим? - громко сказал Паша и опустил руку на стол, пепельница от этого громко звякнула. Из-за соседних столиков на них посмотрели. - Ты чего, не понял, что мы тебя в Москву не отпустим, нечего тебе там делать!
Выберите правильный ответ:
В данном фрагменте Паша.........
A. возмутился тем, как Костя ему ответил
Б. удивился тому, как Костя ему ответил
B. обрадовался, что Костя так ему ответил
Г. расстроился, что Костя так ему ответил.
2 Пример мотивационного письма на русском языке на программу магистратуры в ведущий английский вуз. URL: https://www.educationindex.ru/resources/documents/education indexprimermotivatcionnogopismavvuznarusskomyazyke.pdf (дата обращения: 22.10.2020).
3 Гришковец Е. Шрам. URL: https://knigogid.ru/books/67820-basil/toread (дата обращения: 22.10.2020).
Материалом для проверки понимания общения в неофициальной непринужденной обстановке служат фрагменты из художественной литературы, содержащие диалоги, в которых отражаются прагматические намерения говорящих и изменения их эмоционального состояния. Тестовые вопросы направлены на проверку кандидатом способности определить социальные, психологические характеристики человека, «раскодировать» и интерпретировать намерения собеседников художественного диалога через маркирующие средства: лексику, синтаксическое оформление высказываний, контекстуальные характеристики речи и др. Объектом тестирования здесь является сама стратегия изучающего чтения.
Все задания субтеста «Чтение и использование языка» сопровождаются спецификацией. Например:
Сфера жизнедеятельности: социокультурная.
Тема: Человек и его созидательная деятельность во всех областях жизни. Наука. Творчество.
Тип текста: повествовательно-описательный, информативный регистр.
Стиль: текст научно-популярного подстиля
Жанр: энциклопедическая статья, статья научно-популярного характера на сайте.
Объект тестирования: соответствие типа синтаксической конструкции и ее актуального членения семантическому типу текста.
Объем текста: 30-40 слов + 30-40 слов.
Спецификация дана для следующего задания: Прочитайте тексты. Выберите название (А или Б) для каждого из текстов. Внесите правильный ответ (А или Б) в матрицу.
1. Основанный Петром Первым Санкт-Петербург стал столицей Российского государства в 1712 году. Ему отводилась особая роль культурного, экономического, транспортного центра. Город, согласно идеям Петра, имел огромное стратегическое и военное значение на водном пути из России в Западную Европу.
2. Задумав строительство города своей мечты, Петр Первый в первую очередь придавал Петербургу большое стратегическое значение. В мае 1703 года на Заячьем острове он, по преданию, сам заложил первый камень в строительство города, лично контролировал строительство Петропавловской крепости, а в 1704 году основал крепость Кронштадт4.
Выберите название (А или Б) для каждого из текстов:
А. Петр Первый - основатель Петербурга.
Б. Значение основания Петербурга для Российского государства).
Итак, в спецификации представлены сфера общения, тема, тип текста, его жанр, объект тестирования и объем текста. Представление четких характеристик заданий и текстов, на основе которых они разработаны, позволяют создавать варианты заданий, коррелирующих с эталонным.
Заключение
В перспективе перед системой тестирования по русскому языку как иностранному стоит задача создания полноценной системы контрольно-измерительных материалов, базирующихся на Лингводидактических описа-
4 По материалам сайта Habclub. URL: http://habclub.ru/ (дата обращения: 22.10.2020).
ниях всех уровней. Опора на Лингводидактическoе описание, включающее системное представление объектов познавательной деятельности учащегося соответствующего уровня и их типизированные коммуникативные способы реализации - речевые жанры, позволит системно связать Стандарты, Программы и Типовые тесты.
Необходимо создать четкую систему спецификации заданий по всем видам речевой деятельности. Как показано на примере субтеста «Чтение и использование языка», спецификация задания должна включать следующие элементы: сфера жизнедеятельности (социально-бытовая, официально-деловая, социокультурная); тема в соответствии с темами, представленными в Лингво-дидактическом описании уровня; тип текста (описание, повествование, объяснение, доказательство, инструкция); стиль (книжно-письменный/устно-разговорный); жанр монологического или диалогического текста; объект тестирования; объем текста.
Применение современных принципов создания теста должно обеспечить системное выделение во всех видах речевой деятельности объектов контроля соответствующего уровня и параметров их оценки. Системный когнитивно-коммуникативный подход даст возможность выбора текста из «банка данных» текстов, принадлежащих разным речевым сферам, для использования в однотипных заданиях, что позволит создавать типовые модели заданий с ориентацией на различные жанры. Использование заданий ин-тегративной формы позволит комплексно проверять уровень сформирован-ности когнитивно-коммуникативной компетенции в разных видах речевой деятельности.
Список литературы
Аванесов В.С. Композиция тестовых заданий. 2-е изд. М.: Адепт, 1998. 217 с. Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций в открытых источниках и Интернет). ЦТ и МКО УГТУ-УПИ, 2005. 98 с. URL: http://www.charko.narod.ru/tekst/biblio/Avanesov_Teoriya_i_metod_ped_izmer.pdf (дата обращения: 07.08.2020). Аверьянова Г.Н., Беликова Л.Г., Ерофеева И.Н., Иванова Т.А., Нестерова Т.Е. и др. Типовые тесты по русскому языку как иностранному. Второй сертификационный уровень. Общее владение. М., СПб.: Златоуст, 1999. 112 c. Аникина М.Е., Ермошкина Т.А., Искаков Д.З., Кобзев М.В., Пушкарева Д.А., Щепилова Г.Г. Восприятие длинных текстов поколением «цифровых островитян» // Медиаскоп. 2016. Вып. 1. URL: http://mediascope.ru/?q=node/2089 (дата обращения: 07.08.2020). Виноградова Е.Н., Клобукова Л.П. Актуальные лингвометодические проблемы совершенствования нормативно-методических документов тестирования по русскому языку как иностранному // Русский язык за рубежом. 2019. № 2 . С. 72-79. Иванова Т.А., Попова Т.И., Рогова К.А., Юрков Е.Е. Государственный образовательный стандарт по русскому языку как иностранному. Второй уровень. Общее владение. СПб.: Златоуст, 1999. 40 с. Матиенко А.В. Методическая концепция когнитивно-коммуникативного контроля в системе обучения иностранному языку студентов лингвистического вуза: авто-реф. дис. ... д-ра пед. наук. Нижний Новгород, 2011. 41 с. Общеевропейские компетенции владения иностранным языком: изучение, обучение, оценка / Департамент по языковой политике. Страсбург, 2005. 256 с.
Павловская И.Ю., Башмакова Н.И. Основы методологии обучения иностранным языкам. Тестология: учебник. Изд. 2-е, испр. и доп. СПб.: Филологический факультет СПбГУ, 2007. 225 с.
Рогова К.А. Требования к уровню сформированности коммуникативной компетенции в чтении. Второй сертификационный уровень // Методические совещания-семинары по изучению и преподаванию русского языка как иностранного: сборник научно-методических материалов / под ред. Е.Е. Юркова и др. СПб.: МИРС, 2009. С. 95-98.
Ситнов Ю.А. Коммуникативно-когнитивный подход к развитию грамматической компетенции студентов-лингвистов: дис. ... д-ра пед. наук. Пятигорск, 2005. 36 с.
Уровень английского В2. URL: http://www.efset.org./ru/englis (дата обращения: 07.08.2020).
Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. 432 с.
Шамов А.Н. Когнитивный подход к обучению лексике: моделирование и реализация: монография. Нижний Новгород: НГЛУ имени Н.А. Добролюбова, 2006. 479 с.
Шепилова А. В. Когнитивно-коммуникативный подход к обучению французскому языку как второму иностранному. М.: Просвещение, 2003. 488 с.
Alderson J.C., Banerjee J. Language testing and assessment (Part I) // Language Teaching. 2002. Vol. 34. Pp. 213-236.
ALTE Principles of Good Practice. ALTE, 2020. URL: https://www.alte.org/resources/ Documents/ALTE (Final).pdf (accessed: 07.08.2020).
Bachman L.E., Palmer A.S. Language testing in practice: designing and developing useful language tests. Oxford: Oxford University Press, 1996.
Cambridge English: Exams: Cambridge English First (FCE): Exam format: Reading and use of English. URL: http://www.cambridgeenglish.org/exams/first/exam-format/ (accessed: 07.08.2020).
Cohen A.D. The coming age for research on test-taking strategies. URL: https://www.researchgate.net/publication/272121823_The_Coming_of_Age_of_Resear ch_on_Test-Taking_Strategies (accessed: 03.12.2020).
Hughes A. Testing for language teachers. 2nd ed. Cambridge: Cambridge University, 2003.
ILTA Guidelines for Practice in English. URL: https://cdn.ymaws.com/www.iltaonline.com/ resource/resmgr/docs/guidelines_for_practice/2020_revised/ilta_guidelines_for_practice.pdf (accessed: 07.10.2020).
Manual for Language Test Development and Examining Council of Europe. 2011, April. URL: file:///D :/Documents/ManualLanguageTest-Alte2011_EN.pdf (accessed: 23.08.2020).
McNamara T. The use of language tests in the service of policy: issues of validity // Revue française de linguistique appliquée. 2010. Vol. XV. Pp. 7-23.
Phakiti A. A closer look at the relationship of cognitive and metacognitive strategy use to EFL reading achievement test performance // Language Testing. 2003. Vol. 20. Issue 1. Pp. 26-56.
Sukyadi D. Testing Principles. 2020. URL: https://www.academia.edu/3095492/Principles_ of_language_testing (accessed: 07.10.2020).
The ALTE Code of Practice. 1994. URL: https://www.alte.org/resources/Documents/code_ practice_en.pdf (accessed: 07.08.2020).
The Bologna process. URL: https://www.unl.pt/data/qualidade/bolonha/guide-to-the-bologna-process.pdf (accessed: 06.12.2020).
Weir C., Bax. S. Investigating learners' cognitive processes during a computer-based CAE reading test // Cambridge ESOL: Research Notes. 2012. Issue 47. Pp. 3-14.
Weir C., Hawkey R., Green T., Devi S. The cognitive processes underlying the academic reading construct as measured by IELTS. British Council // IDP Australia IELTS Research Reports. 2009. Vol. 9. No. 4. Pp. 157-189.
WittrockM.C., Baker E.L. Testing and cognition. Englewood Cliffs, N.J.: Prentice Hall, 1991.
Сведения об авторах:
Ерофеева Инна Николаевна, кандидат педагогических наук, доцент, доцент кафедры русского языка как иностранного и методики его преподавания Санкт-Петербургского государственного университета. Сфера научных интересов: методика преподавания русского языка как иностранного, педагогика, лингвистика. E-mail: [email protected]
Попова Татьяна Игоревна, доктор филологических наук, профессор, профессор, заведующая кафедрой русского языка как иностранного и методики его преподавания Санкт-Петербургского государственного университета. Сфера научных интересов: речевая коммуникация, методика преподавания РКИ, тестирование. E-mail: [email protected]
DOI 10.22363/2618-8163-2021-19-2-207-221
Scientific article
Modern principles of developing the subtest "Reading and Use of Language" of the TORFL-II
Inna N. ErofeevaE, Tatiana I. Popova
Saint Petersburg State University, 7-9 Universitetskaya Naberezhnaya, Saint Petersburg, 119034, Russian Federation
Abstract. The article is devoted to the topical problem of modern principles of developing tests of Russian as a foreign language (RFL), taking into account the world experience. The purpose of the article is to summarize the modern principles of language test development and to show how they are implemented in the new tests of Russian as a foreign language. The materials of the article include the research papers of Russian and foreign authors in the sphere of methodology over the past 20 years, as well as modern formats of testing in foreign languages. At the first stage of the study, general scientific methods of generalization, systematization and structuring were used. At the second phase, a new format of the RFL test "Reading and Use of Language" (B2) was modelled, combining language and communication competence testing. At the third stage, an experiment was conducted to test the new format. 48 foreign master students studying the program "Russian Language and Russian Culture in the Aspect of Russian as a Foreign Language" in Saint Petersburg State University took part in the experiment. It was concluded that the modern language test, in accordance with the basic cognitive and communicative principle of learning and control, should be based on the following principles: testing skills in different types of speech activities mainly on the text material; interdependence between the type of the task and the speech genre of the text being created/used in the task; basing on a linguistic and didactic description of the communicative competence level; integrative approach; using different types of test tasks within one subtest; the principle of increasing complexity of tasks; taking into account the complexity of each task in its assessment; task feasibility according to students' educational level; taking into account the values of the multicultural world; taking into account international experience; basing on reliability and validity criteria of test tasks. These principles implemented in the new TORFL-II subtest format "Reading and Use of Language" are presented in the article. The implementation of modern test principles should ensure that all speech control facilities are systematically allocated to the appropriate level and parameters for their assessment. The above-mentioned principles of test creation and the example of their implementation can be taken as the basis of a full-fledged system of control and measurement materials based on linguistic and didactical descriptions of each level.
Keywords: Russian as a foreign language, TORFL-II, new test format, test development principles, integrative testing of communicative competencies, test tasks of different types
Article history: received 16.09.2020; accepted 18.11.2020.
Acknowledgments: The project "Linguodidactic Description of Competences in Russian as a Foreign Language (Level B2/TORFL-II)" was financially supported by Russkiy Mir Foundation (contract 16511rp/II -244-17 of April, 1, 2017).
The authors' contribution: Tatiana I. Popova - the concept and design of the research, Inna N. Erofeeva - analysis of the data, writing the text.
For citation: Erofeeva, I.N., & Popova, T.I. (2021). Modern principles of developing the subtest "Reading and Use of Language" of the TORFL-II. Russian Language Studies, 19(2), 207-221. (In Russ.) http://dx.doi.org/10.22363/2618-8163-2021-19-2-207-221
References
Alderson, J., & Charles, B.J. (2002). Language testing and assessment (Part I). Language Teaching, 34, 213-236.
ALTE. (1994). The ALTE Code of Practice. Retrieved August 7, 2020, from https://www.alte.org/
resources/Documents/code_practice_en.pdf ALTE. (2020). ALTE Principles of Good Practice. Retrieved August 8, 2020, from
https://www.alte.org/resources/Documents/ALTE (Final).pdf Anikina, M.E., Yermoshkina, T.A., Iskakov, D.Z., Kobzev, M.V., Pushkareva, D.A., & She-pilova, G.G. (2016). Perception of long texts by the generation of "digital islanders". Mediaskop, (1). Retrieved December 4, 2020, from http://mediascope.ru/?q=node/2089 Avanesov, V.S. (1998). Composition of test tasks. 2nd ed. Moscow: Adept Publ. (In Russ.) Avanesov, V.S. (2005). Theory and practice of pedagogical measurements. Public publications and the Internet. Center for Education Testing and Monitoring of Ural Federal University. Retrieved August 8, 2020, from http://www.charko.narod.ru/tekst/biblio/ Avanesov_Teoriya_i_metod_ped_izmer.pdf Averyanova, G.N., Belikova, L.G., Erofeeva, I.N., Ivanova, T.A., Nesterova, T.E., & Yurkov, E.E. (1999). Typical tests in Russian as a foreign language. The second certification level. Saint Petersburg: Zlatoust Publ. (In Russ.) Bachman, L.E., & Palmer, A.S. (1996). Language testing in practice: Designing and developing useful language tests. Oxford: Oxford University Publ. Cambridge English: Exams: Cambridge English First (FCE): Exam format: Reading and use of English. Retrieved August 8, 2020, from http://www.cambridgeenglish.org/exams/ first/exam-format/
Chelyshkova, M.B. (2002). Theory and practice of designing pedagogical tests: Teaching manual.
Moscow: Logos Publ. (In Russ.) Cohen, A.D. (2007). The coming age for research on test-taking strategies. Retrieved December 3, 2020, from https://www.researchgate.net/publication/272121823_The_ Coming_of_Age_of_Research_on_Test-Taking_Strategies English B2 level. Retrieved August 8, 2020, from http://www.efset.org./ru/english Hughes, A. (2003). Testing for language teachers. 2nd ed. Cambridge: Cambridge University. ILTA Guidelines for Practice in English. Retrieved October 10, 2020, from https://cdn.ymaws.com/ www.iltaonline.com/resource/resmgr/docs/guidelines_for_practice/2020_revised/ilta_g uidelines_for_practice.pdf Ivanova, T.A., Popova, T.I., Rogova, K.A., & Yurkov, E.E. (1999). State educational standard
for Russian as a foreign language. Level two. Saint Petersburg: Zlatoust Publ. (In Russ.) Manual for Language Test Development and Examining Council of Europe. (2011, April). Retrieved October 21, 2020, from file:///D:/Documents/ManualLanguageTest-Alte2011_EN.pdf
Matienko, A.V. (2011). Methodical concept of cognitive and communication control in the system of teaching a foreign language to students of a linguistic university (Author's abstract of Doctoral dissertation). Nizhny Novgorod. (In Russ.)
McNamara, T. (2010). The use of language tests in the service of policy: Issues of validity. Revue française de linguistique appliquée, XV, 7-23.
Modern Languages Division. (2005). Common European framework of reference for foreign language: Learning, teaching, assessment: A monograph. Strasburg. (In Russ.)
Pavlovskaya, I.Yu., & Bashmakova, N.I. (2007). The basics of the methodology of learning foreign languages. Testology: Textbook. 2nd ed. Saint Petersburg: Faculty of Philology of the Saint Petersburg State University Publ. (In Russ.)
Phakiti, A. (2003). A closer look at the relationship of cognitive and metacognitive strategy use to EFL reading achievement test performance. Language Testing, 20(1), 26-56.
Rogova, K.A. (2009). Requirements for the level of formation of communicative competence in reading. Second certification level. Methodical Workshops on the Study and Teaching of Russian as a Foreign Language: Collection of Scientific and Methodological Research Papers. Saint Petersburg: MIRS Publ. (In Russ.)
Shamov, A.N. (2006). Cognitive and communicative approach to learning French as a second foreign language. Nizhniy Novgorod: The Linguistics University of Nizhny Novgorod Publ. (In Russ.)
Shepilova, A.V. (2003). Cognitive and communicative approach to learning French as a second foreign language. Moscow: Prosveshcheniye Publ. (In Russ.)
Sitnov, Yu.A. (2005). Methodical concept of cognitive and communication control in the system of teaching a foreign language to students of a linguistic university (Author's ab-str. of Doctoral dissertation). Pyatigorsk. (In Russ.)
Sukyadi, D. (2020). Testing Principles. Retrieved October 10, 2020, from https://www.academia.edu/3095492/Principles_of_language_testing
The Bologna process. Retrieved December 6, 2020, from https://www.unl.pt/data/qualidade/ bolonha/guide-to-the-bologna-process.pdf
Vinogradova, E.N., & Klobukova, L.P. (2019). Current linguistic problems of improving the regulatory and methodical documents of testing in Russian as a foreign language. Russian Abroad, (2), 72-79. (In Russ.)
Weir, C., & Bax, S. (2012). Investigating learners' cognitive processes during a computer-based CAE reading test. Cambridge ESOL: Research notes, (47), 3-14.
Weir, C., Hawkey, R., Green, T., & Devi, S. (2009). The cognitive processes underlying the academic reading construct as measured by IELTS. British Council. IDP Australia IELTSResearch Reports, 9(4), 157-189.
Wittrock, M.C., & Baker, E.L. (1991). Testing and cognition. Englewood Cliffs, N.J.: Prentice Hall.
Bio notes:
Inna N. Erofeeva, Candidate of Pedagogy, Associate Professor of the Department of Russian as a Foreign Language and Methodology of its Teaching of the Saint Petersburg State University. Research interests: theory of teaching Russian as a foreign language, speech communication, testing. E-mail: [email protected]
Tatiana I. Popova, Doctor of Philology, Professor, Professor, Head of the Department of Russian as a Foreign Language and Methodology of its Teaching of the Saint Petersburg State University. Research interests: speech communication, methods of teaching Russian as a foreign language, testing. E-mail: [email protected]
