CC BY
11
Научная статья УДК 372.881.1
10.17223/19996195/61/17
Разработка системы оценивания уровня владения японским языком участников олимпиады
Елена Генриховна Тарева1, Владлена Анатольевна Федянина2, Мария Натановна Мизгулина3
123Московский городской педагогический университет, Москва, Россия 1 tarevaeg@mgpu.ru 2fedyaninava@mgpu. ги 3 mizgulinamn@mgpu.ru
Аннотация. Описан опыт разработки системы оценивания уровня владения японским языком, систематизированный с точки зрения как теоретико-методологического, так и практического осмысления. Система представлена в контексте организации и проведения конкурсов и олимпиад для выявления лингвистически одаренных школьников.
На современном этапе развития лингводидактики происходит поиск путей усовершенствования разработки систем оценивания для широкого спектра школьных олимпиад по иностранным языкам. Олимпиада по иностранному языку является формой контроля и оценивания, позволяющей сделать объективный срез знаний, навыков и умений, входящих в состав коммуникативной компетенции обучающихся. Объективность такого среза обеспечивается системой оценивания, включающей в себя совокупность взаимосвязанных и взаимозависимых критериев, методов, средств выявления качества освоения обучающимися предметного содержания применительно к иностранному языку.
Представлена разработанная нами система оценивания уровня владения школьниками японским языком на примере заданий олимпиады «Учитель школы будущего», которую проводит Московский городской педагогический университет. Олимпиада входит в перечень конкурсов и олимпиад по иностранным языкам, утвержденный Министерством просвещения Российской Федерации. Обосновываются научно-теоретические основы предлагаемой в рамках олимпиады системы оценивания, структура данной системы; сформулированы рекомендации при проведении аналогичных испытаний для школьников.
Использованы такие методы, как сравнительно-сопоставительный анализ отечественных и зарубежных подходов к оцениванию уровней владения иностранными языками, нормативных документов в сфере образования; комплексный анализ, классификация и структуризация информационных и статистических данных; контент-анализ материалов олимпиады «Учитель школы будущего»; моделирование системы оценивания; мониторинг результативности системы оценивания; опросы, методы математической статистики обработки полученных данных. С использованием данных методов разработана и теоретически описана трехуровневая система, включающая в себя содержательно-целевой, инструментальный и критериально-технологический уровни.
Содержательно-целевой уровень системы оценивания содержит информацию о целевой направленности процедур оценки уровня владения школьниками японским языком. Цель в аспекте оценивания предстает в виде совокупности дескрипторов тех действий во всех видах речевой деятельности, которые де-
© Е.Г. Тарева, В. А. Федянина, М.Н. Мизгулина, 2023
монстрирует участник олимпиады. Инструментальный уровень системы оценивания включает в себя совокупность заданий, в ходе выполнения которых участник олимпиады способен проявить свои коммуникативные способности. Задания олимпиадного типа составляются на основе отобранного языкового и речевого материала и дескрипторной характеристики уровней владения японским языком с учетом специальных критериев оценивания. Критериально-технологический уровень демонстрирует критерии оценивания, обусловленные особенностями японского языка и структурой заданий.
Разработанная система может использоваться как модель при оценивании уровня владения иностранным языком школьников при проведении школьных олимпиад по восточным языкам, использующим иероглифическую письменность, а также лечь в основу для разработки структуры и содержания заданий единого государственного экзамена по японскому языку, который в перспективе может быть разработан и введен в Российской Федерации.
Ключевые слова: оценивание, японский язык, уровень владения иностранным языком, олимпиада по иностранному языку, олимпиада «Учитель школы будущего»
Для цитирования: Тарева Е.Г., Федянина В.А., Мизгулина М.Н. Разработка системы оценивания уровня владения японским языком участников олимпиады // Язык и культура. 2023. № 61. С. 306-323. doi: 10.17223/19996195/61/17
Original article
doi: 10.17223/19996195/61/17
Developing a system for evaluating Japanese language proficiency levels in language olympiad participants
Elena G. Tareva1, Vladlena A. Fedianina2, Maria N. Mizgulina3
123 Moscow City University, Moscow, Russia 1 tarevaeg@mgpu.ru 2fedyaninava@mgpu. ru 3 mizgulinamn@mgpu.ru
Abstract. The purpose of the paper is to present the experience of developing a system for assessing the level of Japanese language proficiency, systematized from the point of view of both theoretical, methodological, and practical understanding. The system is presented in the context of organizing competitions and Olympiads to identify linguistically gifted students.
Current methods and approaches to language learning and teaching place a heavy emphasis on improving the evaluation systems used in various foreign language school Olympiads.
A foreign language Olympiad is a form of control and an evaluation procedure that produces an objective picture of how much knowledge, skills and abilities students have managed to build into their communicative competence.
The objectivity of this procedure is achieved using an appropriate evaluation system designed as a set of interconnected and interdependent criteria, methods, and other means to ascertain students' mastery of the foreign language course content.
The article describes the original evaluation system for measuring Japanese language competency in high school students taking part in the annual foreign language
Olympiad The Future School Teacher, conducted by the Moscow City University. The authors provide theoretical foundations for the proposed evaluation system, outline its structure, and give recommendations on conducting similar foreign language proficiency tests for schoolchildren. The research methods included comparative analysis of national and global approaches to assessing foreign language proficiency levels and corresponding normative documents for educators; comprehensive analysis, classification and structuring of factual information and statistical data; content analysis of The Future School Teacher Olympiad materials; modeling of the proposed evaluation system and measuring its effectiveness; surveys, methods of mathematical statistics and data processing, etc. The resulting three-tier evaluation system combines content-and-goals level, technological level, and instrumental level.
The study used such methods as a comparative analysis of domestic and foreign approaches to assessing the levels of foreign language proficiency, regulatory documents in the field of education; complex analysis, classification and structuring of information and statistical data; content analysis of the materials of the Olympiad The Future School Teacher; modeling of the assessment system; monitoring the effectiveness of the assessment system; surveys, methods of mathematical statistics for processing the received data. Using these methods, a three-level system was developed and theoretically described, which includes content-target, instrumental and criteria-technological levels.
The content-target level of the assessment system contains information about the target orientation of the procedures for assessing the level of student's knowledge of the Japanese language. The goal in the aspect of evaluation appears as a set of descriptors of those actions in all types of speech activity that the participant of the Olympiad demonstrates.
The instrumental level of the assessment system includes a set of tasks during which the participant of the Olympiad can demonstrate his communication skills. Olympiad-type tasks are compiled based on the selected language and speech material and the descriptor characteristics of Japanese language proficiency levels, taking into account special assessment criteria.
Criteria-technological level demonstrates the evaluation criteria, due to the peculiarities of the Japanese language and the structure of tasks.
The system is most effective if used to evaluate language proficiency levels in students participating in school Olympiads on hieroglyphic languages, though it can also serve as the basis for developing Unified State Exam tests on the Japanese language, which may eventually be introduced in Russian comprehensive schools.
Keywords: evaluation, Japanese language, foreign language proficiency, foreign language Olympiad, The Future School Teacher language Olympiad
For citation: Tareva E.G., Fedianina V.A., Mizgulina M.N. Developing a System for Evaluating Japanese Language Proficiency Levels in Olympiad Participants. Language and Culture, 2023, 61, рр. 306-323. doi: 10.17223/19996195/61/17
Введение
Олимпиада по иностранному языку - форма контроля и оценивания, которая позволяет сделать объективный срез знаний, навыков и умений, входящих в состав коммуникативной компетенции обучающихся. Объективность такого среза обеспечивается системой оценивания, включающей в себя совокупность взаимосвязанных и взаимозависимых критериев, методов, средств выявления качества освоения обу-
чающимися предметного содержания, применительно к иностранному языку - качества и уровня сформированности различных компонентов иноязычной коммуникативной компетенции.
В области обучения европейским языкам система оценивания достаточно хорошо исследована и формализована как на уровне теоретического описания, так и с точки зрения представления технологии ее проведения и анализа полученных данных. Существующая система подчиняется принципу ориентации на дескрипторное описание планируемых показателей уровней владения иностранным языком - от А1 до С2. Она положена в основу множества международных экзаменов, успешно применяющихся на просторах Европейского союза и некоторое время использовавшихся в российском образовательном пространстве (в основном в вузах). В настоящее время в высшей школе нашей страны грядут серьезные изменения, связанные с разработкой российской системы оценки уровня владения иностранными языками, учитывающей не только зарубежный опыт его (уровня) выявления, но и привносящей в процесс оценивания национальную специфику, а именно учет потребностей российских обучающихся и работодателей.
Сформировавшаяся система оценивания активно используется в ходе организации и проведения различных конкурсных испытаний, нацеленных на выявление лингвистически одаренных обучающихся, осваивающих иностранные языки: при проведении олимпиад, при организации международных, всероссийских, региональных, муниципальных конкурсов. Хорошо известен и описан опыт применения системы оценивания таких состязаний в различных образовательных условиях: в школе, языковом, неязыковом вузах, применительно к обучению русскому языку как иностранному (см., например, [1]).
В отношении обучения восточным языкам - китайскому, корейскому, японскому - разработанная система оценивания может быть использована только при условии ее адаптации к особенностям этих языков, при учете специфических параметров уровней владения данными языками. Отдельные шаги в этом направлении уже сделаны [2-6]. Несмотря на наличие отдельных исследований, посвященных олимпиад-ным заданиям по восточным (китайскому, японскому) языкам, приходится констатировать, что система оценивания уровней владения данными языками, используемая в форматах конкурсов и олимпиад, требует теоретического осмысления и обоснования. Это необходимо для повышения объективности контроля и оценки и при этом повышения/усиления мотивации и интереса одаренных школьников к совершенствованию коммуникативной компетенции, необходимой для применения восточных языков как полноценных инструментов межкультурного общения.
В контексте сказанного значимым становится фундаментализа-ция (теоретико-методологическое обоснование) успешного опыта проведения олимпиады по японскому языку в Институте иностранных языков Московского городского педагогического университета (МГПУ) как компонента олимпиады по иностранным языкам «Учитель школы будущего» (далее - олимпиада), которая входит в перечень конкурсов и олимпиад для школьников, утвержденный Министерством просвещения Российской Федерации. Данная Олимпиада проводится начиная с 2009 г. среди обучающихся 2-11-х классов и предусматривает оценивание уровней владения европейскими (английский, испанский, немецкий, французский), а также восточными (китайским и японским) языками (подробнее см. [7]). Конкурс по японскому языку впервые прошел в 2018 г., он охватил школьников 8-11-х классов различных регионов России.
К настоящему моменту накоплен определенный теоретический и практический материал, который может быть обобщен и представлен в виде целостной системы оценивания уровня владения японским языком школьниками. Распространение такого опыта способно обеспечить организацию и проведение олимпиад по восточным языкам в различных образовательных условиях - в школе, вузах, системе дополнительного образования - с учетом научно обоснованных принципов, способов организации деятельности обучающихся и с учетом научно выявленных критериев и показателей сформированности способности школьников оперировать восточным языком.
Настоящая статья посвящена описанию данного опыта и его теоретическому обобщению. Она включает в себя научно-теоретическое обоснование системы оценивания, описание самой системы и представление результатов ее реализации с формулированием конкретных рекомендаций для проведения аналогичных испытаний для школьников, изучающих японский язык.
Объектом исследования является процесс оценивания уровня владения японским языком в ходе организации и проведения языкового конкурса. Предмет исследования - оригинальный подход к разработке системы оценивания уровня владения японским языком и описание результативности этого подхода на примере проведения олимпиады. Цель исследования - представить оригинальную научно обоснованную систему оценивания уровня владения школьниками японским языком и показать возможность ее реализации применительно к разработке заданий олимпиады. Методы исследования - сравнительно-сопоставительный анализ отечественных и зарубежных подходов к оцениванию уровней владения иностранными языками, нормативных документов в сфере образования; комплексный анализ, классификация и структуризация информационных и статистических данных; контент-анализ ма-
териалов олимпиады; критический анализ опыта; моделирование системы оценивания; мониторинг результативности системы оценивания; опросы, статистическая обработка полученных данных.
Методология исследования
Оценивание в системе обучения иностранным языкам занимает особое место. Оно включено в подструктуру «контроль» и призвано обеспечить выявление уровня владения иностранным языком/формирования иноязычной коммуникативной компетенции с учетом объективных критериев и показателей. Оценивание в общеобразовательной практике - это процедура проведения контролирующих мероприятий, нацеленных на выявление уровня соответствия способности и готовности обучающихся в области предметной деятельности (предметные результаты), личностных качеств и свойств (личностные результаты) и метапредметных знаний и способностей (метапредметные результаты). Процедура оценивания должна соответствовать необходимым характеристикам, таким как полнота охвата показателей, объективность проведения, соответствие нормативным требованиям, ориентация на показатели и критерии, соответствие условиям организации и пр. Процесс оценивания («эвалюации») должен охватывать множество параметров, начиная от целеполагания, определения методологического подхода, выбора методов сбора информации, анализа информации, разработки инструментария, анализа данных и пр. Для этого используется аппарат педагогических измерений и статистических методов.
Применительно к обучению иностранным языкам теория контроля и оценивания в целом сформирована и сформулирована в линг-водидактических исследованиях. Несмотря на сложившиеся классические научно-теоретические установки, данная теория требует периодического пересмотра, при всей своей консервативности она должна учитывать объективно происходящие трансформации лингвообразователь-ных систем, особенно в направлении их соответствия изменениям па-радигмальных установок [8, 9].
В частности, активно пересматривается проблема контроля, предлагаются его новые формы и способы, обусловленные влиянием антропоцентрической образовательной парадигмы и, соответственно, ориентированные на учет индивидуальных (субъектных) особенностей обучающихся (об этом подробнее см. [10]). Оценивание в структуре контроля является гибким инструментом, который ориентируется на изменения в федеральных государственных образовательных стандартах (ФГОС) и одновременно основан на сложившихся в последние два десятилетия традициях. Последние соотносятся с концепцией выявления уровней владения иностранным языкам согласно установленным
планируемым результатам (в формате дескрипторов). Именно таким образом формируется и при необходимости изменяется концепция ОГЭ и ЕГЭ для общеобразовательных школ. Эта же идея лежит в основе системы оценивания уровней владения иностранными языками в вузах (языковых и неязыковых) и в дополнительном (неформальном) образовании.
При учете сформированных практически ориентированных решений (практик) следует указать на то, что в общеметодологическом контексте рассмотрения проблема оценивания в лингводидактике квалифицируется как одна из наиболее трудных для решения, спорных для обсуждения в научном сообществе и консервативной, инертной с точки зрения поиска путей и способов ее модернизационного решения. Кроме того, данная проблема усложняется в связи с особенностями иностранного языка, уровень владения которым подлежит оцениванию. В частности, применительно к восточным языкам сложность решения данной проблемы заключается в необходимости отхода от универсальности параметров уровней владения иностранными языками, поскольку для группы таких языков ориентир исключительно на опыт оценивания языков европейских не является валидным. Требуется трансформация системы оценивания с учетом особенностей этих языков.
Сложность теоретико-методологического осмысления проблемы оценивания уровней владения обучающимися восточными языками (в исследовании рассмотрению подлежит японский язык) заключается в относительно небольшом опыте описания методики обучения этим языкам. Применительно к обучению японскому языку слабая разработанность методических проблем обусловлена недолгой историей преподавания японского языка в школах России. Впервые в нашей стране он стал частью образовательной школьной программы только в 1987 г. в школе Владивостока; в Москве японский язык был введен в 1991 г. в экспериментальном московском лицее с востоковедческим уклоном. На сегодняшний день специфические особенности сферы преподавания японского языка, такие как малочисленность школ, реализующих требования ФГОС, увеличение удельного веса учреждений дополнительного образования, в том числе в онлайн-формате, позволяют сделать умозаключение об относительно ограниченных возможностях выдвижения единых требований к оцениванию способности обучающихся к оперированию японским языком. С учетом данных обстоятельств оказывается сложно реализуемой задача установления объективных параметров для выявления лингвистически одаренных обучающихся в рамках проведения конкурсных испытаний по японскому языку, в частности при организации олимпиады.
Попытки теоретического осмысления данной проблемы в линг-водидактических исследованиях на сегодняшний день связаны с изучением проблем:
- выявления уровней владения японским языком;
- разработки заданий для оценивания этих уровней;
- представления формата конкурсного испытания (олимпиады), направленного на оценивание уровней владения японским языком среди лингвистически одаренных школьников.
Далее каждое из направлений представлено обособленно. Взятые в совокупности данные аспекты призваны обосновать основы системы оценивания уровня владения японским языком, показать возможность ее технологического применения в ходе организации и проведения олимпиады и послужить базой для перспективных исследований - теоретических и практических - применительно как к японскому, так и другим восточным языкам.
Исследование и результаты
Проблемы оценивания уровня владения школьниками японским языком в рамках проведения языковой олимпиады
Олимпиады для школьников являются эффективным средством оценки, позволяющим объективно (внешними экспертами) сравнивать и сопоставлять результаты обучения в общеобразовательных школах и в организациях дополнительного образования. Лингвистически одаренные школьники имеют возможность участвовать в олимпиадах на знание иностранных языков, позволяющих выявить уровень владения языком и продемонстрировать степень его (уровня) соответствия требуемым (ожидаемым) результатам. Со стороны школьников знакомство и участие в вузовских олимпиадах может рассматриваться как элемент профессиональной ориентации, что позволяет говорить о таких испытаниях как об одном из звеньев в цепи непрерывного образования.
Особенности олимпиады по японскому языку продиктованы как характеристиками языка, так и его сегодняшним статусом в школах России, который не сопоставим с положением европейских языков. В подавляющем большинстве японский изучается как второй или третий иностранный язык, в то время как европейский язык изучается в абсолютном большинстве как первый иностранный язык. Это означает, что количество учебных часов, предназначенных для японского языка, может отличаться (в плане меньшего объема) в несколько раз.
Отличия, выделяющие японский язык среди других иностранных языков, рассматриваются на нескольких уровнях. Во-первых, это отличия планируемых уровней владения языками. Ввиду объективных ограничений количества часов для изучения ожидаемый уровень владения японским языком - средний между уровнями N5 (согласно СЕБЯ - А1-А2) и N4 (согласно СЕБЯ - А2-В1) сертификационного
экзамена по японскому языку Japanese Language Proficiency Test (далее - JLPT) [11]. Во-вторых, существуют отличия на уровне нормативных требований. В образовательных организациях, где преподается японский язык, отсутствуют единые требования, нормативно закрепленные в ФГОС и примерных программах. В учреждениях дополнительного офлайн- и онлайн-образования, число которых за последние годы значительно увеличилось, нормативные требования вовсе размыты, они не единообразны, их формализовать с целью анализа и сопоставления крайне сложно. Отсюда - трудности фиксации уровня владения японским языком, который может и должен быть выявлен при проведении олимпиады. В-третьих, имеют место отличия на уровне учета требований стандартизированных экзаменов по японскому языку. Опора на JLPT дает представление лишь о примерных и весьма приблизительных рамках владения языком. В нем отсутствует точный перечень языковых единиц и элементов, владение которыми ожидается для определения уровней JLPT N5 и N4, не учитываются особенности сложностей японского языка для русскоязычных обучающихся, отсутствуют как культу-росообразный, так и межкультурно значимый компоненты.
Перечисленные трудности обусловливают необходимость разработки оригинальной системы оценивания уровней владения японским языком участников олимпиады. Данная система предполагает разработку: 1) уровней владения японским языком; 2) критериев оценивания уровней владения японским языком; 3) заданий для определения уровней владения японским языком; 4) процедуры оценивания уровня владения японским языком.
Система оценивания уровней владения японским языком участников олимпиады «Учитель школы будущего»
Система оценивания уровня владения российскими школьниками японским языком состоит из трех уровней.
1. Содержательно-целевой уровень. Цель системы оценивания заключается в объективном оценивании уровня владения японским языком школьниками, выявляемого в ходе олимпиады. Данная цель определяет содержание системы оценивания - дискрипторно представленные уровни владения школьниками японским языком. Разработанные дескрипторы отражают уровень владения японским языком (по его основным аспектам) российскими школьниками, проверяемый в ходе олимпиады. При составлении дескрипторной характеристики авторы ориентировались на усредненный показатель, выведенный из учета характеристик и особенностей уровней N5 и N4 (JLPT), с одной стороны, и А1-В1 (CEFR) - с другой [12]. Одновременно во внимание были приняты следующие данные: личный опыт разработчиков олимпиады в
области преподавания японского языка в общеобразовательной школе, опрос и беседы со школьными учителями, результаты контент-анализа школьных программ (основного и дополнительного образования), материалы учебников, используемых в школе.
Проектирование и моделирование уровней владения японским языком участниками олимпиады основаны:
- на результатах сопоставительного анализа систем выделения и описания уровней владения иностранным языком, принятыми в России и за рубежом и представленные в документах: «Общеевропейские компетенции владения иностранным языком» (СЕБЯ), «Российский тест по русскому языку как иностранному» (ТРКИ) и «Стандарт Японского фонда для обучения японскому языку» (результаты подробно изложены
в [13]);
- данных контент-анализа уровней владения японским языком и модели описания уровней владения японским языком, предложенной в «Стандарте Японского фонда для обучения японскому языку» [14];
- итогах проведенного диагностического исследования, в котором приняли участие 69 школьников 7-11-х классов средних школ; 112 студентов Московского городского педагогического университета (МГПУ), изучающих японский язык и ставших участниками конкурса среди студентов Института иностранных языков МГПУ; 20 обучающихся в системе дополнительного образования;
- апробации уровней в ходе проведения олимпиады «Учитель школы будущего» для школьников (50 человек) и тестирования студентов МГПУ, изучающих японский язык, 1-х и 2-х курсов (60 человек).
На выявление уровней, планируемых к оцениванию в ходе олимпиады, влияют особенности японского языка, среди которых следует отметить специфическую систему письменности, несколько разновидностей лексики, сложную иерархию межличностных отношений в японском социуме, выраженную в обилии грамматических категорий вежливости и т.п. (об этом подробно см. [15]). Система письменности японского языка представляет собой комплекс графостилистических элементов, включающих в себя иероглифы китайского происхождения, два варианта записи японской азбуки, арабские цифры, а также латиницу.
Данные особенности предопределили важное положение: обучающийся может приступить к освоению базового уровня владения японским языком (согласно СЕБЯ - А2) только после изучения на элементарном уровне (согласно СЕБЯ - А1) обоих вариантов записи азбук и овладения более чем нескольким десятками иероглифами. Сказанное существенным образом отличает ситуацию обучения японскому языку от контекста преподавания языков европейских, для которых достижение уровня А2 сопряжено со значительно меньшими трудовыми и временными затратами. С учетом этих обстоятельств для олимпиадных заданий должен быть из-
бран уровень, промежуточный между JLPT N5 и N4 (согласно CEFR - A2-B1) (дополнительные аргументы приведены в [16, 17]).
2. Инструментальный уровень. Этот уровень системы оценивания включает в себя совокупность заданий, в ходе выполнения которых участник олимпиады способен проявить свои коммуникативные способности. Задания олимпиадного типа составлены на основе отобранного языкового и речевого материала и дескрипторной характеристики уровней владения японским языком с учетом специальных критериев оценивания. Эти задания позволяют оценить уровень сформированно-сти коммуникативной компетенции (во всех ее составляющих: лингвистической, социолингвистической, прагматической и поликультурной), осваиваемой обучающимся в процессе овладения японским языком.
Совокупность заданий является центральным элементом в системе оценивания. Отбор языкового и речевого материала для разработки заданий осуществлялся согласно критериям, которые соответствуют общепризнанным в лингводидактике установкам (подробно об этом см. [17]). Задания составлены на основе принципов адекватности, надежности, валидности, простоты, стандартизации, однозначности, учета современных методических подходов, в соответствии с нормативной базой, а также с опорой на разработанные дескрипторные характеристики уровней владения японским языком для школьников 8-11-х классов. Тщательному анализу подвергся имеющийся опыт проведения олимпиады по японскому языку [5]. Задания представлены широким набором типов и видов, что обеспечивает разносторонний подход к оценке уровня владения японским языком школьников, а также всесторонний охват навыков и умений, подлежащих оценке (подробнее о заданиях см. [3, 5, 6]).
В рамках отборочного этапа олимпиады участники выполняют задания тестового типа. Это накладывает ряд ограничений на возможный формат заданий. В процессе дистанционного выполнения заданий является невозможным качественное выполнение и проверка заданий письменного характера. Следовательно, задания на проверку сформи-рованности продуктивных навыков и умений включены в задания финального этапа и оцениваются отдельно. В связи с отсутствием продуктивной устной речи (говорение) на отборочном этапе, блока «фонетика» также нет. Блоки «лексика», «грамматика» и «письменность», являясь взаимозависимыми и равнозначимыми для выявления уровня владения языком, входят в один макроблок.
Задания отборочного этапа разделяются на задания для проверки языковых навыков и речевых умений понимать информацию, воспринимаемую визуально (чтение) и на слух (аудирование). Рецептивная деятельность участников проверяется в равноценных по значимости блоках «аудирование» и «чтение». К языковым навыкам относится по-
нимание лексических единиц, грамматических конструкций и иероглифического письма. При этом в рамках выполнения заданий по грамматике, письму и лексике участники также применяют навыки и умения чтения.
С учетом особенностей инструментального уровня выделяются следующие основания для разработки комплекса заданий для оценивания обучающихся в ходе олимпиады:
- в макроструктуре заданий необходимо предусмотреть три блока: проверка языковых навыков, проверка речевых умений и проверка знаний о культуре, традициях и географии Японии;
- блоки «языковые навыки» и «речевые умения» являются равноценными;
- блок «языковые навыки» состоит из следующих микроблоков: проверка понимания лексических единиц (блок «лексика»), проверка понимания иероглифики (блок «иероглифы»), проверка понимания грамматических конструкций (блок «грамматика»);
- оценивание микроблоков должно проходить постепенно, исходя из объема блоков: «грамматику» необходимо оценивать ранее «иероглифов», а «иероглифы» - ранее «лексики»;
- блок «речевые умения» состоит из микроблоков на проверку сформированности навыков понимания аудио (блок «аудирование») и сформированности навыков чтения (блок «чтение»);
- блок «чтение» по объему значительно меньше блока «аудирование», поскольку задания из блока «языковые навыки» тоже включают в себя чтение;
- блок «чтение» в силу объема должен оцениваться так же, как и блок «лексика»;
- блок «культура» должен быть равноценен блоку «чтение» и блоку «лексика».
Задания заключительного этапа направлены на выявление лингвистически одаренных обучающихся. Для этого применяются творческие задания, предполагающие продуцирование письменной и устной речи. Письменный тур заключительного этапа включает в себя выполнение заданий, направленных на проверку понимания устной речи (аудирование) и письменной речи (чтение), продуцирование письменной речи (сочинение). Устный тур заключительного этапа включает в себя задание на проверку умения продуцирования (в монологической и диалогической формах) и понимания устной речи. На выполнение заданий письменного тура участникам отводится 90 минут, на выполнение задания устного тура без учета времени на подготовку - 20 минут. Тем самым структура заключительного этапа олимпиады совпадает со структурой заданий Всероссийской олимпиады по иностранным языкам. Подключение зада-
ний блока «говорение» позволяет максимально точно оценить уровень владения японским языком участников. В рамках финального (очного) этапа олимпиады целесообразно объединение блоков «лексика», «грамматика» и «иероглифика» в один блок, поскольку формат очного этапа и отсутствие технических ограничений системы тестирования позволяют интегрировать эти виды заданий друг в друга и использовать больше типов заданий.
3. Критериально-технологический уровень. Технология как компонент системы оценивания уровня владения японским языком направлена на выявление критериев оценивания - объективных показателей, по которым определяется владение языком школьниками - участниками олимпиады. При разработке критериев учету подлежали особенности японского языка и структуры заданий. В ходе выявления критериев минимизировано влияние субъективного мнения членов жюри на выставляемое количество баллов в части оценивания продуктивных видов речевой деятельности на заключительном этапе [4].
На этом же уровне учтен балльный принцип оценивания различных блоков заданий. В ходе отборочного этапа принято следующее распределение баллов: за блок «лексика» начисляется 10 баллов, за блок «иероглифика» - 15, за блок «грамматика» - 20, за блок «аудирование» - 35, за блок «чтение» - 10, за блок «культура» - 10 баллов. За выполнение заключительного этапа начисляются следующие баллы: за блок «лексика/иероглифика, грамматика» - 20 баллов, за блок «аудирование» - 20, за блок «чтение» - 20, за блок «письменная речь» - 20, за блок «говорение» - 20 баллов.
Апробация системы оценивания уровня владения школьниками в ходе проведенияоОлимпиады «Учитель школы будущего»
Апробация системы оценивания проходила в рамках проведения олимпиады по японскому языку с 2018 по 2020 г. (всего участвовало 117 и 128 человек соответственно). Сравнительный анализ статистических данных (сравнение успеваемости участников олимпиады за два года; анализ распределения баллов по заданиям; распределение баллов участников на шкале времени) при проведении отборочного и заключительного этапов показал, что в целом разработанная система оценивания может быть признана продуктивной для проведения школьных олимпиад по японскому языку. Позитивные результаты подтверждены тем фактом, что более 50% участников успешно справились с заданиями, а опора на разработанную дескрипторную характеристику уровня владения японским языком для школьников дала безусловно положительный результат.
В то же время стала очевидной необходимость проведения некоторых корректировок в системе заданий и критериев оценивания. В частности, произведена корректировка общего количества заданий в сторону их увеличения. Вследствие этого была переработана система распределения баллов. В олимпиаде 2019/20 учебного года уменьшилось количество трудоемких и сложных заданий, оцениваемых в 5 баллов, но заметно выросла доля заданий, оцениваемых в 1, 2 и 3 балла. Особенной коррекции потребовали задания на проверку сформирован-ности умений чтения в отборочном этапе, поскольку статистика показала, что процент их выполнения был значительно ниже процента выполнения других заданий. Данные, касающиеся времени, которое тратили участники на чтение, позволили сделать выводы о чрезмерной сложности заданий, включающих в себя умение оперировать языковой догадкой и пользоваться фоновыми знаниями.
Опрос учителей японского языка из Лицея НИУ ВШЭ (Москва), ГБОУ Москвы «Школа № 1593», ГБОУ Школа «Покровский квартал» (2095), ГБОУ Москвы «Школа № 1440», ГБОУ СОШ № 583 (Санкт-Петербург), ГБОУ СОШ № 83 (Санкт-Петербург), проведенный после получения статистических данных, подтвердил результативность системы и необходимость определенной ее корректировки. Стало очевидным, что сама система является рабочей, воспроизводимой, эффективной с точки зрения поставленных для решения задач. Изменения оказались необходимыми лишь на инструментальном и критериально-технологическом уровнях, потребовавших диспозицию заданий и незначительную трансформацию баллов.
Опрос членов жюри олимпиады показал, что в целом критерии и средства оценивания уровня сформированности иноязычной коммуникативной компетенции у школьников валидны, однако в отношении оценивания продуктивных умений речевой деятельности они чрезмерно трудозатратны. Наибольшую трудность представлял подсчет баллов при оценивании степени соответствия письменной и устной речи участников олимпиады лексико-грамматическим нормам японского языка. В помощь членам жюри были разработаны бланки оценивания продуктивных навыков и умений.
Олимпиада в целом продемонстрировала продуктивность и действенность сформированной системы оценивания. Предложенные задания представлены различными типами и видами; они являются эффективным инструментом оценки различных видов речевой деятельности и определения уровня владения японским языком школьников.
Заключение
Опыт организации и проведения в МГПУ олимпиады для школьников «Учитель школы будущего» (входит в Перечень олимпиад
школьников, дающих льготы при поступлении в вузы России) позволяет делать значимые обобщения, которые необходимо учитывать при организации подобных оценивающих процедур по различным иностранным языкам, в том числе японскому. В результате исследования, проведенного коллективом авторов, была разработана инновационная система оценивания уровня владения японским языком, проверенная опытным путем в ходе проведения олимпиады «Учитель школы будущего». Результаты апробации подтвердили, что разработанная система оценивания уровня владения российскими школьниками 8-11-х классов японским языком является эффективным средством выявления и измерения компонентов иноязычной коммуникативной компетенции обучающихся.
В результате разработки системы оценивания предлагаются следующие рекомендации.
1. В условиях отсутствия единой школьной программы и единых стандартов по обучению иностранному языку организаторам различных конкурсов и олимпиад, а также школьным учителям рекомендуется опираться на отобранный языковой и речевой материал, на разработанную дескрипторную характеристику уровня владения японским языком для школьников 8-11-х классов в целях:
- определения необходимого объема знаний, умений и навыков, уровня коммуникативной компетенции, которые школьники должны приобрести в процессе обучения японскому языку;
- использования в качестве основных критериев отбора учебников и других дидактических материалов по японскому языку в школе;
- использования в качестве отправной точки для разработки заданий для олимпиад и конкурсов по японскому языку для школьников.
2. Необходимо положить отобранный языковой и речевой материал, разработанную дескрипторную характеристику и систему заданий в основу для создания структуры и содержания заданий единого государственного экзамена по японскому (возможно, корейскому) языку, который в перспективе может быть разработан и введен в Российской Федерации.
3. Рекомендуется при оценивании участников конкурсов выбирать критериальный, а не экспертный вид оценивания.
4. Следует использовать в состязаниях по японскому языку для выявления лингвистически одаренных детей не только традиционную форму оценивания (тестирование), но и творческие задания на продуцирование устной и письменной речи.
5. Возможно применение критериев оценивания в широком контексте преподавания восточных языков в школах, вузах, организациях дополнительного образования, поскольку разработанные критерии оценивания продуктивных речевых умений универсальны.
6. Одним из возможных путей использования полученных результатов апробации системы олимпиадных заданий и критериев их оценивания видится создание отдельной веб-страницы (или ряда страниц) с методическими рекомендациями как для будущих участников олимпиады, так и для их учителей.
Список источников
1. Зорина В. В. Конкурсы и олимпиады по русскому языку как средство формирования коммуникативной компетенции иностранных обучающихся // Современные гуманитарные исследования. 2020. № 1 (92). С. 34-38.
2. Круглов В.В. Всероссийская олимпиада школьников по китайскому языку: угрозы и вызовы // Международный форум восточных языков и культур. Актуальные вопросы преподавания китайского и других восточных языков в XXI веке : сб. ст. и докл. участников форума, Казань, 26-28 апреля 2018 г. Казань : Фэн, 2018. С. 103-109.
3. Мизгулина М.Н., Федянина В.А Задания для школьной олимпиады по японскому языку (на примере олимпиады «Учитель школы будущего») // Японский язык в вузе: актуальные проблемы преподавания : материалы 2-й Международной науч.-практ. конф. / отв. ред. Л.Т. Нечаева. М. : Ключ-С, 2020. № 21. С. 152-159.
4. Савинская А. В. Критерии оценивания продуктивных видов речевой деятельности (на примере олимпиады по японскому языку, проводимой в рамках олимпиады «Учитель школы будущего») // Иностранные языки в школе. 2021. № 4. С. 74-82.
5. Буландо Р.И., Мозгунова А.Д. Составление олимпиадных заданий по японскому языку // Иностранные языки в школе. 2021. № 1. С. 79-84.
6. Буландо Р.И., Кузнецова С.М., Мизгулина М.Н., Федянина В.А Японский язык: примеры заданий олимпиадного формата // Иностранные языки в школе. 2019. № 12. С. 28-35.
7. Бажанов А.Е., Николаева В.В. Всероссийская олимпиада по иностранным языкам «Учитель школы будущего»: новые перспективы // Иностранные языки в школе. 2014. № 12. С. 57-60.
8. Тарева Е.Г. Эволюция лингводидактики: от классического к постнеклассическому измерению // Магия ИННО: новое в исследовании языка и методике его преподавания : материалы Второй науч.-практ. конф., Москва, 24-25 апреля 2015 г. / отв. ред. Д.А. Крячков. М. : МГИМО, 2015. С. 239-244.
9. Tareva E.G., Tarev B.V. The assessment of students' professional communicative competence: new challenges and possible solutions // XLinguae. 2018. Vol. 11, № 2. P. 758-767.
10. Тарева Е. Г. Инновационный потенциал лингвообразовательных традиций: компе-тентностно ориентированный контроль // Иностранные языки в школе. 2015. № 6. С. 3-8.
11. JF Standard for Japanese-Language Education. 2010. URL: https://jfstandard.jp/pdf/ jfs2010_all_en.pdf/ (дата обращения: 17.08.2022).
12. Абэ Х., Сконечный Т.Г. Дескрипторная характеристика уровня владения японским языком для учащихся 10 и 11 классов // Иностранные языки в школе. 2020. № 12. С. 70-76.
13. Деркач А. В, Тарева Е. Г. Сопоставительный анализ национальных систем уровней владения иностранным языком в аспекте унификации и вариативности // Вестник МГПУ. Серия: Филология. Теория языка. Языковое образование. 2021. № 3 (43). С. 95-104.
14. Абэ Х., Мисочко Г. О., Федянина В.А Модель описания уровней владения японским языком как иностранным, разработанная Японским фондом // Вестник МГПУ.
Серия: Филология. Теория языка. Языковое образование. 2022. № 3 (47). С. 130140.
15. Мизгулина М.Н. Как подготовить школьников к разделу «аудирование и понимание» пятого уровня экзамена JLPT // Иностранные языки в школе. 2018. № 6. С. 23-38.
16. Федянина В.А Деркач А.В., Мизгулина М.Н. Проектирование языкового портфеля для изучающих японский язык (уровни А1 и А2) // Вестник МГПУ. Серия: Филология. Теория языка. Языковое образование. 2021. № 4 (44). С. 92-100.
17. Тарева Е.Г., Федянина В.А., Мизгулина М.Н. Критерии отбора языкового и речевого материала при составлении олимпиадных заданий по японскому языку // Иностранные языки в школе. 2020. № 10. С. 85-91.
References
1. Zorina V.V. (2020) Konkursy i olimpiady po russkomu yazyku kak sredstvo formirovani-ya kommunikativnoy kompetentsii inostrannykh obuchayushchikhsya [Contests and olympiads in the Russian language as a means of forming the communicative competence of foreign students] // Sovremennyye gumanitarnyye issledovaniya. 1 (92). рр. 34-38.
2. Kruglov V.V. (2018) Vserossiyskaya olimpiada shkol'nikov po kitayskomu yazyku: ugro-zy i vyzovy [The all-Russian Chinese language Olympiad: threats and challenges] // Mezhdunarodnyy forum vostochnykh yazykov i kultur. Aktualnyye voprosy prepo-davaniya kitayskogo i drugikh vostochnykh yazykov v XXI veke, Kazan, 26-28 April 2018. Kazan: Tatarstan Academy of Sciences Fen Publishing House. рр. 103-109.
3. Mizgulina M.N, Fedyanina V.A (2020) Zadaniya dlya shkolnoy olimpiady po yaponsko-mu yazyku (na primere olimpiady "Uchitel shkoly budushchego") [Tasks for the School Olympiad in Japanese (on the example of the "Teacher of the School of the Future") olympiad] // Yaponskiy yazyk v vuze: aktualnyye problemy prepodavaniya: Yaponskij yazyk v vuze: aktual'nye problemy prepodavaniya: materialy 2-j Mezhdunarodnoj nauch.-prakt. konf. Moscow: Klyuch-S, 21. pp. 152-159.
4. Savinskaya A.V. (2021) Kriterii otsenivaniya produktivnykh vidov rechevoy deyatel'nosti (na primere olimpiady po yaponskomu yazyku, provodimoy v ramkakh olimpiady "Uchitel shkoly budushchego") [Criteria for evaluation of producing language activities (as exemplified by the Japanese language academic competition held as part of "Teacher of the School of the Future") olympiad)] // Inostrannyye yazyki v shkole. 4. рp. 74-82.
5. Bulando R.I., Mozgunova A.D. (2021) Sostavleniye olimpiadnykh zadaniy po yaponsko-mu yazyku [Preparation of Olympiad tasks in the Japanese language] // Inostrannyye yazyki v shkole. 1. pp. 79-84.
6. Bulando R.I., Kuznetsova S.M., Mizgulina M.N., Fedyanina V.A. (2019) Yaponskiy yazyk: primery zadaniy olimpiadnogo formata [Japanese language: examples of the Olympiad format tasks] // Inostrannyye yazyki v shkole. 12. pp. 28-35.
7. Bazhanov A.E., Nikolayeva V.V. (2014) Vserossiyskaya olimpiada po inostrannym yazykam "Uchitel shkoly budushchego': novyye perspektivy [All-Russian Olympiad in Foreign Languages "Teacher of the School of the Future": new prospects] // Inostrannyye yazyki v shkole. 12. pp. 57-60.
8. Tareva E.G. (2015) Evolyutsiya lingvodidaktiki: ot klassicheskogo k postneklassichesko-mu izmereniyu [Evolution of linguodidactics: from classical to post-nonclassical dimension] // Magiya INNO: novoye v issledovanii yazyka i metodike yego prepodavaniya: Proceedings of the 2nd Scientific and Practical Conference, Moscow, 24-25 April 2015. M.: Moscow State Institute of International Relations. pp. 239-244.
9. Tareva E.G., Tarev B.V. (2018) The assessment of students' professional communicative competence: new challenges and possible solutions // XLinguae. 11 (2). pp. 758-767.
10. Tareva E.G. (2015) Innovatsionnyy potentsial lingvoobrazovatelnykh traditsiy: kompe-tentnostno oriyentirovannyy control [Innovative potential of language forming traditions: competence oriented control] // Inostrannyye yazyki v shkole. 6. pp. 3-8.
11. JF Standard for Japanese-Language Education. 2010 [Electronic Source]. URL: https://jfstandard.jp/pdfjfs2010_all_en.pdf/ (Accessed: 17.08.2022).
12. Abe H., Skonechnyy T.G. (2020) Deskriptornaya kharakteristika urovnya vladeniya ya-ponskim yazykom dlya uchashchikhsya 10 i 11 klassov [The descriptive scale of the Japanese language proficiency for high school students] // Inostrannyye yazyki v shkole. 12. pp. 70-76.
13. Derkach A.V., Tareva E.G. (2021) Sopostavitelnyy analiz natsionalnykh sistem urovney vladeniya inostrannym yazykom v aspekte unifikatsii i variativnosti [Levels of language proficiency: a comparative overview] // Vestnik MGPU. Seriya: Filologiya. Teoriya yazyka. Yazykovoye obrazovaniye. 3 (43). pp. 95-104.
14. Abe H., Misochko G.O., Fedyanina V.A. (2022) Model opisaniya urovney vladeniya ya-ponskim yazykom kak inostrannym, razrabotannaya Yaponskim fondom [The levels of Japanese language proficiency: a description model designed by the Japanese foundation] // Vestnik MGPU. Seriya: Filologiya. Teoriya yazyka. Yazykovoye obrazovaniye. 3 (47). pp. 130-140.
15. Mizgulina M.N. (2018) Kak podgotovit shkolnikov k razdelu "audirovaniye i ponima-niye" pyatogo urovnya ekzamena JLPT [How to prepare school students for the JLPT n5 listening comprehension] // Inostrannyye yazyki v shkole. 6. pp. 23-38.
16. Fedyanina V.A., Derkach A.V., Mizgulina M.N. (2018) Proyektirovaniye yazykovogo portfelya dlya izuchayushchikh yaponskiy yazyk (urovni A1 i A2) [Designing language portfolio for Japanese language] // Vestnik MGPU. Seriya: Filologiya. Teoriya yazyka. Yazykovoye obrazovaniye. 4 (44). pp. 92-100.
17. Tareva E.G, Fedyanina V.A, Mizgulina M.N. (2018) Kriterii otbora yazykovogo i re-chevogo materiala pri sostavlenii olimpiadnykh zadaniy po yaponskomu yazyku [The selection criteria for the language learning materials to create tasks for the Japanese language competition] // Inostrannyye yazyki v shkole. 10. pp. 85-91.
Информация об авторах:
Тарева Е.Г. - доктор педагогических наук, профессор, директор Института иностранных языков, Московский городской педагогический университет (Москва, Россия). E-mail: tarevaeg@mgpu.ru
Федянина В. А. - кандидат исторических наук, доцент, заведующая кафедрой японского языка Института иностранных языков, Московский городской педагогический университет (Москва, Россия). E-mail: fedyaninava@mgpu.ru
Мизгулина М.Н. - ассистент кафедры японского языка Института иностранных языков, Московский городской педагогический университет (Москва, Россия). E-mail: mizgulinamn@mgpu.ru
Авторы заявляют об отсутствии конфликта интересов. Information about the authors:
Tareva E.G., D.Sc. (Education), Professor, Head of the Institute of Foreign Languages, Moscow City University (Moscow, Russia). E-mail: tarevaeg@mgpu.ru
Fedianina V.A., Ph.D. (History), Associate Professor, Head of the Department of Japanese Language, Institute of Foreign Languages, Moscow City University (Moscow, Russia). Email: fedyaninava@mgpu.ru
Mizgulina M.N., Assistant of Department of Japanese Language, Institute of Foreign Languages, Moscow City University (Moscow, Russia). E-mail: mizgulinamn@mgpu.ru
The authors declare no conflicts of interests.
Поступила в редакцию 26.10.2022; принята к публикации 10.01.2023 Received 26.10.2022; accepted for publication 10.01.2023
