CC BY
359
УДК 373.167.1
СОВРЕМЕННЫЕ ПОДХОДЫ К ВЫДЕЛЕНИЮ КРИТЕРИЕВ ОЦЕНКИ И ПОКАЗАТЕЛЕЙ УРОВНЯ СФОРМИРОВАННОСТИ КОМПОНЕНТОВ МЕЖКУЛЬТУРНОЙ КОМПЕТЕНЦИИ
© Виктория Викторовна ФИЛОНОВА
Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, аспирант, кафедра лингвистики и лингводидактики,
e-mail: [email protected]
Обсуждаются подходы к выделению критериев и показателей уровня сформированности меж-культурной компетенции. Анализируются основные характеристики тестовых заданий, такие как валидность и надежность. Проведен анализ зарубежных критериальных и поуровневых шкал оценивания, предлагаются собственные критерии и уровни сформированности межкультурной компетенции.
Ключевые слова: межкультурная компетенция; критерии оценки; уровень сформированности.
В теоретических работах по методике психолого-педагогических измерений выделяются валидность (validity) и надежность (raliability) как основные характеристики тестирования. Валидность показывает «что измеряет тест и насколько хорошо он это делает» [1]. Другими словами, речь идет о том, что эта характеристика показывает, насколько данное задание отвечает поставленным перед ним целям. Выделяют три вида валидности: 1) критериальную (или статистическую); 2) содержательную (или «валидность по объему»); 3) конструктивную валидность.
Содержательная валидность определяется тем, «насколько полно и всесторонне тест охватывает учебный материал, для проверки которого он сконструирован» [1]. Так, содержательная валидность заданий на контроль сформированности межкультурной компетенции предполагает наличие связи между требованиями, предъявляемыми в данных заданиях, и современными требованиями к уровню сформированности меж-культурной компетенции (МКК), рассматриваемыми в программах и стандартах.
Конструктивная валидность - «это степень обоснованности утверждения о том, что данный тест измеряет типическое свойство или состояние, отображаемое в данном конструкте» [2]. К конструктам межкультурной компетенции, по нашему мнению, можно причислить межкультурные знания, умения и отношения.
Критериальная валидность показывает, «насколько точно результаты по данному тесту могут быть использованы для опреде-
ления существующего состояния или же прогноза эффективности деятельности испытуемых в той или иной области» [1]. Иными словами данный вид валидности показывает соотносимость баллов или очков с критериями оценки межкультурной компетенции индивида. Для определения уровня сформированности МКК и отдельных ее компонентов необходимо установить критерии того или иного уровня в терминах знаний, отношений и умений каждого компонента МКК.
Другой характеристикой тестирования является надежность, под которой понимается постоянство или устойчивость оценок, получаемых при повторяющихся наблюдениях [3; с. 13]. Надежность определяется посредством анализа ответов испытуемых, полученных дважды в одних и тех же условиях. В результате данного анализа уточняются повторяющиеся ошибки и выявляются причины данных ошибок. Другими словами, надежность будет определять воспроизводимость результатов тестирования, их точность. Допустим, у нас есть гипотетическая группа испытуемых, которые немедленно забывают содержание теста по его завершении. Тогда, в случае надежного теста, повторяя тестирование многократно, мы должны получать одни и те же индивидуальные баллы. Для малонадежного теста результаты будут меняться каждый раз.
Выставление итоговой оценки после проведения тестирования, как правило, строится на основе соотносимости баллов, т. е. например, «15 баллов из 20» приравниваются оценке «5». Данный подход не учитывает
контекста изучения межкультурной компетенции, так для одной группы 15 баллов будет наименьшим баллом (не овладел межкультурной компетенцией), а для другой -наивысшим (овладел межкультурной компетенцией). Для решения данного вопроса необходимо подобрать такой инструмент, который сумеет выявлять и измерять как можно больше составных элементов межкуль-турной компетенции и одновременно будет достаточно точен, чтобы позволять осмысленным образом определять степень проявления общего понятия в единичном наблюдении. Иными словами, нужно такое средство, которое бы улавливало и отображало понятие межкультурной компетенции во всех деталях, а кроме того, показывало бы нам, какая доля этого понятия содержится в том или ином случае или ответе респондента. Одно из таких средств называется шкалированием.
Шкалирование - это процедура объединения ряда относительно узких показателей в единую суммарную меру, которая принимается за отображение более широкого основного понятия, частью которого является каждый отдельный признак [4; с. 250]. При оценивании уровня сформированности межкультурной компетенции представляет интерес шкалирование по Лайкерту (см.: [4]), которое использовалось в зарубежных инструментах межкультурной компетенции BASIC (1988), ICSI (1992), IDI (1993), AIC (2006) [5-8]. В соответствии с этой методикой каждому респонденту предъявляется некоторая серия утверждений (пунктов), требующих от него оценочных суждений. В каждом случае респонденту предлагается сказать, согласен (или полностью согласен) он или не согласен (или полностью не согласен) с приводимым утверждением. Каждому ответу приписывается определенная числовая оценка в диапазоне от 7 до 1 (7 - «полностью согласен», 1 -«полностью не согласен», 3 - «не имею определенного мнения»). Чтобы получить суммарную меру межкультурной компетенции, свойственной конкретному индивиду, нужно сложить все оценки, проставленные против его ответов, и сумму разделить на число утверждений (пунктов). Предполагается, что чем выше оценка, получаемая респондентом в рамках данной шкалы, тем большим количеством измеряемого признака (в нашем
случае - межкультурной компетенцией) он обладает.
Недостаток шкал этого типа состоит в том, что мы ничего не знаем о взаимодействии между отдельными компонентами шкалы. Каждый из них действительно может измерять разные аспекты одного и того же основного признака, и на первый взгляд так оно и есть, однако мы не можем быть в этом абсолютно уверены. Каким способом определяется суммарная (средняя) оценка? Мы просто складываем оценки отдельных пунктов и делим сумму на число пунктов. Но если поближе присмотреться к типам ответов (т. е. «полностью согласен», «не согласен» и т. д.), то мы обнаружим, что они представляют измерение на порядковом уровне. То есть они различают взаимоисключающие категории и упорядочивают их относительно друг друга (сообщают, в какой степени респондент согласен или нет с некоторым утверждением). Однако они не устанавливают известных и равных интервалов между собой (разница между «полностью согласен» и «согласен» не всегда одинакова, касается ли это разных пунктов шкалы или разных респондентов). И, следовательно, бессмысленно и некорректно складывать эти числа друг с другом, не говоря уже о том, чтобы их усреднять.
Решение данного вопроса ведется в употреблении шкал, состоящих из описания межкультурных знаний, умений, навыков в пределах того или иного уровня. Существуют два подхода в представлении критериев оценки уровня сформированности иноязычной коммуникативной компетенции: аналитический и целостный, которые можно частично использовать при изучении межкуль-турной компетенции.
При аналитическом подходе используются критериальные шкалы оценивания иноязычной коммуникативной компетенции, а также дается более детализированное описание критериев оценки. Данный подход предполагает наличие определенного количества баллов / очков по каждому из критериев [9, р. 172]. Оценка ответов учащихся одновременно по нескольким критериям позволяет более объективно оценить уровень сформи-рованности иноязычной коммуникативной компетенции. Такие критерии целесообразно применить и для межкультурной компетен-
ции. Критерии можно составить на основе компонентного состава межкультурной компетенции, а также требований к овладению данной компетенцией. Так, для инструмента оценивания Behavioral Assessment Scale for Intercultural Competence (BASIC, i988) [8] межкультурная компетенция оценивалась по следующим критериям: проявлять уважение, уметь взаимодействовать, ориентироваться на знания, обладать эмпатией, обладать толерантностью, самоориентироваться при ролевом поведении. А. Фантини [б], используя оценочный инструмент Assessment of Intercultural Competence (AIC), добавляет такие критерии, как: избегать необоснованных выводов и суждений, обладать осознанностью, обладать открытостью и гибкостью.
При целостном подходе используются поуровневые шкалы оценивания. Например, для оценивания иноязычной коммуникативной компетенции используют шкалу общеевропейских уровней владения иностранным языком: Breakthrough, Waystage, Threshold, Vantage, Effectiveness, Mastery. Поуровневая шкала оценки в большей степени направлена на общую характеристику уровня сформиро-ванности знаний, навыков и умений учащихся и может быть использована при написании общих рекомендаций к контрольным заданиям и тестам [10]. В интересах нашего исследования целесообразно использовать такие поуровневые шкалы для оценивания межкультурной компетенции испытуемых, т. е. оценивания уровня сформированности межкультурных знаний, умений, отношений. Каждому уровню оценивания соответствует описание знаний, умений, навыков, которыми овладел испытуемый. В качестве примера такого поуровневого шкалирования можно привести оценивание межкультурной компетенции AIC. А. Фантини выделяет следующие уровни овладения межкультурной компетенцией:
- образовательный турист - участники краткосрочных программ по обмену культурным опытом (4-б недель);
- культурный попутчик - более длительное культурное погружение: участники программ по обмену культурным опытом (4-8 месяцев) и студенты, обучающиеся в зарубежных колледжах;
- профессионал МКК - работник меж-культурной или поликультурной среды (шко-
ла международных тренингов, сотрудники и выпускники межкультурных проектов;
- специалист по межкультурному общению - работник по подготовке, обучению, консультированию международных студентов, зарубежных руководителей, тренеров по кросс-культурной коммуникации [6].
Поуровневые шкалы помогают оценить ответы испытуемых не только по общему среднему баллу (математическая обработка данных по шкале Лайкерта), а также исходя из характеристик каждого уровня (типа) овладения межкультурной компетенцией. Однако не все современные инструменты предлагают поуровневое оценивание межкуль-турной компетенции. Так, личность, по мнению М. Байрама (см.: [5]), обладающая меж-культурной компетенцией, наделена определенными качествами, однако автор не приводит уровней овладения (овладел в большей / меньшей / наименьшей степени) межкуль-турной компетенцией. Не приведены приме -ры такого шкалирования и для инструментов ICSI, IDI [5].
Анализ данного опыта привел нас к выводу о необходимости более подробного описания критериев в соотношении с оценкой межкультурной компетенции. Для этого мы использовали два подхода, описанных ранее. Так, поуровневая шкала, в нашем понимании, представляет собой базовый, промежуточный и продвинутый уровни овладения межкультурной компетенцией с соответствующими им дескрипторами:
- базовый - готовность успешно взаимодействовать с людьми других культур. Как правило, анализируется опыт общения с представителями других культур, в дальнейшем используя полученную информацию. Но еще не выработаны системы поведения в межкультурной ситуации в целом. На этом этапе достаточно терпим к другим ценностям, обычаям и традициям, хотя может считать их странными, одобрять или не одобрять их;
- промежуточный - в результате полученного межкультурного опыта и / или обучения, более согласованно воспринимаются аспекты межкультурных встреч. Наличие психической «карты» или «контрольных» ситуаций, с которыми, вероятно, придется иметь дело, и развитие необходимых для этого навыков. Понимание и умение адапти-
бб
роваться к требованиям в незнакомых ситуациях. Реакция на непонятные ситуации нейтральным образом вместо одобрения или отвержения;
- продвинутый - большинство компетенций, которыми овладевал сознательно на промежуточном уровне, стали интуитивными. Готовность к ситуациям, в которых проявятся необходимые знания, суждения и навыки, корректная реакция на различия в ценностях, обычаях и традициях. Принятие того факта, что люди могут видеть вещи с самых разных точек зрения, готовность поставить себя на место другого, принять чужую точку зрения, если это необходимо. При возникновении межкультурных трудностей готовность тактично объяснить проблему. Достаточная уверенность в своей позиции, сознание того, что является представителем родной культуры.
Критериальная шкала оценивания меж-культурной компетенции представляет собой не что иное, как требования к уровню освоения межкультурной компетенции, т. е. оценку знаний, умений, отношений по следующим критериям:
- знать о границах культуры, о характеристиках культуры, о типах взаимоотношения между культурами, критически осознавать культуру, осознавать собственный детерминированный взгляд на мир;
- уметь усваивать новые знания о культуре, устанавливать взаимоотношения, достигая уровня взаимопонимания, межкуль-турно адаптироваться, выступать в качестве представителя родной страны / культуры, интерпретировать культурные факты, события с позиции собственной системы ценностей, оценивать / анализировать поведение и ситуации с учетом соотношения культурных различий;
- обладать открытостью (к изучению других культур), любознательностью, уважением (по отношению к родной и другим культурам), эмпатией.
1. Рапопорт И.А., Сельг Р., Соттер И. Тесты в обучении иностранным языкам в средней школе / пособие для учителей. Таллин, 1987.
2. Анастази А. Психологическое тестирование. в 2 кн. М., 1982.
3. Рапопорт И.А. О валидности и надежности педагогических языковых тестов // Вопросы теории и практики языковых тестов. М., 1981.
4. Мангейм Дж.Б., Рич Р.К. Политология: методы исследования. М., 1997.
5. Sinicrope С., Norris J., Watanabe J. Understanding and Assessing Intercultural Competence: A Summary of Theory, Research, and Practice (Technical Report for the Foreign Language Program Evaluation Project). 2007. Vol. 26 (1). URL: http://www.hawaii.edu/sls/sls /?page_id=135 (дата обращения: 15.11.2012).
6. Fantini A.E. Exploring and assessing intercultural competence. Retrieved, 2007. URL: http:// www.sit.edu/publications/docs/feil_research_rep ort.pdf (дата обращения: 15.11.2012).
7. Norris J.M. The why (and how) of student learning outcomes assessment in college FL education // Modern Language Journal. 2006. № 90 (4).
8. Ruben B.D., Kealey D. Behavioral assessment of communication competency and the prediction of cross-cultural adaptation // International Journal of Intercultural Relations. 1979. № 3.
9. Hughes A. Testing for Language Teachers. Cambridge, 1992.
10. Гильбух Ю.З. Проблемы и методы исследования качественных и количественных характеристик знаний, умений и навыков. М., 1976. С. 57-61.
Поступила в редакцию 10.12.2012 г.
UDC 373.167.1
MODERN APPROACHES TO SELECTION OF ASSESSMENT CRITERIA AND DEVELOPMENTAL LEVEL INDEX OF COMPONENTS OF INTERCULTURAL COMPETENCE
Victoria Victorovna FILONOVA, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Post-graduate Student, Linguistic and Linguodidactics Department, e-mail: [email protected]
The issue of current approaches to the selection of assessment criteria and developmental level index of the components of intercultural competence is considered. The analysis of the main test characteristics, such as validity and reliability, has been carried out. Having reviewed the foreign scales of criteria and level assessment, own criteria and developmental levels of intercultural competence are proposed.
Key words: intercultural competence; assessment criteria; developmental level.
