123
МЕТОДИКА ПРЕПОДАВАНИЯ ЯЗЫКОВ
УДК 378.147
ТРУДНОСТИ ОЦЕНКИ МЕЖКУЛЬТУРНОЙ КОМПЕТЕНЦИИ УЧАЩИХСЯ ПОСРЕДСТВОМ НЕПРЯМЫХ МЕТОДОВ
Н. В. Черняк
Национальный исследовательский университет «Высшая школа экономики»
Поступила в редакцию 13 марта 2013 г.
Аннотация: в статье рассматриваются трудности оценки межкультурной компетенции посредством непрямых методов. Анализируются характерные методические затруднения, возникающие при разработке и применении измерительных материалов. Предлагаются способы преодоления перечисленных трудностей оценки межкультурной компетенции учащихся.
Ключевые слова: межкультурная компетенция, методическая деятельность, критерии оценки.
Abstract: the article deals with the difficulties of intercultural competence assessment by means of indirect methods. The author analyses methodological problems arising in the process of development and use of assessment materials. This article suggests approaches to overcome mentioned difficulties of intercultural competence assessment.
Key words: intercultural competence, methodology, assessment criteria.
Методы оценки межкультурной компетенции1 учащихся разделяют на прямые и непрямые [1]. Прямые методы предполагают получение данных о межкультурной компетенции из поведения индивида и исключение учащегося из процесса оценивания его межкультурной компетенции. Непрямые методы предполагают заполнение индивидом тех или иных измерительных материалов. При оценке не учитывается поведение индивида - оно оценивается со слов респондента, поэтому в непрямых методах оценки межкультурной компетенции учащийся всегда вовлечен в процесс оценивания. К непрямым методам оценки межкультурной компетенции относят разнообразные опросники и тесты на самооценку.
1 Среди ученых не существует единого мнения в отношении терминов «компетенция» и «компетентность», несмотря на большую традицию их использования. Попытка соотнести объемы данных понятий представляет собой отдельную задачу и не входит в задачи данной работы. Наряду с используемым нами термином «межкультурная компетенция» в целом ряде исследований используются близкие по значению понятия: «межкультурная коммуникативная компетенция» [1, с. 137; 2, с. 3], «этнокультурная компетентность» [3, с. 9], «социокультурная компетентность» [4, с. 120], «межкультурная сензитив-ность» [5, с. 467], «межкультурная эффективность» [6, с. 334], «транснациональная компетенция» [7, с. 105], «глобальная компетенция» [8], «кросскультурная компетенция» [9, с. 525] и др. Разделение данных смежных понятий и более подробное рассмотрение структуры межкультурной компетенции не входит в задачи данной статьи и может стать темой отдельного исследования.
© Черняк Н. В., 2013
Широкое распространение получили тесты на проверку уровня сформированности межкультурной компетенции. Существует несколько десятков подобных инструментов, основанных на той или иной теоретической модели межкультурной компетенции. В большинстве случаев межкультурная компетенция понимается как сложное образование, поэтому подобные тесты нацелены на измерение ее нескольких структурных компонентов. Как правило, оценка результатов производится по шкалам посредством обозначенных составителями рекомендаций [там же, с. 25].
При использовании непрямых методов оценки межкультурной компетенции измеряются те или иные параметры - трудности начинаются при их определении. Как правило, предлагается модель межкультурной компетенции, на основе которой данные параметры выделяются. С начала 1990-х годов не прекращаются попытки ученых измерить межкультурную компетенцию, в связи с чем предлагаются те или иные модели. Известны модели, делающие акцент на те или иные понятия [2; 3], контекст [4] или процесс [5]. Некоторые инструменты оценивают знания и умения [6], другие - дополняют их аффективным компонентом [7, с. 251]. Разработаны также модели, которые представляют межкультурную компетенцию как совокупность других компетенций, например, профессиональных и общих компетенций [8, с. 2].
Несмотря на видимую простоту и удобство тестов на межкультурную компетенцию, их использование сопряжено с многочисленными трудностями. Труд-
ности в вычленении структурных частей межкультурной компетенции приводят к тому, что при использовании тестов на межкультурную компетенцию затруднительно определить, какие именно компоненты измеряются и оцениваются. Например, утверждение «While talking to people from other countries, I pay attention to their personal space» может рассматриваться как индикатор таких качеств, как гибкость или адаптивность, потому что положительный ответ будет означать, что респондент предположительно способен подстраиваться и соблюдать удобные для партнера условия общения. Однако в то же время данное высказывание будет индикатором такого навыка, как наблюдательность, поскольку во время общения респондент, ответивший положительно, предположительно способен, например, воспринять невербальные намеки относительно расстояния комфортного личного пространства собеседника. Перед нами пример тестового задания, которое невозможно однозначно отнести к тому или иному компоненту межкультурной компетенции, а следовательно, и корректно оценить его. Трудности в компонентном анализе межкультурной компетенции даже заставляют некоторых авторов предполагать, что межкультурная компетенция одномерна, т.е. не подлежит разделению на компоненты [9, с. 8].
Внимательно стоит относиться к содержащимся в тестах на межкультурную компетенцию стереотипным представлениям. К примеру, рассмотрим следующее утверждение из теста « Индекс толерантности» [10, с. 30; 11, с. 149]: «К кавказцам станут относиться лучше, если они изменят свое поведение». Хотя мы понимаем, что по задумке авторов утверждение должно спровоцировать проявление интолерантнос-ти в ответе, содержащаяся негативная эмоциональная оценка может повлиять на представление учащихся о данной этнической группе и способствовать ее стигматизации. Таким образом, в тестах на межкультурную компетенцию стоит с аккуратностью использовать стереотипные утверждения даже с целью выявить позицию респондентов. Необходимо помнить, что любая информация, полученная в классе от преподавателя, способна оказать влияние на личность и взгляды учащихся.
Многие инструменты для оценки межкультурной компетенции содержат ошибки, поскольку разрабатываются и внедряются без независимого экспертного рецензирования. Немногочисленные опросники, валидность которых подтверждена независимой экспертной оценкой, не находятся в свободном доступе. Высокая стоимость подобных инструментов и необходимость проходить платную регистрацию у разработчиков [1, с. 35] приводят к тому, что многие университеты предпочитают разрабатывать собственные измерительные материалы [12]. Следовательно, на-
блюдается лавинообразный рост числа тестов и опросников для оценки межкультурной компетенции. Поскольку на сегодняшний день к ним не предъявляется требование независимой экспертизы, велико число ошибок, препятствующих корректному измерению межкультурной компетенции.
Положительным примером подобной экспертной оценки может быть исследование теста «Cross-Cul-tural Adaptability Inventory» (CCAI), разработанного в начале 1990-х годов двумя учеными - Колин Кейли и Джудит Мейерс [1, с. 20]. Проведенный позже факторный анализ данного теста, основанный на опросе 725 студентов, показал частичное совпадение и взаимное наложение четырех измерений межкультурной компетенции, выделенных разработчиками. По результатам исследования валидности данного теста оказалось, что некоторые задания теста, строго отнесенные составителями к конкретному измерению, на самом деле отражали в ответах другое измерение компетенции. Было сделано заключение, что модель межкультурной компетенции, положенная в основу теста CCAI, не соответствует данным, получаемым посредством CCAI. Экспертами было рекомендовано не использовать данный тест до того, как будут проведены его дальнейшие исследования и корректировка. Стоит признать, что многие теоретические модели межкультурной компетенции и соответствующие им тесты нуждаются в подобной апробации [13].
Не менее важно понимать, что не все доступные инструменты для оценки межкультурной компетенции приемлемы для использования в той или иной группе учащихся. Существуют тесты, составленные для узких целевых аудиторий: экспатриантов, иностранных студентов, профессионалов (например, военных или медиков), работающих с представителями других культур, членами семей экспатриантов и др. Данные измерительные материалы составлены для конкретной целевой аудитории. Их использование в работе с группами, для которых они не предназначены, неприемлемо. То есть некорректно было бы тест для оценки межкультурной компетенции медицинского персонала, работающего с представителями других культур, использовать для оценивания межкультурной компетенции членов семей экспатриантов или группы студентов, не имеющих опыта межкультурного общения.
Другим непрямым методом оценки межкультурной компетенции являются опросники, в которых учащиеся должны самостоятельно оценить свой уровень межкультурной компетенции. Проведенные исследования показали, что существует расхождение между восприятием учащимися собственного уровня межкультурной компетенции и их действительным уровнем [14, с. 397]. Получение от учащихся социально желаемых ответов значительно затрудняет
оценку межкультурной компетенции. Специалистами отмечается, что вероятность получения от студентов положительного ответа, продиктованного социальной желательностью, возрастает, например, в случае включения в опросник такого утверждения: «I understand when people behave differently than I do» [15, с. 439]. Подобным образом включение в тест утверждения «Я хотел бы стать терпимым человеком по отношению к другим» [10, с. 30; 11, с. 149] видится лишенным смысла, поскольку учащиеся будут мотивированы дать положительный ответ, чтобы получить высокий индекс толерантности. Хотя некоторые исследования отрицают существование связи между результатами тестов для самооценки и социальной желательностью ответов [15; 16], сомнения в способности учащихся давать точные данные посредством самооценки правомерны.
Корректной оценке межкультурной компетенции может помешать то, что используемый для измерения инструмент не является культурно нейтральным. Приведем пример из одного из признанных тестов на оценку межкультурной компетенции.
В рамках самостоятельной оценки учащимися межкультурной компетенции приводится утверждение: «When other people behave in a way that I don't understand, I ask them why they are doing this». Данное утверждение предполагает, что прямой стиль коммуникации наиболее ожидаем в подобной ситуации. Однако в определенных культурах такая прямота недопустима. Следует помнить о классификации культур по параметру прямой / непрямой стиль общения. Поэтому корректнее было бы сформулировать данное утверждение следующим образом: «When other people behave in a way that I don't understand, I try to find out why they are doing this». В других утверждениях из анализируемого теста на межкультурную компетенцию были допущены подобные ошибки. Например: «When a stranger from abroad behaves in a way that annoys me, I will tell him / her». Итак, требуется, чтобы инструментарий для оценки межкультурной компетенции был культурно-нейтральным [9, с. 6].
Преградой для адекватной оценки межкультурной компетенции может быть языковой барьер. Учащиеся должны владеть языком, на котором составлены материалы для самооценки, на достаточном для понимания содержания уровне. По мнению составителей подобных материалов для самооценки, если респондент в ответ на утверждения, например, пять раз подряд выбирает ответ «никогда», результаты теста должны стать предметом особого внимания. Возможно, что содержание предложенных утверждений просто непонятны респонденту. По этой причине в поликультурных учебных аудиториях преподаватель должен быть уверен в том, что предложенный
для самооценки опросник будет понятен носителям всех языков, представленных в группе. Отметим также, что положение языковой компетенции по отношению к межкультурной остается предметом обсуждений [17, с. 259].
В случае перевода существующих инструментов для оценки межкультурной компетенции составители должны учитывать все варианты интерпретаций представителями других культур понятий, используемых в тесте. В литературе описаны примеры проблем, возникающих при дословном переводе утверждений из опросников. Так, трудности появляются при переводе с английского языка на японский следующего выражения: «Being a member of one's own culture as juxtaposed with people from other cultures». Согласно мнению специалистов, для представителей японской культуры будет непонятно содержащееся в данном отрывке противопоставление вследствие их культурных особенностей [9].
Трудности перевода опросников также связаны со словами, у которых нет полных эквивалентов в иностранном языке [18, с. 63]. Например, при переводе с английского языка на русский теста «Поведение в конфликтной ситуации» [19, с. 261], который используется для оценки аффективного компонента межкультурной компетенции, составители столкнулись с неравнозначностью слов «ассертивность» и «уверенность в себе» в русском языке. Слово «ассертивность» имеет более широкое значение и включает в себя уверенность в себе. В результате был сделан выбор в сторону словосочетания «уверенность в себе», поскольку его значение более узкое и лучше понятно учащимся. Пришлось отойти от исходного « ассертивность» («assertiveness») в пользу более узкого значения «уверенность в себе» [20, с. 10]. Подобная адаптация теста необходима, поскольку позволяет более точно оценить межкультурную компетенцию целевой аудитории. Простое перенесение теста на межкультурную компетенцию из одной культуры в другую может вызвать серьезные трудности [21].
Стоит отдельно остановиться на технических моментах составления тестов по межкультурной компетенции. Так, использование шкалы Лайкерта в ответах, которая представляет собой градацию степеней согласия или несогласия с предложенным утверждением, может затруднить оценку компетенции. Если предусмотрено 5 вариантов, респонденты склонны выбирать средний из них, такой как «иногда» или «скорее согласен». В этом смысле рекомендуется давать учащимся шкалу с 4 или 6 градациями, чтобы склонить их в сторону того или иного ответа и подтолкнуть к проявлению своей позиции. Также с технической стороны интересен вопрос необходимости включения варианта ответа «я не знаю». Однозначной позиции по этому поводу нет [9, с. 8].
В основе большинства существующих опросников и тестов лежит список качеств. Специалисты расходятся во мнениях относительно того, какие качества наиболее важны для компетентного специалиста. Последнее исследование, в рамках которого специалистов просили выстроить данные качества в порядке от более к менее важному, выявило следующую последовательность: непредубежденность, способность изменить свою точку зрения, умение общаться, гибкость, толерантность, чувствительность, эмпатия, самосознание, приспособляемость, мотивация на успех, уверенность в себе, результативность [22].
В заключение анализа непрямых методов оценки межкультурной компетенции отметим, что несмотря на теоретические и методологические трудности, они остаются широко используемыми на практике благодаря их доступности, готовности для использования, а также легкости и простоте сбора и анализа данных [1, с. 28].
В качестве одного из способов преодоления трудностей оценки межкультурной компетенции учащихся рекомендуем сочетать разные методы измерения межкультурной компетенции [23]: прямые и непрямые; количественные и качественные [24] и т.п. Согласно исследованию, среди практиков в области межкультурной коммуникации 95 % специалистов склоняются к использованию смешанного метода оценки межкультурной компетенции [7, с. 250]. Применение только одного метода оценки сформирован-ности такого сложного конструкта, как межкультурная компетенция, может привести к неполным, невалидным и противоречивым данным. Исследования показывают, что сочетание прямых и непрямых методов оценки ведет к получению более детальной информации по сравнению с использованием сугубо непрямых методов [1]. Несколько методов могут применяться для сравнения получаемых данных об уровне межкультурной компетенции учащегося [25, с. 496].
Представление о межкультурной компетенции как о наборе критериев [12, с. 40] обусловило трудности при вычленении составных частей компетенции и, следовательно, их оценке. Предлагается перейти к представлению о межкультурной компетенции как о процессе. В таком случае фокус переместится с конечных факторов на процесс ответа ученика на предлагаемые задания. Помимо суждения о необходимом наборе определенных качеств, знаний и умений, будут учитываться психологические и социальные предпосылки, а также предварительные условия и контекст. Примечательно, что сегодня не все авторы стремятся выявить индикаторы для каждого элемента межкультурной компетенции. Некоторые представляют компетенцию как целостное образование, элементы ко-
торого не всегда возможно выявить в поведении. Невидимым и более субъективным аспектам неделимой компетенции, таким как мотивация, нормы и ценности, отводится значительная роль [8, с. 2].
Динамичная и разнородная суть межкультурной компетенции не должна помешать исследователям продолжать попытки поиска полного комплексного понимания сути межкультурной компетенции и разработки продуманного, апробированного, подходящего для всех культур инструмента измерения межкультурной компетенции. Подобный инструмент необходим как в академической, так и в деловой среде [26, с. 161].
ЛИТЕРАТУРА
1. Sinicrope C. Understanding and assessing intercultural competence : a summary of theory, research, and practice (technical report for the foreign language program evaluation project) / C. Sinicrope, J. Norris, Y. Watanabe // Second Language Studies. - 2007. - Vol. 26, № 1. - P. 158.
2. Byram M. S. Teaching and Assessing Intercultural Communicative Competence / M. S. Byram. - Clevedon Multilingual Matters Ltd., 1997.
3. Prechtl E. Intercultural Competence and Assessment : рerspectives from the INCA Project / E. Prechtl, A. D. Lund // Handbook of Intercultural Communication / H. Kotthoff, E. Spencer-Oatey. - Verlag : Mounton De Gruyter, 2007.
4. Kim B. S. K. A revision of the Multicultural Awareness, Knowledge, and Skills Survey - Counselor Edition / B. S. K. Kim, B. Y. Cartwright, P. A. Asay, M. J. D'Andrea // Measurement and Evaluation in Counseling and Development. - 2003. - № 36. - P. 161-180.
5. Hajek C. New directions in intercultural communication competence / C. Hajek, H. Giles // Handbook of communication and social interaction skills / J. O. Greene, B. R. Burleson. - Mahwah, NJ : Lawrence Erlbaum, 2003.
- P. 935-957.
6. Bradford L. Meta-analysis of intercultural communication competence research / L. Bradford, M. Allen, K. R. Beisser // World Communication. - 2000. - Vol. 29, № 1. - P. 28-51.
7. Deardorff D. K. The identification and assessment of intercultural competence as a student outcome of internationalization at institutions of higher education in the United States : a dissertation in partial fulfillment of the requirements for the Degree of Doctor of Education / D. K. Deardorff. - Raleigh : North Carolina State University, 2004. - 337 p.
8. Simons J. Intercultural competence in professional contexts / J. Simons, Y. Krols // Proceedings of cAIR10, the First Conference on Applied Interculturality Research.
- Graz, Austria. - 7-10 April 2010.
9. Brinkman D. How to Assess the Intercultural Competence of Students? / D. Brinkman, M. Wink // Selected Papers of Sofia Congress SIETAR Europa / J. Roth. - 2007.
- P. 5-23.
10. Практикум по психодиагностике и исследованию толерантности личности / под ред. Г. У Солдатовой, Л. А. Шайгеровой. - М. : МГУ, 2003. - C. 30-34.
11. Рот Ю. Межкультурная коммуникация. Теория и тренинг : учеб.-метод. пособие / Ю. Рот, Г. Коптель-цева. - М. : ЮНИТИ-ДАНА, 2006. - C. 149-152.
12. Spitzberg B. H. Conceptualizing Intercultural Competence / B. H. Spitzberg, G. Changnon // The SAGE Handbook of Intercultural Competence / D. K. Deardorff.
- 2009.
13. Davis S. L. A factor analytic study of the cross-cultural adaptability inventory / S. L. Davis, S. J. Finney // Educational and Psychological Measurement. - 2006. -№ 66. - P. 318-330.
14. Altshuler L. Assessing changes in intercultural sensitivity among physician trainees using the intercultural development inventory / L. Altshuler, N. M. Sussman, E. Kachur // International Journal of Intercultural Relations.
- 2003. - № 27. - P. 387-401.
15. Hammer M. R. Measuring intercultural sensitivity : the intercultural development inventory / M. R. Hammer, M. J. Bennett, R. Wiseman // International Journal of Intercultural Relations. - 2003. - № 27. - P. 421-443.
16. Bhawuk D. P. S. The measurement of intercultural sensitivity using the concepts of individualism and collectivism / D. P. S. Bhawuk, R. Brislin // International Journal of Intercultural Relations. - 1992. - № 16. - P. 413-436.
17. Deardorff D. K. The Identification and Assessment of Intercultural Competence as a Student Outcome of Internationalization at Institutions of Higher Education in the United States / D. K. Deardorff // Journal of Studies in International Education. - 2006. - № 10. - P. 241-266.
Национальный исследовательский университет «Высшая школа экономики»
Черняк Н. В., преподаватель кафедры инноваций и бизнеса в сфере информационных технологий
E-mail: nchernyak@hse.ru
Тел.: 8(495)771-32-38
18. Тер-Минасова С. Г. Язык и межкультурная коммуникация : учеб. пособие / С. Г. Тер-Минасова. - М. : Слово/Slovo, 2008. - 264 с.
19. Ting-Toomey S. Interpersonal intercultural communication / S. Ting-Toomey, F. Korzenny. - London : Sage Publications, 1991. - P. 261-262.
20. Таратухина Ю. В. Сборник практических заданий и кейсов по курсу «Деловая и межкультурная коммуникация» : учеб. пособие / Ю. В. Таратухина, Н. В. Черняк. - Минск : Экоперспектива, 2012. - 210 с.
21. Greenfield P. M. You can't take it with you : why ability assessments don't cross cultures / P. M. Greenfield // American Psychologist. - 1997. - № 57. - P. 1115-1124.
22. Messner W. Advancing Intercultural Competencies for Global Collaboration. Globalization of Professional Services / W. Messner, N. Schafer. - Heidelberg : Springer, 2012.
23. Segers M. Optimising new modes of assessment : in search of qualities and standards / M. Segers, F. Dochy, E. Cascallar. - Dordrecht : Kluwer Academic Press, 2003.
24. Sercu L. Assessing Intercultural Competence : a Framework for Systematic Test Development in Foreign Language Education and Beyond / L. Sercu // Intercultural Education. - 2004. - № 15.
25. Straffon D. A. Assessing the intercultural sensitivity of high school students attending an international school / D. A. Straffon // International Journal of Intercultural Relations. - 2003. - № 27. - P. 487-501.
26. Arasaratnam L. A. Intercultural communications competence: Identifying key components from multicultural perspectives / L. A. Arasaratnam, M. L. Doerfel // International Journal of Intercultural Relations. - 2005. -№ 29. - P. 137-163.
National Research University
«Higher School of Economics»
Chernyak N. V., Lecturer of the Innovation and Business in Information Technologies Department
E-mail: nchernyak@hse.ru
Tel.: 8(495)771-32-38
