CC BY
55
УДК: 372.881.111.1
Е. В. Заруцкая
Разработка шкалы оценивания умений общения в профессионально ориентированном обучении студентов направления «Менеджмент»
Статья посвящена проблеме совершенствования инструментов контроля и оценивания умений общения на материале обучения английскому языку студентов направления «Менеджмент». В работе рассматриваются подходы к разработке шкал оценивания, обусловливается необходимость создания специфической шкалы для контроля профессионально-ориентированного общения
The article deals with the problem of rating scale development for speaking skills assessment of management students. Firstly, it focuses on different approaches to rating scale development, then, it talks about specific rating criteria needed for management student assessment
Ключевые слова: контроль, оценивание, профессионально ориентированное общение, шкалы оценивания, критерии, язык для специальных целей, менеджмент
Key words: testing, assessing, speaking, communication, rating scales, criteria, English for specific purposes, management students
В соответствии с требованиями ведущих современных мировых программ по бизнес-образованию умения эффективного общения представляют собой ключевые умения, которыми должен обладать современный преуспевающий руководитель наряду с навыками сотрудничества и кооперации, пониманием стратегии компании, знаниями в области корпоративной культуры и т.д. [2, с. 4]. Многочисленные исследования отечественных методистов также доказывают необходимость обучения профессиональному общению студентов неязыкового вуза, в том числе и управленческих специальностей (А.А. Дашковская, М.К. Травова и др). Формирование
навыков и развитие умений профессионального общения возможно
86
при условии организации эффективной системы контроля, задачи которого: 1) определить степень соответствия между целями и результатом обучения, 2) обеспечить получение информации об освоении учебного материала и 3) управлять на основе этой информации всех ходом учебного процесса. При этом само сравнение результатов с целями, которые предполагалось достигнуть на определенном этапе обучения, есть оценивание, а вывод о степени соответствия результатов целям - оценка. Оба эти понятия выступают в качестве компонентов контроля. Повышению эффективности контроля в целом и оценивания, в частности, способствуют рейтинговые шкалы оценивания, которые, как известно, выступают в качестве измерительного инструмента устно-речевого контроля. В данной статье остановимся на проблеме разработки рейтинговой шкалы для контроля профессионально ориентированного общения студентов направления «Менеджмент». Для этого предстоит ответить на три вопроса: 1) какие рейтинговые шкалы используются в современной практике тестирования для оценивания навыков и умений общения? 2) чем обусловлена необходимость создания специфической шкалы для контроля профессионально ориентированного общения (на примере студентов направления «Менеджмент») и в чем состоит ее отличие? 3) какие исследования ведутся в этом направлении?
Перейдем к рассмотрению первого вопроса. Несмотря на все многообразие классификаций (см. рис.1), выделяются два основных подхода к разработке рейтинговых шкал: они могут основываться на теоретически разработанной модели, так называемого идеального речевого поведения коммуниканта, а могут строиться на данных эмпирических наблюдений, когда исследователями берется за основу реальная речевая деятельность коммуниканта в акте общения.
Среди преимуществ первого подхода следует назвать в первую очередь возможность обобщения результатов. Такие рейтинговые шкалы не ориентированы только на определенный формат или тип заданий и могут быть использованы при оценивании в тестовых заданиях как специального, так и неспециального языка. Однако в этом же заключается и их слабая сторона, поскольку, согласно Г. Фалчеру и др., они не учитывают коммуникативный контекст и сложность языковых и речевых структур, употребляемых коммуникантами в речи [7, с. 4]. Второй подход позволяет решить все эти вопросы, однако его обратной стороной является невозможность использовать рейтинговые шкалы для оценивания устно-речевых умений в каких-либо других контекстах кроме тех, для которых они были разработаны. Все это позволяет сделать вывод о том, что каждый из подходов имеет свои сильные и слабые стороны, и выбор шкалы оценивания или ее разработка могут быть обусловлены специфичностью задания. (Известно, что любое задание, моделируемое с меньшим или большим приближением к ситуации реального общения, может быть помещено на так называемый континуум специфичности. В левом его конце располагаются тестовые задания, контролирующие умения общего языка, а в правом - предназначенные для контроля языковых навыков и речевых умений в узкоспециализированной области). В соответствии с этим в современной теории и практике устно-речевого тестирования исследования ведутся в обоих направлениях.
Рис. 1. Классификация шкал оценивания
Первый подход используется Кембриджским синдикатом при оценивании устно-речевых умений в тестах по деловому английскому языку: ситуация общения моделируется с некоторым приближением к реальному общению, однако сравнение с рейтинговыми шкалами других тестовых заданий данной тестирующей организации показывает, что шкала оценивания остается без изменений. Основывается она на представлении о содержании устно-речевого умения Сэвилл и Харгривз [10, с. 8] и позволяет оценивать речевую деятельность в режиме реального времени, т. е. непосредственно в ходе выполнения задания коммуникантом. В качестве критериев оценивания выступают лексика и грамматика, произношение, владение дискурсом и умения взаимодействия. Необходимо пояснить, что в рейтинговой шкале всегда находят отражение цели контроля, следовательно, его объектами в экзаменах по деловому английскому языку Кембриджского синдиката выступают грамматическая, стратегическая, дискурсивная, функциональная и социолингвистическая компетенции [10].
В противоположность данному мнению ряд исследователей
считают, что компонентное содержание рейтинговой шкалы должно
89
меняться: в нее должны быть включены такие показатели, которые будут учитывать специфическую направленность задания, будут более восприимчивы к его коммуникативному контексту. Один из вариантов того, как это осуществить, предложил Д. Даглас: разработать так называемую «профессиональную» шкалу [5]. В своих исследованиях Д. Даглас [4, 5] неоднократно подчеркивал
невозможность оценивания языковых навыков и речевых умений кандидата в отрыве от выполняемой им профессиональной деятельности, следовательно, и оценивание, по его мнению, не может проводиться только на основе лингвистически ориентированных критериев. Выход из данного положения Д. Даглас видит в привлечении специалистов-предметников для разработки «профессиональной» шкалы, которая должна выстраиваться на анализе не учебных, а реальных ситуаций профессионального общения. Одновременно Джейкоби и Макнамара отмечают, что речь идет не о простом перенесении критериев из одной шкалы в другую, а подведении их под определенную теоретическую базу и согласовании с такими психометрическими характеристиками теста как надежность и валидность, возможность придания заданию более обобщенного характера [5].
Идею Макнамара и Дагласа продолжил Фалчер [7] и разработал рейтинговую шкалу для оценивания умений общения агентов турфирм и клиентов в ходе их прямого взаимодействия (performance decision tree). В основе данной шкалы лежит дискурс-анализ реального речевого поведения представленных выше коммуникантов (носителей языка) и результаты анализа представлений клиентов об идеальном речевом поведении агента туристической фирмы, полученных в ходе анкетирования. Дискурс-анализ показал, что обязательными элементами речевого контакта представителя фирмы и
клиента являются такие речевые функции, как приветствие, объяснение цели сделки (покупки) и т. д., а результаты анкетирования клиентов говорят о том, что в туристском агенте больше всего они ценят умение установить раппорт (отношение взаимопонимания). Все это нашло отражение в шкале бинарных оппозиций Г. Фалчера (см. рис.2).
Дне кур сивная компетенция
Присутствуют л и обязательные элементы?
5
да
Присутствуют ли необязательные элементы?
1 нет 1 да |
1 1 1 | 2 |
Как тестируемый демонстрирует умения управлять дискурсом?
Обозначается ли цель
Используются ли средства связности?
взаимодеиствия'
эксплицитно
имплицитно
ню
лексические средства +2
паузы +1
хезитации
Насколько четко можно идентифицировать роли тестируемых?
Насколько адекватно используются средства завершения контакта?
эксплицитно
имплицитно
+1
реплики
завершения
разговора
Эффективно ли используется обратная связь?
ЛЕ,типа
■ОКУЯпв'
+1
Пр агматическ ая компетенция
Раппорт:
Является ли взаимодействие личностноориентированным?
ЕНІП
Четко ли объясняются детали?
ЕІКЮ
Внимательно ли слушает тестируемый партнера по общению и адекватно ли реагирует на его реплики?
I да Н +1 I
Используются ли юмор и средства поддержания благоприятной обстановки?
ЕН
+ 1
Эмоциональные факторы:
Проявляет ли себя тестируемый как вежливый, уверенный и компетентный коммуникант?
I да Н +1 I
Невербальные элементы:
Использует ли тестируемый соответствующие ситуации невербальные элементы: зрит, контакт, мимику и т,д,?
Рис. 2. Бинарная шкала Г. Фалчера [6]
Описанные выше примеры демонстрируют две крайние точки зрения, и каждая из них имеет свои преимущества, однако выбор методики оценивания должен определяться целями и условиями тестирования. В ситуациях, когда, например, необходимо отобрать кандидатов для выполнения конкретной профессиональной дея-
тельности, более уместным видится использование более специфических шкал, таких как «профессиональная». В образовательном же контексте, воссоздавая основные компоненты, ситуации профессионально-ориентированного общения все же остаются учебными, следовательно, характеризуются меньшей ситуативной аутентичностью и специфичностью, и использование менее специфичных шкал видится более оправданным.
Остановимся на вопросе критериев/показателей оценивания. Феномен многокомпонентности коммуникативной компетенции создает трудности для тестологов, которые вынуждены строго ограничивать объекты тестирования и концентрировать свое внимание лишь на некоторых из них. При этом вопрос о количестве критериев остается дискуссионным. Существует мнение [11], что рейтеры в состоянии оценить не более 3-4 критериев сразу, поэтому из имеющейся шкалы необходимо выбирать те, которые более соответствуют цели контроля.
Наряду с компетентностной моделью существует классификация критериев оценивания по таким показателям, как количественные / качественные критерии и основные/дополнительные. Так, к основным относятся такие показатели, как доказательность речи, разнообразие речевых моделей и правильность высказывания, к дополнительным - объем высказывания и темп речи. Качественные критерии включают в себя адекватность высказанной теме, логичность построения высказывания, разнообразие моделей, в то время как количественных критериев можно выделить намного больше: количество предложений, количество предложений, содержащих аргументацию, количество моделей, время говорения, количество пауз, количество фонетических ошибок, количество лексических ошибок, количество грамматических ошибок.
Так, объем высказывания и темп речи, будучи объективно измеримыми, относятся к дополнительным показателям по той причине, что доказательность речи, а также умение обучающихся при помощи ограниченных языковых средств связно и логически высказываться по предложенной теме, имеют более весомое значение при решении коммуникативной задачи [1, с. 69]. Существует мнение (В.С. Цетлин, И.И. Антонова), что при оценивании продуктивной речи темп самостоятельного высказывания не имеет решающего значения, поскольку темп речи на иностранном языке зависит от темпа речи на родном языке, от индивидуальных особенностей обучающихся [1, с. 69]. Именно этим можно объяснить отнесение данного критерия к дополнительным показателям. Однако критерий «темп речи» может пониматься шире и включать в себя не только скорость речевого потока или скорость реакции на реплики собеседника, но и, по Копонен, отсутствие излишней паузации, в том числе и пауз хезитаций, длину высказываний и связность (connectedness) [9, с. 88]. По Фалчеру, понятию «темп речи» не противоречат паузы, вызванные необходимостью более точной передачи содержания (но не выбора языковых средств!) или передачи более полных и подробных сообщений; также если пауза вызвана обдумыванием предложений, возникших в ходе обсуждения или необходимостью уточнения и исправления во избежание возможного непонимания; а также пауза, для формулирования более быстрого и уверенного ответа - все они, наоборот, являются маркерами темпа речи [8, с. 134]. А. Хасселгрин в своем исследовании идет далее и утверждает, что данный критерий не ограничивается только темпоральными характеристиками, описанными выше, но включает в себя и лингвистический аспект: использование, приближенное к речи носителей языка, клише; дискурсивные маркеры (right, well, anyway), ко-
торые помогают коммуниканту организовывать дискурс; сигналы взаимодействия (well, I mean, you know), которые «сглаживают» взаимодействие; иные дискурсивные средства (as you know, I think, at any rate) [8, с. 133].
Как уже отмечалось выше, цели контроля находят свое отражение в рейтинговых шкалах, и их изменение может приводить к варьированию или изменению компонентов шкалы оценивания. Например, в профессионально ориентированном обучении важную роль играет предметная компетенция, вопрос контроля которой в
W Л W
методической науке остается неоднозначным. С одной стороны, языковое тестирование не должно превратиться в тестирование по предмету или специальности, но с другой стороны, контроль языка для специальных целей обладает своими особенностями и строится на соотношении трех характеристик: специфичности, аутентичности и фоновых знаний или знаний специальности. Последняя характеристика имеет решающее значение, поскольку если при контроле языка для общих целей минимизируется возможность влияния на результат испытуемого фоновых или специальных знаний, то в рамках тестового контроля языка для специальных целей фоновые или специальные знания являются неотъемлемой его частью и могут составлять его конструкт. Объектом контроля в рамках предметной компетенции выступает умение высказываться продуктивно в ситуации профессионального общения как по содержанию, так и по форме [3]. Продуктивное по содержанию высказывание предполагает активное и творческое оперирование информацией, в том числе на основе имеющихся знаний по специальности. В содержание предметной компетенции могут входить и знания в области профессиональных интерперсональных конвенций, принципов и правил поведения. Продуктивное по форме использование
профессиональной терминологии и стереотипные речевые формулы используются для выражения того или иного коммуникативного намерения в ходе управленческой деятельности. Следовательно, вопрос в том, как оценивать предметную компетенцию, т. е. какие показатели могут быть введены в рейтинговую шкалу.
Кембриджский синдикат, как уже отмечалось выше, в качестве объектов контроля рассматривает навыки и умения в лингвистической, стратегической, дискурсивной, функциональной и социолингвистической компетенциях. Однако моделируемая в задании ситуация общения учитывает профессиональный контекст, и решение речевой задачи возможно, только если коммуникант владеет предметной компетенцией. Анализ речевых ответов студентов при выполнении ими последнего задания устно-речевого теста экзамена BEC, показывает, что в ходе речевого взаимодействия они обсуждают 3-4 альтернативы (варианта решения поставленной задачи), что свидетельствует о сформированности предметной компетенции. Следовательно, если данная компетенция выступает в качестве объекта контроля, то такой критерий оценивания, как например «полнота выполнения задания», может свидетельствовать о ее сформированности. Однако в основе предметной компетенции лежит и владение терминосистемой, в соответствии с этим представляется целесообразным включение в шкалу оценивания такого показателя, как «насыщенность». Анализ речевых ответов коммуникантов, вступавших во взаимодействие в ходе выполнения тестового задания по формату экзамена BEC (3-е задание), показывает, что коэффициент насыщенности речи лексикой делового иностранного языка составляет примерно 8-9 %. Однако проблема заключается в том, что коэффициент лексической насыщенности трудно подсчи-
тать при оценивании в режиме реального времени, для этого процедуру оценивания необходимо проводить в записи.
Коммуникативный контекст задания изменится, если поменяется сама ситуация. Например, все в том же задании экзамена BEC моделируется такая ситуация общения, когда сохраняется полуофициальная его тональность и равные статусно-ролевые отношения. Известно, что отношения коммуникантов, вступающих во взаимодействие в сфере управления (равно как и в образовании, и сфере обслуживания), часто носят неравный статусно-ролевой характер, что свидетельствует о необходимости моделирования в контрольных заданиях ситуаций вертикального общения (с большей дистанцией власти). При этом необходимо учитывать, что дискурс участников общения в ситуации с большей дистанцией власти меняется. Вызвано это необходимостью соблюдения конвенциональных ограничений, правил вежливости и бизнес-этики. Вследствие этого видится логичным, на наш взгляд, при контроле вертикального общения включить в шкалу оценивания такой параметр, как «адекватность», который имеет меньшее значение при контроле в ситуации равных статусно-ролевых отношений.
Некоторую трудность представляет вопрос о том, как оценивать разные отрывки речи. Дискурс коммуниканта с более высоким социальным положением (согласно его роли) и полномочиями будет отличаться от дискурса коммуниканта с меньшими полномочиями. Именно поэтому шкала оценивания Г. Фалчера, по его собственному замечанию, несет в себе ряд ограничений [7]. Ее левая часть может быть использована для оценивания умений общения как клиента, так и поставщика услуг, в то время как правая предназначена исключительно для контроля речевого поведения турагента. В данной ситуации многое определяется целями тестирования. Если цель
проконтролировать умения общения в одной определенной роли (например турагента), то такая шкала вполне подходит. Однако если необходимо проверить умения коммуниканта выступать в обеих ролях, то здесь необходимо либо дважды выполнять сходный тип задания, но меняться ролями (чтобы получить приблизительно одинаковые отрывки речи), либо разрабатывать дополнительную шкалу оценивания.
Последний вопрос - оценивание серии (батареи) тестовых заданий, например, моделирующих ситуации с большей и меньшей социальной дистанцией и дистанцией власти. Как уже отмечалось выше, их дискурс будет отличаться, однако как должно это отражаться на рейтинговых шкалах? Одним из вариантов решения может быть разработка так называемой комбинированной шкалы (включающей критерии как общие для целой серии заданий, так и отдельные для специфического типа) (multiple trait). Пример использования таких шкал описывается в исследовании Челхоуб-Девилла [6], который предлагает использовать для оценивания ответов коммуникантов общие критерии (к числу которых исследователь относит грамматику и произношение) и специфические (ориентированные на определенный вид заданий). Так например, в заданиях нарративного типа, описанных исследователем, оцениваются творческий характер и адекватность информации, в заданиях типа интервью - использование (без помощи экзаменатора-собеседника) в высказывании деталей и его длина. По мнению Фалчера и Рейтер [6], использование таких шкал обосновано при контроле умений устной речи для специальных целей или когда тестовое задание априори разработано, чтобы получить подтверждение уровню обученности на материале специфически и тщательно разработанного конструкта.
Таким образом, можно заключить, что в настоящее время в методической науке существует несколько подходов к разработке методики оценивания устно-речевых умений в профессиональноориентированном обучении. Многие вопросы не имеют универсального решения и должны определяться конкретными условиями и целями тестирования. При этом необходимо помнить, что создание шкалы оценивания - процесс довольно трудоемкий, требующий тщательного анализа отрывков речи тестируемых и четкого разграничения уровней обученности.
Список литературы
1. Митина М.В. Организация тестового контроля навыков и умений иноязычного устно-речевого общения (Начальный этап, языковой вуз, французский язык): дис. ... канд. пед. наук. - Н. Новгород, 2005. - 285 с.
2. Соловьев Б.А., Гаврилина О.П. Программа МБА: профессиональная подготовка топ-менеджеров и специалистов российских компаний (результаты исследования). // Маркетинг в России и за рубежом. - 2003. - №4 (36). - С. 310.
3. Шишмолина Е.П. Обучение профессионально ориентированному иноязычному общению студентов неязыковых специальностей гуманитарного профиля (на материале немецкого языка): дис. ... канд. пед. наук. - СПб., 2007. - 226 с.
4. Douglas D. Assessing Languages for Specific Purposes. - Cambridge, 2000. - P. 183-188.
5. Douglas D. Language for Specific Purposes Assessment Criteria: Where Do They Come From? // Language Testing. - 2001. - Vol. 18 (2). - P. 171-185.
6. Fulcher G., Reiter, R.M. Task Difficulty in Speaking Tests // Language Testing. - 2003. - Vol.20 (3). - P. 321-344.
7. Fulcher G., Davidson F., Kemp J. Effective Rating Scale Development for Speaking Tests: Performance Decision Trees. // Language Testing. 2010. P. 1-25 // http://proxy.lib.pu.ru:3028/content/early/2010/03/10/0265532209359514.full.pdf+html
8. Hasselgreen, A. Testing the Spoken English of Young Norwegians. A study of test validity and the role of ‘smallwords’ in contributing to pupils’ fluency. / Studies in Language Testing. - Vol. 20. Cambridge, 2004.
9. Luoma, S. Assessing Speaking. CUP. 2004.
10. O’Sullivan, B. Issues in Testing Business English. The revision of the Ca m-bridge Business English Certificates / Studies in Language Testing. - Vol. 17. -Cambridge, 2006.
11. Underhill N. Testing Spoken Language. A Handbook of Oral Testing Techniques. CUP.1987.
