CC BY
21
Научная статья УДК 81-139
DO110.52070/2542-2197_2023_6_874_94
Проявление когнитивной нагрузки при синхронном переводе с использование жестов-адаптеров (на материале немецкого языка)
А. В. леонтьева12, О. В. Агафонова1
1Московский государственный лингвистический университет, Москва, Россия 2Институт языкознания Российской академии наук, Москва, Россия lentevanja27@gmail.com olga.agafonova92@gmail.com
Аннотация. В работе на материале немецкого и русского языков исследуется возрастная когнитивная на-
грузка на вербальном и невербальном уровнях речи во время синхронного перевода. Результаты показали, что о повышении когнитивной нагрузки свидетельствуют речевые затруднения и продление звуков, замедление речи, а также учащение использования жестов-адаптеров.
Ключевые слова: когнитивная нагрузка, синхронный перевод, жесты, полимодальность
Дополнительные сведения: Исследование выполнено при финансовой поддержке Российского научного фонда,
проект № 19-18-00357.
Для цитирования: Леонтьева А. В., Агафонова О. В. Проявление когнитивной нагрузки при синхронном переводе с использование жестов-адаптеров (на материале немецкого языка) // Вестник Московского государственного лингвистического университета. Гуманитарные науки. 2023. Вып. 6 (874). С. 94-100. DOI 10.52070/2542-2197_2023_6_874_94
Original article
Manifestation of Cognitive Load in Simultaneous Interpreting Using Adapters (based on the German language)
Anna V. Leonteva1, Olga V. Agafonova2
1,2Moscow State Linguistic University, Moscow, Russia
1 Institute of Linguistics of Russian Academy of Sciences, Moscow, Russia
1lentevanja27@gmail.com
2olga.agafonova92@gmail.com
Abstract.
Keywords: Acknowledgments:
For citations:
The current research studies the increase in cognitive load and its manifestations on the verbal and non-verbal levels of speech during simultaneous interpreting from / into the native language. The results showed that an increase in cognitive load is manifested in speech difficulties, especially those associated with sound lengthening and slowing down the tempo, as well as in increased use of adapters.
cognitive load, simultaneous interpreting, gestures, multimodality
The research is financially supported by the Russian Science Foundation, Project 19-18-00357 "Verbal and co-verbal behavior under cognitive load: analyses of speech, gesture, and eye gaze" at Moscow State Linguistic University.
Leonteva, A. V., Agafonova, O. V. (2023). Manifestation of Cognitive Load in Simultaneous Interpreting Using Adapters (based on the German language). Vestnik of Moscow State Linguistic University. Humanities, 6(874), 94-100. 10.52070/2542-2197_2023_6_874_94
введение
Интерес к когнитивной нагрузке и ее проявлению в различных сферах человеческой деятельности появился в науке еще в прошлом столетии. Данный феномен в основном рассматривается в рамках психологического подхода [Sweller, 2016]. Когнитивная нагрузка измерялась при выполнении заданий, включающих в себя аудио- и визуальные задания, выполняемые говорящими в контролируемой обстановке.
Процесс синхронного перевода рассматривается как чрезвычайно сложное лингвистическое задание, выполнение которого требует большого контроля со стороны говорящего ^ееЬег, 2013]. Сложность процесса обуславливается одновременным использованием слуха, понимания речи (кодирования и декодирования исходного текста), воспроизведением речи и т. д. [Lederer, 1981]. Такая одновременность оказывает влияние на когнитивные возможности переводчика, повышая нагрузку во время работы. Переводчик находится в состоянии стресса, которое может выражаться на вербальном и невербальном уровне в процессе осуществления синхронного перевода.
На вербальном уровне у говорящих возникают трудности, которые указывают на повышение когнитивной нагрузки. В данной работе рассматриваются семь видов таких трудностей: увеличение длительности звука (вымирааание), замедление общего темпа речи, долгие паузы, заполнители пауз (ээээ, ммм), повторы слов (десять-десять, сказал-сказал), неразборчивая речь / бормотание, прерывание высказывания (дождевые леса постепенно сокращ... сокращаются за последние годы).
Полимодальное поведение человека находит свое отражение в движениях рук, которые сопровождают речь на семантическом и прагматическом уровнях [Kendon, 2004; McNeill, 1985]. В исследованиях полимодальности на сегодняшний день существуют различные классификации жестового поведения рук. В нашем исследовании мы исходим из типологизации, предложенной О. К. Ирисхановой, А. Ченки, К. Мюллер, Я. Брес-сем и И. Миттельберг, которая включает в себя разделение типов жестов на прагматические, репрезентирующие, дейктические и жесты-адаптеры [Iriskhanova, ОепИ, 2018; МиНег, 2009; ОепИ, М^еШегд, 2013; Bressem, 2012]. Прагматические жесты используются для акцентирования отдельных элементов дискурса, а также для иллюстрации позиции или отношения говорящего к обсуждаемой теме [Оеп№, 2017; АгЬопа et а1., 2023]. В данную категорию жестов входят жесты, не имеющие репрезентирующей или референтной
функций (рис. 1). Репрезентирующие (также именуемые в литературе иконическими) жесты, напрямую связаны с семантикой произносимого слова или фразы, они имеют функцию акцентирования описываемой идеи [М^еШегд, Evola, 2014]. Такие жесты могут нести функцию фаси-литации описываемой идеи, говорящий использует жесты рук для описания или проецирования описываемого концепта в пространстве. На рисунке 2 продемонстрирован репрезентирующий жест удержания, используемый переводчиком во время перевода числительного. В данном случае говорящий мануально «удерживает» искомый концепт, формулируя мысль о количестве исчезающих видов.
Рис. 1. Пример использования прагматического жеста „Von diesen- von dieser Zahl..." («Из это- из этого числа»)
Рис. 2. Пример использования репрезентирующего жеста „(haben wir). vierzehn Prozent beschrieben" («(мы). описали четырнадцать процентов»)
Дейктические жесты, используемые при описании концепта, имеют способность выстраивать вектор в пространстве, т. е. имеют определенное направление, которое может быть абстрактным или конкретным, и имеют модусы указания и касания [Оагк, 1996]. Данный тип жеста может сопровождать речь в случаях, когда говорящий указывает на что-то реальное (например, на
объект, который расположен где-то в поле зрения говорящего), так и на что-то абстрактное, находящееся за пределами видимости спикера (рис. 3).
Жесты-адаптеры являются единственным типом жестов, который не имеет семантического значения и направлен «на спикера», как, например, потирание рук, почесывание, поправление элементов одежды и т. д. (самоадаптеры) или на окружающие объекты - в случае, если говорящий осуществляет манипуляции с ними, например, крутит в руках шариковую ручку (объектные адаптеры) (рис. 4). Стоит отметить, что категория адаптеров в связи с отсутствием семантики часто упускается из поля зрения исследователей, и изучена недостаточно [Cienki, 2022]. Но жесты-адаптеры имеют одну важную функцию -поддержание самоконтроля в процессе продуцирования речи.
анализ и материал
Для получения результатов исследования был проведен анализ речи для выявления трудностей, а также визуальный и формально-семантический анализ жестов. Данная процедура проводилась в специальной программе для аннотирования речи и жестов ELAN (https://archive.mpml/tla/elan). Для реализации целей анализа в программе были созданы необходимые слои, в которых было проведено аннотирование трудностей и жестов (рис. 5).
Всего было проанализировано 20 видео: 10 видео перевода с немецкого языка на русский и 10 с русского языка на немецкий. В каждом видео было размечено по 2 минуты перевода. Таким образом, общее количество проанализированного материала составляет 40 минут (по 20 минут для каждого направления перевода).
Для увеличения точности анализа жестов запись перевода осуществлялась с двух камер, одна из которых располагалась сзади участника на штативе,
а вторая, маленькая камера, ставилась на стол непосредственно перед говорящим (Рис. 5). Такие ракурсы впоследствии позволяли проводить наиболее детальный анализ движений рук говорящих.
результаты исследования
Результаты проведенного исследования показали, что при переводе с немецкого языка на русский говорящие в основном используют жесты-адаптеры и прагматические жесты,со значительным перевесом в сторону адаптеров. При этом во время осуществления перевода с русского языка на немецкий говорящие использовали примерно одинаковое количество указанных двух типов жестов. Такое различие может указывать на то, что переводчики испытывали более высокую когнитивную нагрузку во время перевода на родной язык, поэтому они прибегали к невербальным способам снижения стресса.
Распределение использования жестов во время перевода в целом не показало разницы в количестве употребления жестов при смене направления перевода.
Рис. 5. Пример аннотирования в программе ELAN
Рис. 4. Пример использования жеста-самоадаптера
.....und nur wenn wir das alles beschreiben..."
(«...и только когда мы все это опишем.»)
Рис. 3. Пример использования дейктического жеста „Und nur dann." («И только тогда.»)
Таблица 1
ИСПОЛЬЗОВАНИЕ ЖЕСТОВ ПРИ ПЕРЕВОДЕ
адаптеры 316 268
прагматические 165 244
репрезентирующие 38 36
дейктические 11 19
ВСЕГО 530 567
График 1
ИСПОЛьЗОВАНИЕ ЖЕСТОВ ПРИ ПЕРЕВОДЕ С НЕМЕЦКОГО ЯЗЫКА НА РУССКИЙ
График 2
ИСПОЛьЗОВАНИЕ ЖЕСТОВ ПРИ ПЕРЕВОДЕ С РУССКОГО ЯЗЫКА НА НЕМЕЦКИЙ
Анализ жестового поведения синхронных переводчиков показал превалирование жестов-адаптеров при переводе с немецкого языка на русский, оно может указывать на стремление переводчиков к поддержанию самоконтроля и редуцированию стресса за счет невербального поведения. На вербальном уровне в данном направлении перевода наблюдается увеличения количества речевых трудностей (увеличение длительности звука, заполнители пауз). Вербальная и невербальная составляющие свидетельствуют в пользу предположения, что в данном направлении перевода синхронисты испытывали повышенную когнитивную нагрузку. Она может быть связана, например, с особенностями немецкого синтаксиса. В связи с тем, что исходный текст был посвящен научно-популярной тематике, в нем встречалось большое количество сложносочиненных и сложноподчиненных предложений. Принимая во внимание, что при построении, например, сложносочиненного предложения в немецком языке глагол как одна из основных семантических конструкций занимает конечную позицию, это может влиять на возможность прогнозирования, который имеет существенное значение в синхронном переводе. Данное утверждение также подкрепляется различиями в частотности случаев увеличения длительности звука, заполнителей пауз и наличии долгих пауз. В некоторых случаях такое растягивание может использоваться переводчиками как тактика перевода, поскольку данный фонетический процесс помогает «растянуть время», прослушать больше материала исходного текста и улучшить качество перевода за счет более длительной обработки поступающей информации и затем ее перевода.
Представляется интересным увеличение количества прагматических жестов при переводе с русского языка на немецкий. При количественном превалировании жестов-адаптеров, свидетельствующих о повышенной когнитивной нагрузке, наличие повышенного количества прагматических жестов может указывать на повышенную потребность переводчиков в использовании невербального поведения для концептуализации и поиска нужного варианта перевода (поиск слова). При этом прагматические жесты имеют важную
Таблица 2
ИСПОЛЬЗОВАНИЕ ЖЕСТОВ-АДАПТЕРОВ ПРИ СИНХРОННОМ ПЕРЕВОДЕ
типы трудностей немецкий-русский русский-немецкий
увеличение длительности звука 20 2
замедление общего темпа речи 8 4
долгие паузы 5 0
Продолжение таблицы 2
ИСПОЛЬЗОВАНИЕ ЖЕСТОВ-АДАПТЕРОВ ПРИ СИНХРОННОМ ПЕРЕВОДЕ
типы трудностей немецкий-русский русский-немецкий
повторы слов 6 4
неразборчивая речь/бормотание 6 4
прерывание высказывания 37 35
заполнители пауз 122 103
без трудности 111 116
ВСЕГО 315 268
График 3
График 4
ТРУДНОСТИ, ВОЗНИКАЮЩИЕ ПРИ ПЕРЕВОДЕ С НЕМЕЦКОГО ЯЗЫКА НА РУССКИЙ
ТРУДНОСТИ, ВОЗНИКАЮЩИЕ ПРИ ПЕРЕВОДЕ С РУССКОГО ЯЗЫКА НА НЕМЕЦКИЙ
1 1 1
заполнители пауз
обрыв речи 35
неразборчивая речь/бормотанне ■ 4
повторы слов ■ 4
долгие паузы 0
замедление общего темпа речи ■ 4
увеличениедлительности звука 1 2
функцию - построение дискурса, когда движения рук фактически способствуют фасилитации продуцирования речи [Kendon, 2017]. В исследованиях синхронного перевода на настоящий момент нет однозначного вывода о том, какое направление перевода является более ресурсно- и энергозатратным, однако исследования показывают, что именно перевод с родного языка на иностранный является более когнитивно затратным [de La Iglesia, Opdenhoff 2014; GumuL 2017].
заключение
Анализ синхронного перевода с немецкого языка на русский и с русского языка на немецкий
список источников
показывает весомую роль полимодального поведения при осуществлении данного вида деятельности. Количественный перевес в использовании жестов-адаптеров сигнализирует о повышенной когнитивной нагрузке, испытываемой переводчиками-синхронистами в обоих направлениях перевода. Адаптеры в данном случае способствуют мануальному редуцированию стресса, сохранению самоконтроля и позволяют справиться с ситуацией. Также была выявлена существенная роль прагматических жестов в обоих направлениях перевода, так как воспроизведение переводчиком данного типа жестов на невербальном уровне способствует фасилитации речевого поведения говорящего (происходит построение дискурса и / или поиск нужного концепта).
1. Sweller J. Cognitive load theory, evolutionary educational psychology, and instructional design // Evolutionary perspectives on child development and education. 2016. P. 291-306.
2. Seeber K. G. Cognitive load in simultaneous interpreting: Measures and methods // Target. International Journal of Translation Studies. 2013. V. 25. №. 1. P. 18-32.
3. Lederer M. La traduction simultanée: expérience et théorie. 1981.
4. Kendon A. Gesture: Visible action as utterance. Cambridge University Press, 2004.
5. McNeill D. So you think gestures are nonverbal? // Psychological review. 1985. V. 92. № 3. P. 350.
6. Iriskhanova O. K., Cienki A. The semiotics of gestures in cognitive linguistics: Contributions and challenges // Вопросы когнитивной лингвистики. 2018. № 4. P. 25-36.
7. Müller C. Metaphors dead and alive, sleeping and waking: A dynamic view. University of Chicago Press, 2009.
8. Cienki A., Mittelberg I. Creativity in the forms and functions of spontaneous gestures with speech // Creativity and the Agile Mind. 2013. P. 231-252.
9. Bressem J. Repetitions in gesture: Structures, functions, and cognitive aspects: PhD. dissertation, Faculty of Social and Cultural Sciences, European University Viadrina, Frankfurt (Oder), 2012.
10. Cienki A. Ten lectures on spoken language and gesture from the perspective of cognitive linguistics: Issues of dynamicity and multimodality. Brill, 2017.
11. Arbona E., Seeber K. G., Gullberg M. Semantically related gestures facilitate language comprehension during simultaneous interpreting // Bilingualism: Language and Cognition. 2023. V. 26. №. 2. P. 425-439.
12. Mittelberg I., Evola V. Iconic and representational gestures // Handbücher zur Sprach- und Kommunikationswissenschaft = Handbooks of Linguistics and Communication Science (HSK) / C. Müller, A. Cienki, E. Fricke, S. Ladewig, D. McNeill, J. Bressem. Berlin-Boston: De Gruyter Mouton, 2014. Vol. 38 (2). P. 1732-1746.
13. Clark H. H. Using language. Cambridge University Press, 1996.
14. Cienki A. The study of gesture in cognitive linguistics: How it could inform and inspire other research in cognitive science // Wiley Interdisciplinary Reviews: Cognitive Science. 2022. V. 13. № 6. P. 1623.
15. Kendon A. Pragmatic functions of gestures: Some observations on the history of their study and their nature // Gesture. 2017. V. 16. № 2. P. 157-175.
16. de la Iglesia M. B., Opdenhoff J. H. Retour interpreting revisited: Tuning competences in interpreter education // Editorial Review Board. Journal of Consumer Research. 2014. Vol. 41. No. 4. P. i-ii.
17. Gumul E. Explicitation and directionality in simultaneous interpreting // Linguistica Silesiana. 2017. V. 38. P. 311-329.
references
1. Sweller, J. (2016). Cognitive load theory, evolutionary educational psychology, and instructional design. Evolutionary perspectives on child development and education (pp. 291-306).
2. Seeber, K. G. (2013). Cognitive load in simultaneous interpreting: Measures and methods. Target. International Journal of Translation Studies, 25(1), 18-32.
3. Lederer, M. (1981). La traduction simultanée - expérience et théorie. Paris, France: Minard.
4. Kendon, A. (2004). Gesture: Visible action as utterance. Cambridge University Press.
5. McNeill, D. (1985). So you think gestures are nonverbal? Psychological review, 92(3), 350.
6. Iriskhanova O. K., Cienki A. (2018). The Semiotics of Gestures in Cognitive Linguistics: Contribution and Challenges. Issues of Cognitive Linguistics, 4, 25-36.
7. Müller, C. (2009). Metaphors dead and alive, sleeping and waking: A dynamic view. University of Chicago Press.
8. Cienki, A., Mittelberg, I. (2013). Creativity in the forms and functions of spontaneous gestures with speech. Creativity and the Agile Mind, 231-252.
9. Bressem, J. (2012). Repetitions in gesture: Structures, functions, and cognitive aspects. Faculty of Social and Cultural Sciences: European University Viadrina, Frankfurt (Oder). PhD Thesis.
10. Cienki, A. (2017). Ten lectures on Spoken language and Gesture from Perspective of Cognitive Linguistics. Issues of Dynamicity and Multimodality. Leiden, Boston: Brill.
11. Arbona, E., Seeber, K. G., Gullberg, M. (2023). Semantically related gestures facilitate language comprehension during simultaneous interpreting. Bilingualism: Language and Cognition, 26(2), 425-439.
12. Mittelberg, I., Evola, V. (2014). Iconic and representational gestures. In Müller, C., Cienki, A. Fricke, E., Ladewig, S., McNeill, D., Bressem, J. (eds.), Handbücher zur Sprach- und Kommunikationswissenschaft = Handbooks of Linguistics and Communication Science (HSK), 38(2), 1732-1746. Berlin/Boston: De Gruyter Mouton.
13. Clark, H. H. (1996). Using language. Cambridge University Press.
14. Cienki, A. (2022). The study of gesture in cognitive linguistics: How it could inform and inspire other research in cognitive science. Wiley Interdisciplinary Reviews: Cognitive Science, 13(6), 1623.
15. Kendon, A. (2017). Pragmatic functions of gestures: Some observations on the history of their study and their nature, Gesture, 16(2), 157-175.
16. de la IgLesia, M. B., Opdenhoff, J. H. (2014). Retour interpreting revisited: Tuning competences in interpreter education. Journal of Consumer Research, 41(4), i-ii.
17. Gumul, E. (2017). Explicitation and directionality in simultaneous interpreting. Linguistica Silesiana, 38, 311-329.
информация об авторах
леонтьева Анна Васильевна
научный сотрудник Центра социокогнитивных исследований дискурса (СКоДис) старший преподаватель кафедры фонетики факультета английского языка Московского государственного лингвистического университета младший научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН, Москва, Россия.
Агафонова Ольга Владимировна
младший научный сотрудник Центра социокогнитивных исследований дискурса (СКоДис) старший преподаватель кафедры лингвистики и профессиональной коммуникации в области медиатехнологий
Института международных отношений и социально-политических наук Московского государственного лингвистического университета
INFORMATION ABOUT THE AUTHORS Leonteva Anna Vasiliyevna
Researcher at the Center for Socio-Cognitive Discourse Studies (SCoDis) Senior Lecturer at the Department of English Phonetics Faculty of Moscow State Linguistic University
Junior Researcher at the Laboratory of Multi-Channel Communication Institute of Linguistics of Russian Academy of Sciences
Agafonova Olga Vladimirovna
Junior Researcher at the Center for Socio-Cognitive Discourse Studies (SCoDis)
Senior Lecturer at the Department of Linguistics and Professional Communication in the Sphere of Media Technologies Institute of International Relations and Social and Political Sciences Moscow State Linguistic University
Статья поступила в редакцию одобрена после рецензирования принята к публикации
14.03.2023 16.03.2023 20.04.2023
The article was submitted approved after reviewing accepted for publication
