CC BY
55
УДК 81.42
А. В. леонтьева, О. В. Агафонова, А. А. Петров
Леонтьева А. В., старший преподаватель кафедры фонетики английского языка факультета английского языка Московского государственного лингвистического университета; e-mail: [email protected]
Агафонова О. В., младший научный сотрудник Центра СКоДис, преподаватель кафедры лингвистики и профессиональной коммуникации в области медиатехнологий Института международных отношений и социально-политических наук Московского государственного лингвистического университета; e-mail: [email protected]
Петров А. А., зам. начальника оНМиН, научный сотрудник Центра СКоДис Московского государственного лингвистического университета; e-mail: [email protected]
НЕКОТОРЫЕ ОСОБЕННОСТИ УПОТРЕБлЕНИя ЖЕСТОВ
при изменении темпа речи в синхронном переводе1
Авторы статьи анализируют употребление жестов при смене темпа речи говорящего, осуществляющего синхронный перевод, который рассматривается как профессиональная деятельность с повышенной когнитивной нагрузкой. Исследование проведено на материале видеозаписей перевода научно-популярных лекций, взятых с ресурсов TedTalk и ПостНаука, который осуществлялся с английского языка на русский и с русского языка на английский. Устанавливаются закономерности использования спонтанных жестов в моменты таких нарушений беглости речи, как увеличение длительности звуков, общее замедление речи и длинные паузы.
Ключевые слова: синхронный перевод; когнитивная нагрузка; нарушение темпа речи; полимодальность; жесты.
A. V. Leonteva, O. V. Agafonova, A. A. Petrov
Leonteva A. V., Senior Lecturer, Department of English Phonetics,
Faculty of English, Moscow State Linguistic University;
e-mail: [email protected]
Agafonova O. V., Junior Researcher, SCoDis, Lecturer,
Department of Linguistics and Professional Communication
in the Sphere of Media Technologies, Moscow State Linguistic University;
e-mail: [email protected]
Petrov A. A., Deputy Chief, ONMiN, Researcher, SCoDis, Moscow State Linguistic University; e-mail: [email protected]
1 Исследование выполнено в Московском государственном лингвистическом университете в рамках гранта Российского научного фонда (проект №19-18-00357).
SOME CHARACTERISTICS OF GESTURES USED WITH CHANGES OF SPEECH TEMPO IN SIMULTANEOUS INTERPRETING
The authors analyze the use of gestures that accompany changes in speech tempo during simultaneous interpreting, which is regarded as a professional activity conducted under the increased cognitive load. The research is based on English -Russian and Russian - English simultaneous interpreting of TedTalk and PostNauka popular science video lectures. The gestures of spontaneous interpreters who interpreted audio recordings of these lectures were analyzed with a view to those hand movements that co-occurred with disfluencies, such as sound dragging, slowing down of tempo and long pauses.
Key words: simultaneous interpreting; cognitive load; tempo disfluencies; multi-modality; gestures.
Когнитивная нагрузка при синхронном переводе
Процесс синхронного перевода с одного языка на другой является довольно сложным многозадачным явлением, которое включает в себя несколько ступеней обработки информации. Перевод требует решения лингвистических задач, одновременной активизации разного рода ментальных процессов: внимания, слушания и осмысления поступающей информации; осуществления лингвистических манипуляций для преобразования сообщения с одного языка на другой; рабочей памяти для воспроизведения перевода при одновременном поступлении текста речи говорящего [Seeber 2017].
Исследованием когнитивной нагрузки при осуществлении синхронного перевода занимаются специалисты разных научных сфер от психолингвистики до нейрофизиологии. Данные нейрофизиологических исследований показывают, что во время синхронного перевода активизируются такие зоны головного мозга, как левая нижняя лобная кора и височная доля, которые играют ключевую роль в речевом процессе и понимании языка, правое полушарие мозжечка совместно с базальными ядрами, которые отвечают не только за контроль движений, но и за восприятие и порождение речи [Hervais-Adelman, Babcock 2019].
Мозг переводчика задействует механизмы для поиска и продуцирования соответствующих ситуации лексических, синтаксических и фонетических единиц, а также отказа от нерелевантных альтернатив [Hervais-Adelman, Babcock 2019]. В отличие от воспроизведения речи
на родном языке, продуцирование языка при синхронном переводе начинается с намерения выразить идею, сформулированную не самим переводчиком, а кем-то другим. Более того, иногда переводчики вынуждены воспроизводить предложение или суждение, переданное на исходном языке, в измененном или усеченном виде [Seeber 2011].
Перечисленные выше задачи являются ресурсоемкими, требующими существенной когнитивной нагрузки на оперативную и долговременную память, внимание, мышление. Однако энергия, которая направлена на реализацию подобных процессов, является ограниченной, поэтому нередко перевод требует больше сил, чем есть в запасе у переводчика. В случае когда запас энергии исчерпывается, продуктивность и качество перевода начинают падать [Gile 1995].
Для описания когнитивной нагрузки в ходе перевода были предложены разные модели. В частности, Д. Гайл предложил модель, в рамках которой синхронный перевод рассматривается как совокупность когнитивных операций, сводящихся к трем типам усилий. Первый тип объединяет операции, направленные на понимание речи в тексте для перевода. Такие усилия связаны со слушанием и анализом материала (Listening Effort или Listening and Analysis Effort). Второй тип операций связан с продуцированием исходной речи и включает в себя самоконтроль и внесение исправлений в собственную речь (Production Effort). Последний, третий тип операций отвечает за хранение и извлечение информации из кратковременной памяти (Memory Effort). Все три типа подчиняются усилиям по координации (Coordination Effort), которые помогают распределять внимание и задействовать три вышеуказанных типа. Все когнитивные операции, составляющие каждый из типов, не являются автоматическими и требуют затрат времени и энергии на обработку данных. При активации нескольких усилий одновременно требуется еще больше времени и энергии [Gile 2008; Gile 1999].
Отмечается, что особенно сложной является быстрая речь, речь с незнакомым акцентом или незнакомой логикой повествования / построения речи, а также речь, содержащая сложносоставные или незнакомые переводчику слова, числа, перечислительные конструкции и идиомы [Gile 1995; Gile 2008; Mazza 2000; Pukovâ 2006; Cattaneo 2004].
В данном исследовании мы выделяем моменты затруднений не на основании характеристик текста-источника, а на основании
просодических характеристик. Другими словами, мы рассматриваем такие затруднения, которые сопровождаются изменением скорости воспроизведения речи. К таким изменениям мы отнесли следующие: увеличение длительности звуков при произнесении слова, общее замедление речи и долгие паузы.
Целью исследования является проведение полимодального (муль-тимодального) анализа подобных затруднений, который учитывал бы жестовые особенности поведения синхронных переводчиков. Мы предполагаем, что в данные моменты переводческой деятельности жесты будут играть существенную роль. Наше предположение основывается на исследованиях, в которых изучается многообразие функций жестов.
Роль жестов в речи: коммуникативные гипотезы vs. гипотеза лексического доступа
Существуют разные теоретические и эмпирические подходы, объясняющие функции использования жестов при речевых затруднениях. Большинство из них базируются на идее о том, что речь и жесты представляют собой единую, интегрированную систему построения дискурса. Определяя функции этой интегрированной системы, некоторые исследователи полагают, что использование жестов в речи сводится преимущественно к компенсации, т. е. с помощью жестов говорящие справляются с трудностями, возникающими при переводе [Graziano, Gullberg 2018].
Данное исследование базируется на гипотезе лексического доступа (Lexical Retrieval Hypothesis), согласно которой «лексические», включая репрезентативные и метафорические, жесты способствуют поиску слов при построении речи за счет задействования пространственных и динамических характеристик искомого понятия [Holler, Turner, Varcianna 2013].
Р. Краусс, Ю. Чен, Р. Готтесман полагают, что важнейшей функцией жестов является упрощение поиска слова. В ходе исследований было обнаружено, что в случае, когда испытуемые не имели возможности использовать жесты, доля ошибок и трудностей в их речи увеличивалась. По мнению авторов, жесты способствуют поиску слова в случае, когда сам жест несет характеристики искомого понятия [Krauss, Chen, Gottesman 2000].
Ж. Б. Бэйвелас, Н. Човил, Г. Кларк, А. Кендон считают, что жесты, сопровождающие речь, несут преимущественно коммуникативную функцию, т. е. жесты являются средством поддержания коммуникации с собеседником. Большинство жестов, используемых в речи, необязательно имеют коммуникативную направленность. Например, при разговоре по телефону собеседник не видит жестов говорящего, но это не исключает, что последний не использует их в речи. Если же-стовое поведение человека носит исключительно коммуникативную направленность и несет информацию, необходимую для передачи некого намерения, то говорящий должен быть уверен, что значения используемых им жестов будут корректно восприняты собеседником [Krauss, Chen, Gottesman 2000].
Представляется, что коммуникативная функция и функция стимулирования поиска слова не являются взаимоисключающими, так как обе функции могут реализовываться одновременно в одном жесте.
Материал и методы анализа: выбор категорий для аннотирования жестов
Материалом для анализа являются 12 видеозаписей со средней продолжительностью около 10 минут. Общая продолжительность видеокорпуса составляет 120 минут. Каждая видеозапись является синхронным переводом научно-популярных текстов единой тематики (эволюция животного мира) с русского на английский (https:// postnauka.ru/video/49851) или с английского на русский язык (https:// www.ted.com/talks/michael_benton_mass_extinctions_and_the_future_ oflifeonearth).
Материал был проанализирован с помощью специальной программы для аннотирования жестов ELAN (https://archive.mpi.nl/tla/elan). В программе были заданы следующие параметры речевого поведения участников: затруднения, их типы, а также функциональные типы жестов, коррелирующие с выделенными затруднениями (рис. 1).
В ходе исследования были отмечены следующие типы трудностей, связанные с изменением темпа речи говорящих: увеличение длительности звука (гласных и согласных), общее замедление темпа речи и длинные паузы. Под увеличением длительности звука понимается продолжительное произнесение определенного звука, например нуууу, innnn. Общее замедление темпа речи - это его снижение
Рис. 1. Аннотирование жестов в программе ELAN
относительно нормальной скорости говорения конкретного испытуемого. Под длинными паузами понимается приостановка перевода, после которой происходит резкое увеличение темпа речи и / или опущение информации из источника перевода.
Анализ жестового поведения говорящих также показал, что участники эксперимента используют следующие типы жестов: адапторы, репрезентирующие, прагматические, ритмические (beats) и дейкти-ческие жесты [Eckman 2004; Kita 2000; Mittelberg 2014; Beattie and Coughlan 1998; Clark 1996; Bressem, Müller 2014; McNeil, Levy 1993].
К жестам-адапторам относятся движения, которые могут быть направлены на себя (касания рук, приглаживание волос, почесывание и т. п.) или на внешние предметы (говорящий может касаться стола, перекатывать ручку, трогать панель управления и т. д.). По мнению исследователей, наличие жестов-адапторов свидетельствует о повышении уровня стресса и частично потери контроля над ситуацией со стороны говорящего [Eckman 2004]. Их использование связывают с попытками снизить общее напряжение и вернуть контроль над ситуацией [Eckman 1972; Planap 1999].
Репрезентирующие жесты определяются соответствием между формой самого жеста и объектом репрезентации: человеком, вещью, действием или событием. Они могут основываться на различных
ментальных образах или воспоминаниях и способствуют усилению мыслительной и речевой деятельности [Kita 2000; Mittelberg 2014]. Продуцирование репрезентативных жестов способствует поиску нового слова в состоянии, когда говорящий затрудняется вспомнить такое слово, которое «вертится у него на языке» (tip-of-the-tongue state) [Beattie and Coughlan 1998].
Дейктические особенности жестов связаны со способностью частей тела человека (палец, рука, локоть, подбородок и т. д.) создавать векторные направления в пространстве [Clark 1996]. Дейктические жесты используются для конкретизации объекта речи (этот предмет, та книга) и его пространственно-временного расположения. Такие жесты указывают на пространство для описания некой идеи, однако исключают репрезентацию самого объекта в своей форме или характере движения. Основная функция таких жестов - референтная. В работе мы выделяем два типа дейктических жестов: указательные жесты и касания.
Последний тип жестов - прагматические жесты, включают в себя движения рук, которые не обладают репрезентирующей или референтной функциями. Такие жесты не являются уникальными и семантически не связаны с определенным словом. Они проявляют способность повторяться в различных контекстах сохраняя сходную форму и характер движения. Например, к таким жестам относятся жесты-отрицания и цикличные жесты, которые могут использоваться для поиска нужного слова [Bressem, Müller 2014]; жесты, которые передают отношение говорящего к предмету разговора или содержащие его оценку, передают точку зрения говорящего; всевозможные жесты, способствующие построению дискурса и установлению контакта с реципиентом.
В работе также выделяется такая подкатегория жестов, как ритмичные жесты, или биты (beats or batons) [McNeil, Levy 1993]. Ритмичностью могут обладать любые вышеперечисленные жесты в случае, если движения рук совпадают с ритмом речи. Например, говорящий опускает и поднимает руки или пальцы на каждом ударном слоге.
Особенности употребления жестов при изменении темпа речи
В результате анализа было выявлено 552 случая проявления трудностей, которые приводят к изменению темпа речи говорящих. Наиболее частотным типом затруднений является увеличение длительности
Таблица 1
Суммарное количество трудностей и жестов
Трудности Жесты
Увеличение длительности звука 319 Адаптеры 235
Общее замедление речи 211 Прагматические 105
Долгие паузы 22 Репрезентирующие 40
Ритмичные 38
Дейктические 3
ВСЕГО 552 ВСЕГО 421
звуков (319 случаев). Также довольно распространено общее замедление речи (211 случаев). Наиболее редко встречаются долгие паузы (22 случая) (см. табл. 1).
Полученные данные указывают на то, что переводчики - участники исследования, склонны увеличивать длительность гласных и согласных звуков (...чтоооо примерно одна сотня видов... ; We... we knnnow such...), что позволяет не прерывать поток речи и аккумулировать силы при высокой когнитивной нагрузке.
Отметим, что синхронные переводчики реже прибегают к общему замедлению темпа речи, так как, по-видимому, это приводит к необходимости более интенсивного одновременного осуществления процессов восприятия, запоминания и продуцирования информации, в связи с чем существенно возрастает когнитивная нагрузка.
.. .мог / ли // ти / рекс...
самые простые модели / его /// черепа / поэтому если Вы / хотите / сформировать // полноразмерную модель // всего скелета / и // мышечной массы.
Условные обозначения: / - незначительное замедление темпа речи, // - замедление темпа речи, /// - значительное замедление темпа речи.
В случае, когда переводчики делают длинные паузы, происходит нарушение вышеуказанных процессов, что ведет к опущениям и нарушению целостности перевода. Так, в приведенном ниже примере
переводчик перевел первую часть предложения исходного текста, однако дальше в переводе мы видим опущение: отсутствует последняя часть первого предложения исходного текста. Информация из второго предложения также передана не полностью: указано лишь количество вымерших видов (см. табл. 2).
Исходный And that means that as they come and go, on average, we
текст would expect the extinction of five million species every
million years, // which is five species per year. So that does contrast remarkably even at the lowest estimate of human impact: 500 species per year is 100 times ... the normal rate of 5 per year //.
Текст Э, мы могли ожи... мы можем ожидать исчезновение около
перевода пяти миллионов видов за каждый миллион //...........// ээ
видов ээ это ээ говорит о том, что ээ исчезает ежедневно пятьсот видов, ежегодно пятьсот видов, соответственно, это приводит к большому ээ уровню.
Анализ жестов, сопутствующих интересующим нас затруднениям, показал, что абсолютное большинство используемых жестов -адапторы (см. табл. 2). Как указывалось выше, адапторы используются в случаях повышенной когнитивной нагрузки для установления контроля над ситуацией. Таким образом, можно предположить, что процесс синхронного перевода действительно подразумевает высокую когнитивную нагрузку, которую переводчики стараются снизить за счет кинетического фактора, а именно неосознанных жестов касания и хватания (см. [Ирисханова, Петров, Маковеева, Леонтьева 2019]).
Вторыми по частотности являются прагматические жесты. Значительное количество таких жестов может указывать на попытку снижения когнитивной нагрузки за счет структурирования своей речи (дискурсивные функции таких жестов), а также переключения на точку зрения того говорящего, кого в данных момент переводят [Ирисханова, Петров, Маковеева, Леонтьева 2019].
Отметим, что при затруднениях, связанных с темпом речи (общим замедлением речи), репрезентирующие жесты используются довольно редко (40 случаев употребления). Это может быть связано с тем, что такие жесты в меньшей степени способны помочь говорящему
справиться с трудностями ввиду своей образности и значительной зависимости от контекста. Дейктические жесты практически не представлены (три случая употребления).
Таблица 2
количество затруднений и используемых с ними жестов
Жесты увеличение длительности звука общее замедление речи долгие паузы
Адаптеры 139 80 16
Репрезентирующие 20 20 0
Прагматические 59 44 2
Ритмичные 15 22 1
Дейктические 2 1 0
Нет жеста 84 44 3
Выводы
Процесс синхронного перевода представляет собой вид деятельности, требующий существенных когнитивных усилий, поскольку для него характерна одновременная активизация различных ментальных процессов (внимания, слушания и осмысления поступающей информации), преобразование сообщения с одного языка на другой и задействование рабочей памяти для воспроизведения перевода при одновременном поступлении текста речи говорящего.
Вследствие высокой когнитивной нагрузки и иных специфических особенностей синхронного перевода у участников проведенного эмпирического исследования наблюдались речевые затруднения, связанные с изменением темпа речи. К ним были отнесены следующие затруднения: увеличение длительности звуков, общее замедление речи и длинные паузы.
Для снижения высокой когнитивной нагрузки говорящие использовали жесты. Наиболее употребляемыми жестами являются адаптеры и прагматические жесты. Адаптеры способствуют поддержанию контроля над ситуацией. Прагматические жесты служат для поддержания
структуры перевода, в том числе за счет принятия перспективы человека, чью речь необходимо перевести. Ритмичность жестов помогает избежать прерывания речи при возникновении трудностей в процессе перевода. Отсутствие жестов при затруднениях, по-видимому, связано с индивидуальными жестовыми моделями поведения участников эксперимента.
СПИСОК ЛИТЕРАТУРЫ / REFERENCES
Ирисханова О. К., Петров А. А., Маковеева А. И., Леонтьева А. В. Когнитивная нагрузка в условиях синхронного перевода: опыт полимодального анализа. Когнитивные исследования языка. 2019. Вып. XXXVIII.
C. 100-116. [Iriskhanova, O. K., Petrov, A. A., Makoveeva, A. I, Leonteva, A. V. (2019). Kognitivnaya nagruzka v usloviyah sinhronnogo perevoda: opyt polimodalnogo analiza (Cognitive Load in Simultaneous Interpretation: a multimodal analysis). Kognitivniye issledovaniya yazika (pp. 100-116). Vyp. XXXVIII. (In Russ.)].
Beattie G., Coughlan, J. An experimental investigation of the role of iconic gestures in lexical access using the tip-of-the-tongue phenomenon. British Journal of Psychology 89, 1998. P. 35-56. Bressem J., Müller, C. The family of away gestures: Negation, refusal, and negative assessment. Body - Language - Communication: An international Handbook on Multimodality in Human Interaction. Handbooks of Linguistics and Communication Science 38.2. / C. Muller, A. Cienki, E. Fricke, SH Ladewig,
D. McNeill and J. Bressem [eds.]. Berlin-Boston: De Gruyter Mouton, 2014. Pp. 592-1604.
ClarkH. Using Language. Cambridge: Cambridge University Press, 1996. Clark H. Pointing and placing. Pointing: Where Language, Culture and Cognition Meet. Edited by Sotaro Kita. Lawrence Erlbaum Associates, Publishers. Mahwah, New Jersey, London, 2003. Pp. 242-268. Cattaneo E. Idiomatic expressions in conference interpreting. Graduation thesis,
SSLMIT, Universita degli Studi di Bologna, Sede di Forli, 2004. Eckman P. Universals and Cultural Differences in Facial Expressions of Emotion // Nebraska Symposium on Motivation / J. Cole (Ed.). Lincoln, NE: University of Nebraska Press, 1972. Pp. 207-282. Eckman P. Emotions Revealed: Recognizing Faces and Feelings to Improve
Communication and Emotional Life. Henry Holt and Company. 2004. Gile D. Basic Concepts and Models for Interpreter and Translator Training.
Amsterdam / Philadelphia. John Benjamins, 1995. Gile D. Testing the Effort Models' tightrope hypothesis in simultaneous interpreting -A contribution. Hermes 23, 1999. Pp. 153-172.
Gile D. Local Cognitive Load in Simultaneous Interpreting and its Implications for Empirical Research. ESIT - Université Paris 3 Sorbonne Nouvelle. 2008. Published in Forum 6:2. Pp. 59-77.
Graziano M., Gullberg M. When Speech Stops, Gesture Stops: Evidence From Developmental and Crosslinguistic Comparisons. Front. Psychol, 2018. Pp. 1-17.
Hervais-Adelman A., Babcock L. The neurology of simultaneous interpreting: Where extreme language control and cognitive control intersect. Bilingualism: Language and Cognition, 2019. Pp. 1-12.
Holler J., Turner K. & Varcianna T. It's on the tip of my fingers: Co-speech gestures during lexical retrieval in different social contexts, Language and Cognitive Processes, 2013. Pp. 1509-1518.
Kita S. How representational gestures help speaking. In D. McNeill (Ed.), Language and gesture. Cambridge: Cambridge University Press, 2000. Pp. 162-185.
Krauss, R. M., Chen, Y., & Gottesman, R. F. Lexical gestures and lexical access: A process model. In D. McNeill (Ed.), Language and gesture. New York: Cambridge University Press, 2000. Pp. 261-283.
Mazza, C. Numbers in Simultaneous Interpretation. Unpublished Graduation thesis, SSLMIT, Universita degli Studi di Bologna, Sede di Forli, 2000.
McNeill D. & Levy Elena T. Cohesion and gesture. Discourse Processes. 1993. Pp. 363-386.
MittelbergI., Vito E. Iconic and representational gestures, 2014. Pp. 732-1746.
Planap S. Communicating Emotion. New York: Cambridge University Press, 1999.
Pukovâ Z. Daniel Gile's Effort Model and its application to simultaneous interpreting of texts with a high concentration of numerical data and enumerations (in Czech). Master's thesis, Charles University, Prague, 2006.
Seeber K. G. Cognitive load in simultaneous interpreting: Existing theories - New models. Interpreting^ 2011. Vol. 13 (2). Pp. 176-204.
Seeber K. G. Multimodal Processing in Simultaneous Interpreting. In The Handbook of Translation and Cognition . Hoboken, NJ, USA: John Wiley, 2017. P. 461-475.
