CC BY
282
15. Langenscheidt Large dictionary. German as foreign language. Götz Dieter, Haensch Günther, Wellmann Hans (ed.). Berlin; München; Wien; Zürich; N. Y.: Langenscheidt, 2008.
16. LexerM. Middle German pocket dictionary. Leipzig: S. Hirzel Publishing house, 1974.
17. Schützeichel R. Old German dictionary. Tübingen: Max Niemeyer Publishing house, 1974.
18. SmeretschanskyR.I. Grammar of German. K.: Vysca skola, 1981.
УДК 81'342.9 UDC 81'342.9
Е.В. СИДОРОВА Y.V. SIDOROVA
аспирант кафедры английской филологии Орловского post-graduate Chair of English Philology, Orel State Uni-
государственного университета versity
E-mail:lenasid_08@mail.ru E-mail:lenasid_08@mail.ru
ИСПОЛЬЗОВАНИЕ МУЛЬТИМОДАЛЬНОГО ТЕКСТА ПРИ ИЗУЧЕНИИ ЭМОЦИОНАЛЬНОЙ РЕЧИ
USING A MULTIMODAL TEXT FOR STUDYING EMOTIONAL SPEECH
Данная статья посвящена вопросу изучения эмоциональной речи и анализа языковых и неязыковых средств выражения эмоций в мультимодальном тексте, то есть проблеме обоснования необходимости использования текста, сопровождаемого видео- и аудиорядом при изучении естественно-языковой коммуникации, а также описанию модели работы с таким текстом.
Ключевые слова: мультимодальный текст, эмоции, эмотивность, эмоциональность.
This article is devoted to the question of studying emotional speech and the analysis of language and not language means of expression of emotions in the multimodal text, that is a problem of grounding the need of use of the text accompanied by video and an audiorow at studying of natural language communication, and also to the description of model of work with such a text.
Keywords: multimodal text, emotions, emotivnost, emotionality.
Мультимедийный (мультимодальный) текст - это текст, в котором коммуникативная ситуация представлена с использованием нескольких модальностей восприятия, конкретно, зрения и слуха. В исследовательских целях аудиовизуальный материал сопровождается транскрипциями, аннотациями. Транскрипция коммуникации видеоряда является ее визуальной репрезентацией и должна быть с ним синхронизирована.
В идеале мультимодальный текст должен рассматриваться не сам по себе, а как элемент мультимодаль-ного корпуса. Мультимодальный корпус предоставляет нам богатый ресурс для качественного и количественного анализа прагматических функций высказываний и помогает получить эмпирические доказательства существования тех или иных паттернов эмоциональной разговорной речи и связать их с невербальными средствами, сопровождающими её, ведь коммуникация мультимодальна по своей природе, для полноценного коммуникативного акта необходимо задействование как вербальной, так и невербальной компоненты общения. В настоящем исследовании, однако, мы вопросов формирования мультимодальных (мультимедийных) корпусов касаться не будем.
Одним из ключевых понятий для нас является термин «коммуникативный, или речевой акт», так как
© Е.В. Сидорова © У.У. Sidorova
прагматическую разметку и анализ коммуникации (диалогической речи) легче проводить, опираясь на определенную парадигму. Данное понятие кажется, на первый взгляд, достаточно простым и часто используемым в лингвистике и означает «целенаправленное речевое действие, совершаемое в соответствии с принципами и правилами речевого поведения, принятыми в данном обществе; единица нормативного социоре-чевого поведения, рассматриваемая в рамках прагматической ситуации» [7]. В рамках коммуникативного анализа (подхода к прагматике, принятого Олвудом, Communicative Activity Analysis (анализа коммуникативного действия)) речевой акт рассматривается как действие, включающее в себя следующие составляющие: форму поведения (behavioral form), интенции говорящего (intentions), контекст (context), результат (result).
В процессе коммуникации говорящие и слушающие используют высказывания для совершения различных речевых действий, например, сообщения информации, просьбы, приказа, обещания, выражения эмоций и т.д. Большинство отечественных и зарубежных лингвистов сходятся во мнении, что процессу коммуникации присущи следующие функции: 1) информационная, 2) социальная, 3) экспрессивная, 4) прагматическая, 5) интерпретативная [2]. Центральной для нашего иссле-
дования является экспрессивная функция, так как именно она отвечает за стремление коммуникантов выразить и понять те или иные эмоции. Экспрессивная функция проявляется в выражении чувств, эмоций в процессе коммуникации через вербальные и невербальные средства. Эмоциональные и эмотивные коммуникативные акты выполняют также прагматическую и эмпатиче-скую функции.
Следует различать эмоциональную, эмотивную коммуникацию, непосредственное выражения эмоций при помощи целого комплекса вербальных, невербальных и паравербальных средств и коммуникацию с использованием имен эмоций (emotion terms), то есть слов, обозначающих эмоции (ср. такие термины, как «эмотивная коммуникация», «ассоциативно-эмотивная», «коммуникация об эмоциях» [5. с. 92-96], концептуально-дескриптивные, «холодные» эмоции (conceptually descriptive, cold emotions) - сигнализирующие, «горячие» эмоции (signal-like, hot emotions) [10 c. 170-173], дискурс об эмоциях (discourse on emotions) - эмоциональный дискурс (emotional discourse) [8. c. 10], коммуникация об эмоциях (emotion talk\talk about emotions) - выражение эмоций (expression of emotions) [9] и др.). По мнению В.И. Шаховского, в том случае, когда говорящий использует в речи обозначения эмоций, он/она тем самым выражает свое отношение к той или иной ситуации, явлению, словам собеседника, но перлокутивный эффект такого высказывания гораздо слабее, чем у высказываний выражения эмоций («получатель ощутит на себе совершенно иной эффект: прагматика высказывания будет минимум на один порядок снижена») [5. c. 95].
Таким образом, мы можем говорить о существовании дихотомии эмоциональной коммуникации и комплекса средств сигнализации, выражения эмоций (лексические, синтаксические, просодические и т.д.), с одной стороны, и коммуникации (высказываний) об эмоциях, содержащей средства (в основном лексические) денотации эмоций - с другой.
В эмоционально-экспрессивных речевых актах в рассмотренных нами примерах доминируют те, в ко -торых о степени интенсивности эмоции коммуникант узнает прежде всего из ее речевого выражения, а также мимики, кинесики своего собеседника, а не из ее описания. Например, 1. I am quite indignant at your remarks. («Pride and Prejudice») (при этом говорящий багровеет, хмурит брови и произносит фразу с сердитой интонацией - здесь одновременно реализуются рациональные и параязыковые средства: кинесика, просодия и т.д.); 2. God damn, steady the buffs! 3. What on earth are you doing here? 4. You dare speak that object's name to me? В этом случае очевиден интенсивный выразительный языковой компонент эмоции - соответствующая данной эмоции эмотивная лексика, синтаксические структуры и просодическое оформление. По речевым маркерам можно определить тип эмоции (в приведенных примерах мы имеем дело с отрицательной эмоцией недовольства разной степени интенсивности (от возмущения до гнева, ярости).
Хотя лингвисты и предлагают разграничивать данные ряды терминов (а именно «эмотивность», «эмоти-вы» и «эмоциональность») и либо исследуют только эмоциональность в коммуникации, не анализируя при этом эмотивы, либо говорят только об эмотивах, концептах (как в когнитивном подходе), нам представляется, что в коммуникации они все же часто взаимосвязаны и необходимо объединять данные подходы.
В фокусе нашего внимания находятся те составляющие коммуникации (вербальные, невербальные), которые помогают выразить ту или иную эмоцию. Многочисленные исследования эмоциональной речи (и наше в том числе) показали, что основными средствами выражения эмоциональности являются: интонация, глаголы, обозначающие ментальные процессы, различные тропы, градация (интенсификаторы, сравнения, модальность, наклонение, отрицание), повторы, метафоры, междометия, эмоциональная деривация, словообразование, неологизмы, диминутивы, инверсия, восклицание, использование местоимений, эмфаза, аффективная коннотация, оценочные прилагательные, а также паралингвистические средства, такие как мимика, жесты, тон голоса, тембр, темп, физиологические проявления эмоции, а также синтаксическая маркированность и т. д. Для описания эмоционального синтаксиса многими лингвистами используются понятия «ядерного» нейтрального предложения и его модификаций, которые возникают, когда говорящий находится в состоянии эмоционального возбуждения [1. с. 100]. Создав стройную парадигму эмоциональных модификаций, Т.Н. Синеокова [3. с.14] убедительно доказывает, что анализ синтаксиса эмоциональной речи базируется на отличиях ненейтральных (эмоциональных) высказываний по структуре и функциям от признаков ядерного предложения. Терминологический аппарат описания одного из ключевых аспектов эмоциональной речи - синтаксиса - разработанный, в частности, Т.Н. Синеоковой, М.Я. Блохом и др., - безусловно, удо -бен в использовании для анализа особых паттернов, возникающих в условиях эмоционального напряжения, так как предложенная классификация группы признаков восьми модификаций полна, однозначна, обладает способностью к прогнозированию и представляет синтаксические средства выражения эмоций упорядоченно и системно (для более подробного описания признаков ядерного предложения и их деформаций см. М.Я. Блох 1976, Т.Н. Синеокова 2004).
Для того чтобы проанализировать речь и жесты в системе, нами была выбрана следующая последовательность действий:
1. Идентификация вербального поведения при выражении эмоций;
2. Идентификация невербального поведения;
3. Объединение, комплексный анализ вербальной и невербальной компоненты коммуникации и изучение потенциала исследования паттернов и отношений между ними. В мультимодальном анализе выделяются следующие уровни с определенным набором признаков:
1) уровень текста (иллокутивная сила, перло-кутивный эффект, способы проявления эмоциональности на языковом уровне (синтаксические конструкции (модификации ядерного предложения), лексика, стилистика...)
2) аудиоуровень (интонация, темп речи, тембр, паузация, тональные параметры (частота основного тона, измеряемая в Герцах, форма кривой основного тона (перепады тона, увеличение\уменьшение диапазона частот и т.д.), контраст, эмфаза), интенсивность, длительность...)
3) видеоуровень (кинесика, мимика.)
На первом уровне аннотации необходимо идентифицировать коммуникативные акты, определяя иллокутивную силу высказывания, то есть намерение говорящего выразить ту или иную эмоцию. Если мы рассматриваем ответную реплику коммуниканта-собеседника, то можно говорить и о перлокутивном эффекте, реакции слушателя на выраженную в высказывании эмоцию и возникновении ответной реакции на стимул (триггер), в которой эксплицитно или имплицитно наблюдается та или иная эмоция. Целью анализа на данном уровне является определение типа и структуры коммуникативного акта, выражающего эмоции, а также языковых средств выражения эмоций (синтаксис, лексика)), ассоциируемых с тем или иным коммуникативным актом и позволяющих выделить их из множества других коммуникативных актов. При этом в процессе анализа встает проблема метаязыка, так как некоторые эмоциональные высказывания трудно четко однозначно описать по той причине, что «в эмоциях содержится некий «икс», который не поддается словесному выражению вообще» [4. с.90].
На аудиоуровне строится тонограмма определенного коммуникативного акта и производится анализ частоты основного тона, темпа и т.д. эмоционально окрашенного высказывания. Изучение особенностей маркированной интонации, базирующееся на выделении в эмоционально-окрашенной речи акустических параметров, несущих информацию о данном эмоциональном состоянии и определении значимости каждого из этих параметров путём анализа тонограмм, мы проводили при помощи программ «Cool Edit» и «Praat».
Видеоуровень предоставляет исследователю возможность проанализировать визуальные средства, сопровождающие те или иные эмоциональные коммуникативные акты и их связь с языковыми средствами по привязке к определенной коммуникативной ситуации. При комплексном анализе коммуникативной ситуации и паравербальных, невербальных, вербальных средств создания эмоциональности речи необходимо принимать во внимание взятие коммуникатвного хода (смена коммуникативных ролей) (turn-taking), наложение реплик говорящих друг на друга (speech overlapping), паузы, молчание, шумы, жесты и междометия, сопровождающие эмоциональные коммуникативные акты.
В заключение, рассмотрим конкретные примеры выражения некоторых эмоций, в различных фильмах.
1.
Jba.j-
Jeeves: Er late last night, sir.
Wooster: Late last night? And you cold-bloodedly stood by and let me walk to my certain doom? («Дживс и Вустер»).
1) уровень речи
В данном примере иллокутивной силой высказывания Вустера является выражение возмущения с оттенками удивления, вызванного словами и поведением его слуги Дживса. Маркирована данная эмоция при помощи синтаксиса (повтор фрагмента реплики собеседника с вопросительной интонацией Late last night?, несобственно-вопросительное предложение And you cold-bloodedly stood by and let me walk to my certain doom? (транспозиция), инверсия), лексики (эмфатически выделенное наречие cold-bloodedly с негативной коннотацией).
2) аудиоуровень.
Эмфатическая интонация повышения оканчивается эмфатическим тоном повышения Изменение (повышение) высоты тона голоса, а также интенсивности и перепад частот с 75 до 300 Гц наблюдается при эмфатическом выделении и помещении акцента, ударения на синтаксическую конструкцию повтора части реплики собеседника и на несущее эмоциональную нагрузку наречие cold-bloodedly. По словам Т.Е. Янко [6. c. 39], «ударно самое важное», и интонационное выделение вышеупомянутых слов помогает нам распознать иллокутивную цель говорящего. Деформация структуры предложения и превращение ее в несобственно-вопросительное коррелирует с изменением интонации (повышение тона в конце предложения, частота основного тона приблизительно 400 Гц).
3) видеоуровень
Актер, исполняющий роль Вустера, при произнесении эмоциональных реплик хмурит брови, активно жестикулирует. Индикатором удивления служат округленные глаза.
2.
- Once again I must protest! If you don't stop that phonograph right this minute I' m going to call the police department! («Завтрак у Тиффани») 1). Уровень речи.
Благодаря перформативному глаголу protest (семантически близкому к декларациям) и модальному глаголу must, восклицательным предложениям и синтаксической конструкции второй реплики (условное предложение) актер в данном коммуникативном акте (экспрессиве) выражает эмоцию высокой степени интенсивности, а именно гнев+угроза, а усилению
эмоциональности и категоричности высказывания способствует наречие right.
2). Аудиоуровень.
Акцент на перформативном глаголе выражен повышением громкости и напряженностью артикуляции. Этот акцент типичен для сильных перформативов. Исходя из анализа аудиограммы, надо отметить, что обе реплики произносятся довольно громко, с резким повышением голоса и усилением интенсивности на словах protest, call the police department. Высокие тоны в данных коммуникативных актах превалируют в диапазоне от 300 до 500 Гц. Наиболее выделено слово в конце второй реплики (the police department), которое получает сильный динамический акцент. В финале предложения мы видим резкое крутое падение тона, частота основного тона снижается с 500 до 290 Гц.
3). Видеоуровень
К физиологическим проявлениям эмоции относятся: энергичная жестикуляция, взмахи руками, пальцы рук, сжатые в кулак, нахмуренные брови.
3.
- Lara, this is really too much. Twice this week after midnight. What are people going to think of us? («Доктор Живаго»).
1). Уровень речи.
В данном примере иллокутивное намерение возмущение+упрек эксплицировано в основном за счет раздраженно произнесенного вокатива (Lara), оценочного модуса (this is really too much), перлокутивный эффект которого усилен при помощи интенсификаторов (really, too), эллиптической синтаксической конструкции (Twice this week after midnight) и типичной для упрека вопросительной конструкции What are people going to think of us?). К эллиптическим конструкциям относятся отсутствие подлежащего, сказуемого, подлежащего и части сказуемого, обоих членов предложения и строевых элементов - артиклей, союзов, предлогов, частиц. Отсутствие коммуникативно-незначимых элементов приводит к тому, что компоненты предложения, являющиеся для говорящего эмоциональной доминантой, как правило, становятся ремой.
2). Аудиоуровень.
Рема Twice становится акцентоносителем (термин Т.Е.Янко). Важную роль в выражении эмоций в данных репликах играют паузы, которые четко слышны в аудиограмме (и различимы на тонограмме), они подчеркивают высокую степень раздражения героини аморальным поведением дочери. Стремясь проявить эмоции наиболее подобающим для данной ситуации способом, актриса говорит прерывистым голосом, как будто пытаясь подобрать подходящие слова. Пик в 490 Гц достигается при произнесении вопроса, в заключительной части которого наблюдается падение тона, нисходящая интонация.
3). Видеоуровень.
Реплики произносятся прерывистым голосом, в глазах героини заметны слезы, а в голосе и жестах - дрожь. 4.
--1 |. . ■ ■ ---и-н—
__ AAW и 5л чМи j .. » .. .A*,-, . ...
- Open it! Open it. I want to know if you or he are lying. Open it! A thousand pounds. You might have spared me a hundred, Becky. I always shared with you.(«Ярмарка тщеславия»)
1). Уровень речи.
Синтаксические деформации нейтрального ядерного предложения здесь служат ключевыми вербальными средствами выражения иллокутивного намерения гнев+упрек. В данных репликах используются разнообразные эмоционально-экспрессивные синтаксические конструкции: повтор побудительного, восклицательного предложения (директива), эллипсис, вокатив.
2). Аудиоуровень
Высказывания Open it! Open it. I want to know if you or he are lying. Open it произносятся с высокой степенью интенсивности и резко контрастируют с последующими репликами. Директивы, повторы наиболее выделены интонационно и характеризуются резким подъемом тона до 500 Гц и повышением громкости голоса. Упрек выражен спокойным тоном и голосом, и его можно отнести к эмоции слабой степени интенсивности.
- Elsa, you believe in this, too.
- You want this country to be strong...
- No, Ralf, no! No, not that! («Мальчик в полосатой пижаме»).
1). Уровень речи.
Иллокутивная цель реплики- No, Ralf, no! No, not that! Выражение гнева и ужаса достигается благодаря повторам и эмфатически выделенному вокативу (Ralf). Эмоциональную нагрузку в данном случае несет синтаксис.
2). Аудиоуровень
На данной тонограмме четко виден контраст между нейтральными репликами мужа Эльзы и ее эмоциональной репликой, произнесенной с усилением акцента, интенсивности, повышением тона, высоты и громкости голоса при многократном повторении отрицательной частицы no. Перепады тона довольно резкие с крутыми восходящими и восходяще-нисходящими тонами и подъемами.
3). Видеоуровень.
Для выражения данного типа эмоции характерны слезы, дрожь в теле, прерывистые, резкие движения, искаженная мимика, всхлипы, рыдания, что мы и наблюдаем на данном видеоотрывке.
Итак, в заключение хотелось бы подчеркнуть, что
использование мультимодального текста дает возможность исследовать коммуникацию во всей ее полноте, позволяя получить объемное и более объективное представление о коммуникативной ситуации. Анализ как содержательного, так и произносительного аспекта речи в совокупности с паралингвистическими средствами,
дает нам более реалистичную картину речевого взаимодействия, чем простое изучение письменного текста. Особое значение это имеет при изучении эмоциональной коммуникации, которая в большой степени опирается на неязыковые выразительные средства.
Биб.шографический список
1. Блох М.Я. Проблемы парадигматического синтаксиса: (На материале английского языка): Дис. докт. филол. наук. М., 1976. 444 с.
2. Грушевицкая Т.Г., В.Д.Попков, А.П.Садохин. Основы межкультурной коммуникации: Учебник для вузов под ред. А.П.Садохина. М.ЮНИТИ-ДАНА, 2002. 352с.
3. Синеокова Т.Н. Парадигматика эмоционального синтаксиса (на материале английского языка). Дис. докт. филол. Наук. М., 2004. 383 с.
4. Шаховский В.И. Категоризация эмоций в лексико-семантической системе языка. Воронеж, издательство Воронежского университета, 1987.- 193 с.
5. Шаховский В.И. Эмотивная семантика слова как коммуникативная сущность.Сб.: «Коммуникативные аспекты значения». Волгоград:Волгр. пед. ин-т, 1990.
6. Янко Т.Е. Интонационные стратегии русской речи в сопоставительном аспекте. М.: Язык славянских культур. 2008. 312 с. (Studia philological).
7. Ярцева В.Н. Лингвистический энциклопедический словарь. М.: «Советская Энциклопедия», 1990. 685с
8. Abu-Lughod & Lutz 1990. 'Introduction : emotion, discourse, and the politics of everyday life'. In Lutz & Abu-Lughod (eds): 1-23.
9. Bamberg, M. 1997. 'Language, concepts, and emotions. The role of language in the construction of emotions' http:// www. massey. ac.nz/~ alock/virtual/bamberg.htm.
10. Danes F. 1987.'Cognition and emotion in discourse interaction'. Preprints of the Plenary Session Papers, xiv International Linguistic Congress Berlin (East), 10-15 August 1987: 272-91.
References
1. Blokh M.Ya. Problems of Paradigmatic Syntax (By the Example of the English Language): Doctor of Philology Dissertation [Text] / M.Ya. Blokh. Moscow, 1976. 444 p.
2. Grushevitskaya T.G., V.D.Popkov, A.P.Sadohin. Fundamentals of Cross-cultural communication: Textbook for Higher Educational Institutions, ed. by A.P.Sadohin. M.UNITY- DANA, 2002. 352 p. (electronic resource)
3. Sineokova T.N. Paradigmatics of Emotional Syntax: (By the Example of the English Language): Doctor of Philology Dissertation. M., 2004. 383 p.
4. Shachovskij V. I. The Categorization of Emotions in the Lexical-semantic System of Language. Voronezh: Voronezh State University, 1987. - 192 p.
5. Shahovskij V.I. Emotive Semantics of Word as a Communicative Entity. «Kommunikativnye aspekty znachenija». «Communicative aspects of meaning». Volgograd: Volgograd Teachers' Training Institute publ., 1990.
6. Janko T. E. Intonation strategies of Russian speech in comparative aspect. M.: «Jazyki slovjanskoj kultury». 2008. 312 p. (Studia philological).
7. Yartseva V.N. Linguistic encyclopedic dictionary. M.: «Soviet Encyclopedia», 1990. 685 p.
8. Abu-Lughod & Lutz 1990. 'Introduction : emotion, discourse, and the politics of everyday life'. In Lutz & Abu-Lughod (eds): 1-23.
9. Bamberg, M. 1997. 'Language, concepts, and emotions. The role of language in the construction of emotions' http:// www. massey. ac.nz/~ alock/virtual/bamberg.htm.
10. Danes F. 1987.'Cognition and emotion in discourse interaction'. Preprints of the Plenary Session Papers, xiv International Linguistic Congress Berlin (East), 10-15 August 1987: 272-91.
