CC BY
42
УДК 81'34 +81'33 +811.111 +81'221
Е. С.Кудинова
кандидат филологических наук,
доцент кафедры английского языка как второго переводческого факультета Московского государственного лингвистического университета; e-mail: kudinova@yandex.ru
СОВРЕМЕННЫЕ МЕТОДЫ ИССлЕДОВАНИя
речежестового взаимодействия
В статье предпринимается попытка определить статус невербальной коммуникации как области полимодальной лингвистики, рассматриваются и развенчиваются мифы и заблуждения о невербальной коммуникации, бытующие в обществе; анализируются современные методы исследования речежестового взаимодействия. В исследовании представлены методика и результаты полимодального эксперимента, проведенного с помощью компьютерной программы Elan на примере лекционного дискурса. В результате проведенного комплексного эксперимента установлена корреляция вербального, невербального и просодического компонентов лекционного дискурса. Выявлено, что в речежестовом поведении информантов доминируют иллюстраторы и регуляторы, при этом в речи информант 1 использует преимущественно средние нисходящие тоны, а информант 2 - средние нисходящие и ровные тоны. Наблюдается некоторая вариативность корреляции тонов и движения жестовых манифестаций. Так, нисходящие тоны сопровождаются иллюстраторами как с нисходящей, так и с латеральной траекторией движения. В речежестовом поведении информантов зафиксирована высокая частотность нисходящей скользящей и смешанной шкал, сопровождаемых разнообразными иллюстраторами (акцентирующими, дейктическими, сопоставительными жестами, кинетографами; жестами, используемыми при перечислении) и регуляторами, которые придают большую эмоциональность высказываниям.
Ключевые слова: лингвистика; полимодальная лингвистика; невербальная коммуникация; жест; иллюстраторы; регуляторы; речежестовое взаимодействие; интонация; методы лингвистических исследований; лженаука.
E. S. Kudinova
PhD (Philology), Associate Professor, Department of English
as a Second Foreign Language, Faculty of Translation and Interpreting,
Moscow State Linguistic University; e-mail: kudinova@yandex.ru
MULTIMODAL ANALYSIS TOOLS OF GESTURE-SPEECH INTERACTION
The article aims to define the status of nonverbal communication as an area of multimodal linguistics. It attempts to debunk myths and misconceptions about gesture that prevail in society, and analyzes the tools geared toward speech
122
l@ ®
visualization and annotation. The study introduces the framework and results of the multimodal experiment, based on examples of lecture discourse, using the computer software Elan. The findings of the multimodal experiment showed the correlation and interaction between verbal, nonverbal and prosodic elements of lecture discourse. It was found out that in co-speech gesture production both speakers tended to use illustrators and regulators, mostly accompanied by Mid Falling tones (Speaker 1, Speaker 2), and by Level tones (Speaker 2). Some degree of variability in tone-gesture direction was observed. Thus, falling tones were accompanied by both the descending and lateral direction of the illustrators. The speakers demonstrated a high frequency of occurrences of Descending Sliding and Heterogeneous Heads reinforced by a wide range of illustrators (accentuating, deictic, contrasting, imitating, and enumerative gestures) and regulators, which, cumulatively, emotionalized the analyzed utterances.
Key words: linguistics; multimodal linguistics; nonverbal communication; gesture; illustrators; regulators; co-speech gestures; intonation; research methods in linguistics; pseudoscience.
Введение
Понятие «невербальная коммуникация» часто ассоциируется с лженаучным нейролингвистическим программированием (далее -НЛП), совокупностью мистических техник и псевдонаучных подходов (подстраивание, раппорт, врата сортировки и т. д.), которые якобы направлены на «эффективное» манипулирование подсознанием коммуниканта. Особенность псевдонауки заключается в том, что она оперирует умозрительными заключениями и допущениями, не обладает системностью, не опирается на верифицируемые статистические данные и воспроизводимые результаты исследований.
Так, согласно данным НЛП, по направлению взгляда (ключам глазного доступа) можно без труда определить, лжет ли Ваш собеседник или говорит правду. Например, траектория взгляда вверх и вправо указывает на зрительное или визуальное конструирование, т. е. на создание, придумывание зрительного образа, а траектория движения вверх и влево - на припоминание визуального образа. Данное утверждение не нашло подтверждений в результате проведенных серий экспериментов [Wiseman 2012].
Нет никаких научно подтвержденных свидетельств и тому, что эксперты в области невербального общения могут определить, лжет ли говорящий по его мимике и жестам. Этот миф прочно укоренился в нашем сознании благодаря другому заблуждению, согласно которому 90 % коммуникации осуществляется посредством невербального
канала. Автором (поневоле) этого мифа является известный психолог Калифорнийского университета в Лос-Анджелесе Альберт Мейраби-ан, который в 1960-х гг. провел эксперимент с целью выявить определенные модели поведения человека в процессе коммуникации [Meh-rabian 1971].
Лингвисты, психологи и этологи часто ссылаются на сформулированное А. Мейрабианом правило «7 %-35 %-55 %», которое якобы гласит, что в общении только 7 % информации поступает по вербальному каналу, 35 % - по просодическому, а 55 % - по невербальному. Напомним, что эксперимент, который провел А. Мейрабиан, состоял из следующих этапов: на первом этапе участникам предлагалось прослушать записи слова «maybe», произнесенного диктором-женщиной с различной интонацией (с нейтральной интонацией; с интонацией, передающей положительную (liking) и негативную (disliking) эмоции). Далее респондентам демонстрировались фотографии соответствующих мимических выражений диктора. Задача участников состояла в том, чтобы определить эмоции. В результате эксперимента было установлено, что респонденты более корректно декодируют эмоции по фотографиям, а не по прослушанным записям.
На втором этапе участники прослушали записи девяти слов, разбитых на три лексические группы: три слова с нейтральной окраской (maybe, really, oh), три - с положительной коннотацией (honey, dear, thanks) и еще три - с отрицательной (don't, brute, terrible). В результате эксперимента было выявлено, что при интерпретации эмоций участники ориентировались не на семантику лексических единиц, а на интонацию, с которой дикторы произносили эти слова.
Таким образом, правило «7 %-35 %-55 %» было сформулировано относительно нескольких изолированных слов. При этом не было указано, что подразумевалось под нейтральной интонацией, под интонационном оформлением, проецирующим как расположение, так и неприязнь.
В связи с тем, что существует как узкое, так и широкое толкование понятия «невербалика», позднее на базе правила «7 %-35 %-55 %» ученые и энтузиасты выявили правило «7 %-93 %», включив в невербальный канал не только мимику и жесты, о которых в эксперименте А. Мейрабиана не было упомянуто, но и интонацию, высоту голоса, громкость, паузы, ритм, тембр и темп речи.
Подчеркнем, что коммуникация - это комплексный процесс, основывающийся на взаимодействии вербального, невербального, просодического, а также визуального модусов. Считаем сомнительными и неверифицируемыми попытки придавать большее значение только одному каналу взаимосвязанного процесса коммуникации.
Статус невербальной коммуникации как области научного знания
Основная сложность определения статуса невербальной коммуникации как науки заключается в том, что лингвисты не пришли к единой трактовке самого термина, определяя его то как только взаимосвязанную систему кинесических и проксемных единиц, реализуемых коммуникантами в процессе общения, то, шире, как совокупность кинесико-проксемных, паралингвистических компонентов, а также составляющих макросреды: визуальных, ольфакторных, социально-бытовых компонентов коммуникации, климатических условий, объектов гастики, архитектуры, оформления внутреннего пространства помещения и т. д. [Trager 1958; Burgoon 2010].
Некоторые авторы определяют невербальную коммуникацию через противопоставление вербальной [Burgoon 2010], что несколько умаляет значение исследований в области невербальной коммуникации.
Невербальная коммуникация представляет собой область полимодальной лингвистики, объектом которой является взаимосвязанное единство вербальных, кинесико-проксемных и просодических элементов в процессе общения [Кудинова 2016].
Среди уровней исследования полимодальной лингвистики выделим собственно теоретические (разработка теории невербальной коммуникации Р. Бирдвистеллом и Э. Холлом, таксономия жестовых манифестаций Д. МакНила, П. Экмана и У. Фризена и т. д.), так и эмпирические посредством наблюдений и экспериментов (полимодальные исследования Д. МакНила, А. Кендона, А. Кибрика; диагностические тесты Д. Матсумото ERA, JACFEE, JACBART) [Birdwhistell 1955; Hall 1959; Ekman, Friesen 1969; Matsumoto 2000; Kendon 2004; McNeill 1995, 2007; Кибрик 2010].
Существенным вкладом в развитие полимодальной лингвистики, и уже, невербальной коммуникации, считаем разработку П. Экманом и У. Фризеном программы по моделированию эмоций FACS (Facial
Action Coding System) при помощи разных групп мышц, а также программ по распознаванию микровыражений лица, длящихся от 1/15 до 1/25 секунды, METT (Microexpressions Training Tool) и SETT (Subtle Expressions Training Tool) (www.paulekman.com/micro-expressions-training-tools/).
Современные методы исследования взаимодействия жеста и речи
Полимодальное исследование корреляции вербальных и невербальных компонентов коммуникации ведется на базе разных программ для аннотации видеофрагментов.
Среди пользователей достаточно популярна бесплатная программа Elan (акроним EUDICO Linguistic Annotator), разработанная Институтом Психолингвистики им. Макса Планка в Неймегене, Голландия, которая обладает удобным интерфейсом и позволяет аннотировать и редактировать видеозаписи (см. рис. 1) (tla.mpi.nl/tools/tla-tools/elan).
Среди преимуществ использования данной программы отметим следующее: возможность хронирования видеопотока и аннотаций и сбор статистических данных на основе временных «привязок»,
Рис. 1. Снимок экрана, демонстрирующий возможности программы Elan
добавления разных уровней (Tiers) аннотаций (например, уровня жестовых манифестаций, просодии и т. д.), создание пользовательских словарей (глоссариев) и поиска данных в глоссариях, импорт файлов сегментации Praat TextGrid, добавление звуковых волн, экспорт аннотированных сегментов в различные форматы, в том числе в документы Word.
Работа с видеофрагментом предполагает как посекундный анализ видеопотока, так и покадровую прокрутку; воспроизведение выделенного интервала, циклическое воспроизведение выбранного отрезка, увеличение / уменьшение изображения, сохранение текущего кадра, регулирование громкости и скорости воспроизведения видео.
Функция «Список значений» (Controlled vocabularies) оптимизирует организацию терминологической базы эксперимента. Например, для уровня, или слоя, «Gesture» (жест) можно заранее задать список элементов в соответствии с активным органом исполнения жеста (head -движение головы, facial expression - мимика, hand, комбинация head + hand и т. д.), функциональной нагрузкой жеста (эмблема, иллюстратор, адаптор и т. д.), семантической классификацией (дейктический жест, метафорический жест и т. д.) и при аннотировании выделенного отрезка выбрать необходимое значение из выпадающего меню.
Установление типа сегмента (Type) позволяет классифицировать отрезки (тип «Речь», тип «Жесты» и т. д.), присваивать отрезкам заданные значения (Controlled vocabularies), а также анализировать определенные сегменты в соответствии с их типом.
В программе Elan предусмотрено несколько режимов работы с медиафайлами. В частности, в режиме «Транскрипция» (Transcription mode) исследователь может прослушать и изучить осциллограмму аннотированных сегментов. В режиме «Сегментация» (Segmentation mode) можно установить и скорректировать границы анализируемых отрезков речежестового поведения информантов.
Недостатком программы Elan является отсутствие фиксации электроакустических параметров речи.
Следующая программа с похожим набором функций - ANVIL, разработанная М. Киппом из Университета прикладных наук Аугс-бурга (www.anvil-software.org). Ее несомненными преимуществами являются: возможность импортировать визуализацию контура частоты основного тона (далее - ЧОТ), 3D анимация, создание разных
уровней разметки, хронирование медиапотока, синхронность разметки видеофрагмента и аннотации.
В возможности таких программ, как ChronoViz (chronoviz.com/), Transana (www.transana.com/), CLAN (dali.talkbank.org/clan/), также входит расшифровка видеофрагментов, хронирование видеопотока, интегрирование медиафайлов, изображений и записей при помощи рукописного ввода на компьютере, однако вышеперечисленные программы значительно уступают по функциональным возможностям Elan и ANVIL.
Проведение эксперимента на базе программы для аннотаций Elan
В целях проверки функциональных возможностей программы Elan, а именно: установление корреляции речи и жеста, было проведено исследование взаимодействия невербальных сигналов, вербальных и просодических характеристик двух американских лекторов-мужчин: профессора Университета Теннесси в Ноксвилле Рамона Дедженнаро (PhD) и профессора Университета Макалистер, штат Миннесота, Тимоти Тейлора. Лекторы являются авторами популярных видеокурсов по экономике и рынкам финансового капитала (www.thegreatcourses.com/). В их речи представлен американский произносительный стандарт.
Узкий корпус исследования составил 544 секунды (около 9 минут). Комплексный перцептивный анализ состоял из следующих этапов:
• проведение аудиторского анализа с целью установления типов шкал, ядерных тонов и тональных уровней;
• проведение электроакустического анализа с помощью программы Praat (версия 6.1.06) для фиксации средних, минимальных и максимальных значений ЧОТ и интенсивности звукового сигнала (далее - ИЗС), а также значений средней длительности слога (далее - СДС) во фразе;
• проведение визуального анализа с помощью программы Elan для установления частотности реализации невербальных единиц;
• импорт файлов сегментации Praat TextGrid в компьютерную программу Elan (версия 5.8) и аннотирование видеофрагментов при помощи возможностей программы Elan с целью определения характера корреляции вербальных и невербальных единиц, реализуемых информантами 1 и 2.
В результате комплексного анализа (см. табл. 1-4) было выявлено, что в речи информанта 1 (Р. Дедженнаро) преобладают: средняя ровная скользящая, нисходящая скользящая и смешанная шкалы, средние нисходящие тоны, сопровождающиеся высокой частотностью реализации иллюстраторов (как с нисходящей, так и с латеральной траекторией движения) и регуляторов (движение головы, корпуса). Иллюстративные жесты представлены, например, следующими моделями: руки прижаты к корпусу, ладони совершают вращательные движения (акцентирующие жесты; жесты, используемые при перечислении); одна ладонь находится в покое, другая - совершает круговое движение (сопоставительные жесты, подчеркивающие противоречия между описываемыми идеями, фактами и т. д.). Плоскость исполнения жеста меняется только для придания элементу высказывания дополнительной экспрессивности. Жесты «щепотка» (precision grip) и дейктиче-ские жесты сопровождаются средними нисходящими тонами с начальным повышением. Амплитуда исполнения жестов небольшая. Информант 1 использует более размашистые жесты, в основном, при описании графиков. Речь отличается быстрым темпом.
В речи информанта 2 (Т. Тейлор) доминируют: средняя ровная, нисходящая скользящая и смешанная шкалы, средние нисходящие и ровные тоны, сопровождаемые сериями однородных иллюстративных жестов (например, акцентирующий жест «щепотка», исполняемый двумя руками; вращательные движения руками, используемые при перечислении; дейктические, или указательные, жесты) и регуляторами (движение головы, установление визуального контакта со зрителем). Жесты обладают большой амплитудой. При их реализации информант использует обе руки, часто с открытыми ладонями, обращенными к корпусу. Дейктические жесты в основном используются для референции. При описании направления кривых спроса и предложения информант меняет плоскость исполнения жеста, иллюстраторы (открытые ладони) имитируют нисходящую шкалу спроса и восходящую шкалу предложения.
Индивидуальные характеристики невербального поведения информанта 2 проявляются в экспрессивно реализуемых мануальных жестах. Так, при произнесении «nail down» во фразе «So let's think them through just in terms of supply, and also try and nail down these concepts» для иллюстрации эластичности предложения информант
использует иллюстративный жест-кинетограф, имитирующий движение молотка при вбивании гвоздя, сопровождаемый средним нисходящим тоном. Темп речи информанта 2 достаточно быстрый.
При помощи программы Elan нам удалось зафиксировать отношение длительности просодических центров в речи информантов, содержащих терминальные тоны, к длительности жестов (подготовка, удар, стягивание) во фразах. Оно составило 1: 1,3.
Таблица 1
Частотность употребления простых и сложных тонов в речи информантов, в %
Информант Простой тон Сложный тон
Средний Нисходящий Средний Восходящий Ровный Нисход.-восход. Нисход.-восход. Нисход.-восход.
Degennaro 63 17 10 2 2 5
Taylor 42 3 33 15 3 3
Таблица 2
Частотность мелодических шкал в речи информантов, в %
Информант Тип мелодической шкалы
Средняя Ровная Средняя ровная скользящая Восходящая Нисходящая скользящая Смешанная
Degennaro 13 28 3 25 31
Taylor 25 11 4 36 25
Таблица 3
Средние показатели ЧОТ, ИЗС, СДС в речи информантов, в Гц, dB, мсек соответственно
Информант ЧОТ сред. ЧОТ макс. ЧОТ мин. ИЗС сред. ИЗС макс. ИЗС мин. СДС
Degennaro 133 158 99 71 75 65 185
Taylor 153 177 103 74 78 67 188
Таблица 4
Частотность употребления иллюстраторов, регуляторов, аффективов и адапторов, используемых информантами, в %
Информант Иллюстраторы Регуляторы Аффективы Адапторы
Degennaro 75 16 8 3
Taylor 61 34 4 1
Выводы
Таким образом, функциональные возможности компьютерной программы Elan позволили достаточно точно установить корреляцию вербальных, просодических и невербальных компонентов:
1. Было проведено детальное аннотирование речежестовых комплексов, реализуемых информантами. В частности, выделены уровни, или слои (Tiers), видеофрагмента, а именно: вербальные, невербальные и просодические.
2. Установлена продолжительность вербальных и невербальных отрезков в речи информантов.
3. Зафиксирована корреляция тонов и жестов во фразах, произнесенных информантами.
В результате проведенного комплексного экспериментального исследования были сделаны следующие выводы:
1. В жестовом поведении информантов доминируют иллюстраторы и регуляторы, при этом в речи информанта 1 реализуются преимущественно средние нисходящие тоны, а в речи информанта 2 - средние нисходящие и ровные тоны.
2. Высокая степень реализации регуляторов в невербальном поведении информанта 2 обусловлено местом видеосъемки, так как в аудитории, где велась запись лекции, присутствовали слушатели, с которыми информант 2 активно взаимодействовал. Лекцию информанта 1 записывали непосредственно в павильоне.
4. Нисходящие тоны сопровождаются иллюстративными жестами как с нисходящей, так и с латеральной траекторией движения, что указывает на определенную вариативность корреляции движения тона и жеста.
5. В речи информантов зафиксирована высокая частотность нисходящей скользящей и смешанной шкал. Реализация нисходящей скользящей и смешанной шкал придает лекционному дискурсу более эмоциональный и оживленный характер.
6. На просодическом уровне речь информанта 2 характеризуется более высокими значениями средних показателей ЧОТ, ИЗС и СДС. На перцептивном уровне голос информанта 2 воспринимается как более высокий, громкий, а темп речи - более быстрый.
СПИСОК ЛИТЕРАТУРЫ
Кибрик А. А. Мультимодальная лингвистика // Когнитивные исследования.
Вып. IV. М. : ИП РАН, 2010. С. 134-152. Кудинова Е. С. Просодические и невербальные характеристики речи в синхронии и диахронии (на материале британских художественных фильмов) : дис. ... канд. филол. наук. М., 2016. 193 с. Birdwhistell R. L. Background to Kinesics. // ETC: A Review of General Semantics, Vol. 13, No. I, Autumn, 1955. P. 10-18. URL : www.jstor.org/ stable/42581570?seq=1#metadata_info_tab_contents (дата обращения: 08.10.2019).
Burgoon J. K., Guerrero L. K., Floyd K. Nonverbal Communication. Pearson, 2010. 509 p.
Ekman P., Friesen W. V. The repertoire of nonverbal behavior: Categories, origins,
usage, and coding // Semiotica, 1. The Hague, 1969. P. 49-98. Hall E. T. The Hidden Dimension. Garden City, New York : Doubleday, 1980 (1959). 217 p.
KendonА. Gesture: Visible action as utterance. Cambridge University Press, 2004. 412 p.
Matsumoto D. et al. A New Test to Measure Emotion Recognition Ability: Matsumoto and Ekman's Japanese and Caucasian Brief Affect Recognition Test (JACBART) // Journal of Nonverbal Behavior. 2000. V. 24, 3. P. 179-209. URL : link.springer.com/article/10.1023/A:1006668120583 (дата обращения: 08.10.2019).
McNeill D. Hand and Mind: What Gestures Reveal about Thought. University of
Chicago Press, 1995. 423 p. McNeill D. Gesture and thought. Chicago : The University of Chicago Press, 2007. 318 p.
Mehrabian A. Silent messages. Belmont, Cal. : Wadsworth, 1971. 152 p. Trager G. L. Paralanguage: A first approximation // Studies in Linguistics, 13 (1). Norman, Oklahoma : Battenburg Press, 1958. P. 1-12.
Wiseman R. et al. The Eyes Don't Have It: Lie Detection and Neuro-Linguistic Programming // PLoS One. 2012. Vol. 7 (7). URL : www.researchgate.net/ publication/229162174_The_Eyes_Don't_Have_It_Lie_Detection_and_ Neuro-Linguistic_Programming/ (дата обращения: 08.10.2019).
REFERENCES
Kibrik A. A. Mul'timodal'naja lingvistika // Kognitivnye issledovanija. Vyp. IV M. : IP RAN, 2010. S. 134-152.
Kudinova E. S. Prosodicheskie i neverbal'nye harakteristiki rechi v sinhronii i diahronii (na materiale britanskih hudozhestvennyh fil'mov) : dis. ... kand. filol. nauk. M., 2016. 193 s.
Birdwhistell R. L. Background to Kinesics. // ETC: A Review of General Semantics, Vol. 13, No. I, Autumn, 1955. P. 10-18. URL : www.jstor.org/ stable/42581570?seq=1#metadata_info_tab_contents (дата обращения: 08.10.2019).
Burgoon J. K., Guerrero L. K., Floyd K. Nonverbal Communication. Pearson, 2010. 509 p.
Ekman P., Friesen W. V. The repertoire of nonverbal behavior: Categories, origins, usage, and coding // Semiotica, 1. The Hague, 1969. P. 49-98.
Hall E. T. The Hidden Dimension. Garden City, New York : Doubleday, 1980 (1959). 217 p.
KendonА. Gesture: Visible action as utterance. Cambridge University Press, 2004. 412 p.
Matsumoto D. et al. A New Test to Measure Emotion Recognition Ability: Matsumoto and Ekman's Japanese and Caucasian Brief Affect Recognition Test (JACBART) // Journal of Nonverbal Behavior. 2000. V 24, 3. P. 179-209. URL : link.springer.com/article/10.1023/A:1006668120583 (дата обращения: 08.10.2019).
McNeill D. Hand and Mind: What Gestures Reveal about Thought. University of Chicago Press, 1995. 423 p.
McNeill D. Gesture and thought. Chicago : The University of Chicago Press, 2007. 318 p.
Mehrabian A. Silent messages. Belmont, Cal. : Wadsworth, 1971. 152 p.
Trager G. L. Paralanguage: A first approximation // Studies in Linguistics, 13 (1). Norman, Oklahoma : Battenburg Press, 1958. P. 1-12.
Wiseman R. et al. The Eyes Don't Have It: Lie Detection and Neuro-Linguistic Programming // PLoS One. 2012. Vol. 7 (7). URL : www.researchgate.net/ publication/229162174_The_Eyes_Don't_Have_It_Lie_Detection_and_ Neuro-Linguistic_Programming/ (дата обращения: 08.10.2019).
