CC BY
33
УДК 81'22
О. Н. Прокофьева
аспирант кафедры общего и сравнительного языкознания; преподаватель кафедры второго иностранного языка МГЛУ; e-maiL: [email protected]
СПЕЦИФИКА ЯЗЫКОВОЙ И ЖЕСТОВОЙ ПЕРЕДАЧИ ЗРИТЕЛЬНОГО ВОСПРИЯТИЯ (описательный дискурс)
Процесс фокусирования и смежный с ним процесс дефокусирования позволяют говорить о когнитивной выделенности или салиентности элементов. При этом происходит разделение всех единиц согласно дихотомии фокуса и фона. И фокусирование, и дефокусирование детерминируются процессами распределения внимания и по своей природе свойственны не только языку, но и таким модальностям, как зрительное восприятие и жесты.
Данная тема не раз рассматривалась как психологами, так и когнитивными лингвистами. В исследовании рассматривается возможность объединения достижений этих дисциплин и экспериментально показано, каким образом визуальное восприятие объекта влияет на последующий устный дискурс о нем и на процессы фокусирования. При этом проанализированы были вербальный и жестовый модусы коммуникации, которые сопоставлялись с характеристиками предшествовавшего ей зрительного восприятия объектов участниками эксперимента.
Ключевые слова: распределение внимания; фокусирование; полимодальность; окулография (ай-трекинг); описательный дискурс; жесты.
O. N. Prokofeva
Postgraduate Student at the Department of General
and Comparative Linguistics; Lecturer at the Department of Second Foreign
Languages, MSLU; e-mail: [email protected]
VISUAL, VERBAL AND GESTURAL FOCUSING IN RUSSIAN DESCRIPTIVE DISCOURSE
In cognitive Linguistics focusing and defocusing are viewed as cognitive mechanisms that Lead to foregrounding and backgrounding of certain aspects of an object or an event. Focus-background division relies on the principles of attention distribution, which, being of multimodal character by its nature, is typical of speech, as weU as visual perception and gestures. The following research is aimed at integrating the findings of various research domains and proving empirically that visual perception affects successive communication and the process of focusing within it. So, both verbal and non-verbal modes as weU as their correlation with the preceding visual perception of stimulus material are being analyzed.
The present research invoLved integration of various methods: an eye-tracking anaLysis, an interview, and linguistic analysis of spoken discourse completed by a cognitive Linguistic anaLysis of the gesturaL component. The muLti-facet approach offered in the research provides deeper insight into focusing and supports the idea of mutuaL infLuence of processes underLying perception and production.
Key words: attention distribution; focusing; multimodal^; eye-tracking; descriptive discourse; gestures.
Во многих трудах по когнитивной лингвистике подчеркивается важность невербального компонента в дискурсе, что дает возможность говорить о такой характеристике дискурса, как полимодальность [Ekman, Friesen 1969; Kendon 1986; Leeuwen 2005]. В то время как перед исследователями по-прежнему стоит задача раскрытия тайн мыслительной деятельности человека, полимодальный анализ предоставляет возможность рассмотреть и сопоставить все доступные и воспринимаемые физически результаты работы головного мозга. На сегодняшний день технологии позволяют в экспериментальных условиях достаточно точно зафиксировать их в пределах всех модальностей, используемых человеком, и это, в свою очередь, дает исследователю возможность отследить, как эти модальности вступают в резонанс и находят формальное отражение друг в друге; как они дополняют друг друга при одновременном протекании во времени или же повторяют друг друга при их последовательном проявлении; как восприятие после обработки информации перерастает в ее изложение и как эта информация видоизменяется в процессе ее интерпретации субъектом. Принимая во внимание теоретическую эффективность упомянутого метода при изучении полимодальных феноменов, в данной статье мы предлагаем частный случай эмпирического исследования, посвященного проблематике фокусирования и распределения внимания при визуальном восприятии и последовательном порождении описательного дискурса, и прокомментируем его результаты.
Перед рассматриваемым эмпирическим исследованием стояли две задачи: лингвистическая и когнитивная. С лингвистической точки зрения оно должно было доказать влияние других модальностей на формирование дискурса (текста) в целом и на реализацию отдельных языковых явлений, в частности. Так, в данном исследовании мы концентрируемся на описательном дискурсе, который соотносим с восприятием статичного изображения для того, чтобы отметить влияние
и сходство характеристик зрительной перцепции со структуризацией дискурса. Также мы сосредоточиваемся на таких компонентах дискурса, как фокусные выражения. Фокус перцептивный (зрительный) сопоставляется с фокусом лингвистическим. Далее на основе полимодальности внимания мы соотносим фокусные элементы с жестами, оперируя понятием фокусное полимодальное единство или кластер «речь + жест». Впоследствии, уже внутри этого полимодального единства, можно рассмотреть, как референт, будучи воспринят как единое целое, при описании словно «раскладывается» на набор характеристик, параметров, передаваемых при помощи модальности языка и отображенных в модальности жестов. Более того, можно отметить, как говорящий при воссоздании образа в дискурсе распределяет черты, выделенные им как характерные, между двумя доступными ему для передачи информации каналами: визуальным (жесты) и аудиаль-ным (устная речь). В итоге, сопоставляя фокусные единицы в речи с картами распределения зрительного внимания, можно заметить, как тот или иной объект был воспринят говорящим, а далее проанализировать, насколько и как его субъективная репрезентация отличается от объективного исходного образа.
С когнитивной точки зрения, целью нашего исследования было подтвердить взаимосвязь разных коммуникативных ресурсов не только в момент непосредственного продуцирования дискурса (ср. с «точками роста» Д. МакНила [McNeill 1992]), но и на более раннем этапе -при зрительном, тактильном и ином восприятии объекта, которое стимулирует саму коммуникацию. В нашем исследовании мы ограничились визуальным восприятием, с одной стороны, и речью с сопровождающими ее жестами при последующем порождении спонтанного устного описания зрительного стимула, с другой стороны. Таким образом, наш эксперимент, построенный на рассмотрении и последующем описании произведений живописи, должен был, предположительно, стать иллюстрацией не только наличия общей ментальной репрезентации референта для вербального и невербального компонента дескриптивного дискурса («точки роста» или, по Д. Слобину, «мышления-для-говорения»), но и наличия «коммуникативной зрительной перцепции», или «смотрения-для-говорения». На примере фокусирования, «это означает, что распределение внимания при описании картины с помощью слов и жестов может быть в значительной
степени обусловлено перцептивным распределением внимания в ходе изначального визуального восприятия этого изображения» [Ирисха-нова, Прокофьева 2017, с. 81].
Эксперимент был проведен в марте-апреле 2016 г. в центре СКоДис (лаборатория ПолиМод) МГЛУ. К эксперименту было привлечено 20 испытуемых. Видеосъемка описаний ими картин составила 143 минуты практически непрерывной спонтанной речи. В речи были выделены фокусные языковые единицы (просодически и логически выделенные элементы высказывания), которые могли бы быть соотнесены с элементами визуального стимула (640). 72,5 % из них сопровождалось жестами (465). Общее количество жестов в фокусных полимодальных единствах составило 668 (не включая жесты, которые не соотносились с фокусным языковым выражением или не были использованы для отобранных объектов с картины). Таким образом, эксперимент позволил собрать необходимый объем эмпирических данных и в результате качественного и статистического анализа подтвердил выдвигаемые нами в рамках вышеописанных задач гипотезы, что может служить показателем его эффективности.
Далее рассмотрим следующие стадии экспериментального исследования: отбор материала исследования, конструирование и проведение эксперимента, анализ и обработка полученных эмпирических данных.
Отбор материала исследования
Говоря о выборе для эмпирического анализа вербальной и жесто-вой модальностей, мы полагаем, что комбинация «визуальная перцепция статичного изображения + языковой компонент последовательного неподготовленного устного дискурса + жестовый компонент этого описания» является наиболее наглядной реализацией взаимосвязи нетождественных коммуникативных ресурсов на разных этапах порождения дискурса. Так, во всех модальностях можно найти реализацию одного и того же феномена, а именно, распределения внимания. Как отмечает К. Мюллер, жест «создает свою особенную „иллюзорную реальность" хранимого в памяти объекта, ... демонстрирует уникальную форму видения и понимания самого [объекта]» [Müller 2014, с. 1691], невольно высвечивает, профилирует те или иные свойства референта, выдвигает на передний план какую-то его характеристику (действие, форму, размер, количество и проч.).
Визуальная перцепция статичного изображения, в свою очередь, наиболее полно соотносится с описательным типом дискурса, для которого характерны следующие черты: преобладание статичных глаголов (например, глаголов состояния) над динамичными, существительных и прилагательных над глаголами, а также относительно произвольный порядок упоминания референтов и большое разнообразие определений, характеризующих денотат. Опираясь на данные свойства, мы можем провести корреляцию как между разными модальностями (движение глаз и речь), так и между восприятием и продуцированием информации. С одной стороны, человек создает ментальный образ воспринимаемого объекта, с другой - вновь конструирует его в речи, опираясь на созданный им ранее образ. В основе лежит статичное изображение, интерпретирующееся субъектом во времени.
Относительно включения в исследование жестов, следует отметить, что, с одной стороны, воспринятый визуальный образ может быть интерпретирован и закодирован в звуковом модусе коммуникации - в устной речи. Данный тип кодировки информации является наиболее универсальным и привычным для слушателя. С другой стороны, та же информация при спонтанном описании, нередко бессознательно, передается жестами. Зрительная перцепция в некотором отношении более приближена именно к этой модальности, так как и ее, и жесты объединяет общий канал коммуникации - зрительный. Как было обнаружено в результате проведения эксперимента, именно эта схожесть позволила обнаружить характерные особенности и подчеркнуть важность жестовой модальности в исследовании фокусирования.
Процедура и проведение эксперимента
Согласно приведенным выше количественным данным, полученным в ходе проведения эксперимента, можно сделать вывод о достаточно высокой концентрации жестов (72,5 % всех фокусных языковых единиц сопровождались жестами), которую нередко бывает сложно получить при экспериментальных исследованиях жестовой модальности.
Как представляется, большое количество жестов можно объяснить, во-первых, выбором целевой группы. Участниками эксперимента стали студенты-лингвисты МГЛУ в возрасте от 19 до 22 лет, которые не являлись специалистами в живописи, но чувствовали себя
относительно комфортно в ситуации, когда им предлагалось что-то описать. Более того, большая часть испытуемых была лично знакома или с экспериментатором, или с ассистентом, что способствовало большей естественности дискурса и частично нейтрализовыва-ло «эффект камеры». Во-вторых, перед просмотром картины перед участником ставилась цель: «Постарайтесь описать картину как можно более точно, так как по вашему описанию другой участник эксперимента должен будет впоследствии определить, о какой картине идет речь». Именно данная цель впоследствии позволила ввести понятие «смотрение-для-говорения», так как просмотр картины осуществлялся с целью как можно более полно охватить образ картины, чтобы максимально точно реконструировать его в своей речи. Тот факт, что роль второго участника исполнял ассистент, позволил нам корректировать в текущем режиме те случаи, когда испытуемый производил слишком краткое описание картины. В таких ситуациях ассистент мог намеренно показать неверное изображение (для каждой картины было отобрано по 2-5 похожих картин) и попросить описать произведение живописи подробнее. Мы также зафиксировали несколько случаев, когда участник не жестикулировал до «ошибки» ассистента, но начинал жестикулировать после. Таким образом нам удалось довести среднюю длительность каждого описания картины до 1,5 минут и увеличить количество используемых жестов. Как следствие, при целевой установке «описать картину» выявление большой концентрации жестов также позволило нам сделать следующее заключение: использование жестов сознательно или бессознательно оценивалось говорящими как эффективный инструмент описания.
На результаты исследований также оказал большое влияние отбор стимульного материала и порядок его предоставления. В качестве стимулов мы использовали 4 картины, которые предъявлялись испытуемым в определенной последовательности. Они принадлежат к разным жанрам живописи: реализму (К. Д. Фридрих «Ущелье»), неоимпрессионизму (Ж. Сера «Цирк»), абстрактной живописи (В. Кандинский «Импровизация. Ущелье») и сюрреализму (Я. Йерка «Наука хождения»). Соответственно, процедура эксперимента повторялась 4 раза для каждого участника, каждый раз, изучив произведение живописи в течение 40 секунд, он отходил от экрана и садился перед ассистентом, чтобы описать ему картину. Мы взяли разные жанры,
так как предположили, что разные стимулы повлекут за собой разные описания в рамках вербального и жестового модусов.
Ожидаемое различие наиболее явно проявилось в качественных характеристиках жестов и распределении информации внутри фокусного полимодального единства «фокусное языковое выражение + жест»: реалистичные картины (стимулы 1 и 2, предъявлены первыми, так как считались заведомо более легкими для восприятия) стимулировали описания, в которых участники максимально вербально передавали всё содержание картины, нередко прибегая лишь к ритмичным эмфатическим жестам, или битам (около 30,5 %% от всех жестов по обеим картинам). Напротив, для «нереалистичных» картин процент жестов-битов был ниже (около 17 % для стимулов 3 и 4). Участники отдавали предпочтение иллюстративным жестам, при этом в 63,5 % случаев эти жесты повторяли информацию, которая была произнесена вербально. Вероятно, картины с неординарным и неожиданным расположением объектов или неоднозначно идентифицируемыми объектами, требующие специального когнитивного усилия для восприятия, также влекли за собой более активное и семантически нагруженное вербальное и невербальное описание. Возможно, повтор одной и той же информации в различных модальностях (речи и жестах) должен был послужить снятию двусмысленности и привести к более результативному описанию изображения.
Обработка и анализ данных
На этапе качественного анализа жестов, подтвердившего наши ожидания о прямой и особенной связи между зрительной перцепцией и жестовым модусом, было отмечено, что 36 % всех рассматриваемых жестов, помогающих конструировать референт в речи, привносили в семантику высказывания новую информацию, которая способствовала той или иной характеристике референта на картине, но при этом не была представлена в вербальном компоненте. Для наглядности рассмотрим следующий пример: участница эксперимента при описании стимула 4 («Наука хождения» Яцека Йерки) упоминает хвост существа, закрученный в спираль, но вместо точного словесного описания использует жест, повторяющий форму хвоста. Сравним рисунок 1, на котором пошагово представлен плавный круговой жест правой ладони, с рисунком 2, на котором изображен иллюстрируемый жестом фрагмент картины.
Заметим, что из анализа экспериментальных данных были исключены жесты и языковые выражения, не соотносящиеся с референтами, изображенными на картине.
Рис. 1. Жест, сопровождающий языковое высказывание «вместо хвоста у него интересная такая вот ... вещь», в исполнении одной из участниц эксперимента
Это связано с тем, что референты, не присутствующие на картине, не могли быть проанализированы с точки зрения их перцептивного восприятия, которое осуществлялось при просмотре картины и регистрировалось при помощи оборудования для регистрации движения глаз SensoMotoric Instruments iView X RED 4 (FireWire), инфракрасной камеры, зафиксированной под экраном со стимульным материалом.
Кроме того, невозможно было учесть все объекты, изображенные на произведении живописи.
На каждом стимульном изображении для проведения анализа в программе SMI Experiment Center было выделено по 10 областей интереса (Areas of Interest). Это были наиболее крупные и упоминаемые объекты, которые было легко индентифициро-вать. Чтобы количественно и качественно оценить зрительную перцепцию, в роли основного параметра была выбрана общая длительность фиксаций на области интереса за весь период просмотра картины (40 секунд).
Рис. 2. Фрагмент стимула 4 («Наука хождения» Яцек Йерка. URL: yerka.org.ru/pages/nauka_ chodzenia.html)
Согласно Б. М. Величковскому, именно фиксация взгляда на объекте, т. е. относительно стабильное положение глаза, направленное на конкретную точку, является периодом обработки получаемой информации, иными словами, соотносится с когнитивной деятельностью человека [Величковский 2006]. Это означало, что, исследуя фиксации, мы исследовали то, что было позже названо нами «смотрением-для-говорения». Ограничение на 10 областях интереса позволило при этом уравнять данные по различным стимулам и показатели разных участников относительно друг друга и, как следствие, добиться большей точности и объективности общей статистики. Одним из элементов статистического анализа стало последовательное проведение тестов на коэффициент Пирсона, исчисляющий корреляцию между перцептивным (общая длительность фиксации на области интереса), языковым (количество упоминаний референта в фокусе высказывания) и жестовым (количество жестов, иллюстрирующих референт) фокусированием. Данное исчисление указало на статистически значимый положительный результат по всем четырем стимулам (р < .001), что подтвердило гипотезу об общих «точках роста» для всех трех модальностей, активизирующихся на разных стадиях коммуникации: от перцепции объекта до его описания.
Наконец, можно отметить, что анализ фокусных языковых выражений и анализ фокусных полимодальных единств позволил сделать выводы не только о процессе фокусирования, но и о дискурсе в целом. Во многом это связано с тем, что именно в языковом фокусе (а также, в зрительном и жестовом) содержится самая релевантная, важная, новая информация, которая задумывается как та, которая должна быть получена реципиентом УаскепёоГГ 2002]. Было выявлено, что при спонтанном описании картин, участники в большинстве случаев оперировали краткими высказываниями, состоящими практически лишь из фокуса (... но зато дальше чистое небо. Светлое ). При составлении же многосоставных усложненных предложений или сложных (чаще сложносочиненных) предложений говорящий нередко интонационно выделял несколько элементов. Это выделение могло быть как одинаковым для всех элементов, так и несколько различаться по своей интенсивности. Например, интонационно выделенными элементами могли быть все однородные члены при перечислении (полужирным выделен фокальный элемент: Там скалы, наклонившееся, упавшее дерево, ущелье.) Также интонационно выделенным могло быть
обстоятельство места в начале предложения, выраженное существительным (И из дерева, как будто бы из дупла, выскакивает птичка.). Если в случае с однородными членами предложения фокальные элементы выделены в равной степени, то обстоятельство места из второго примера «уступает» по своей выделенности подлежащему, однако остается более выделено, чем «как будто бы» или «выскакивает». Для подобных случаев был введен термин «вторичного (вспомогательного) фокуса» [Ирисханова 2014]. Тогда в приведенном выше примере выражение из дупла составит вторичный фокус, а птичка - первичный (основной) фокус. Однако еще на начальном этапе анализа мы заметили, что не всегда можно провести четкую грань между первичным и вторичным фокусами (см. понятие континуума выделенности в работах У. Чейфа, Л. Тэлми, О. К. Ирисхановой и др.). Поэтому мы отнесли оба вида фокуса в группу «фокус» и противопоставили ее фону.
Подводя итог, можно сделать вывод о том, что, как показало наше исследование, метод окулографического эксперимента с последующим интервьюированием участников является эффективным для изучения полимодальности дискурса, а именно особенностей фокусирования на этапе зрительного восприятия объекта, проецируемых в совместное употребление речи и жестов в описательном дискурсе. Проведенный анализ предоставил возможность сопоставить процессы зрительного, языкового и жестового фокусирования, доказать влияние других модальностей на распределение фокусов в речи и наличие общих «точек роста» всех трех рассматриваемых модальностей и проследить за распределением информации внутри фокусных полимодальных единств «жест + речь».
СПИСОК ЛИТЕРАТУРЫ
Величковский Б. М. Когнитивная наука. Основы психологии познания: в 2 т.
М. : Академия, 2006. Т. 1. 448 с. ; Т. 2. 432 с. Ирисханова О. К. Игры фокуса в языке: семантика, синтаксис и прагматика
дефокусирования. М. : ЯСК, 2014. 320 с. Ирисханова О. К., Прокофьева О. Н. Фокусирование в устном описательном дискурсе: анализ визуальной перцепции, речи и жестов // Когнитивные исследования языка. Вып. XXIX: Когниция и коммуникация в лингвистических исследованиях: сб. науч. тр. / под ред. В. З. Демьянкова. М. : Ин-т языкознания РАН ; Тамбов: Издат. дом ТГУ им. Г. Р. Державина, 2017. с. 80-94.
O. H. npoKo^beea
Ekman P., Friesen W. V. The Repetoire ofNonverbal Behavior: Categories, Origins,
Usage, and Coding / Semiotica. I ( I ). 1969. P. 49-98. Jackendoff R. Foundations of Language. Oxford: Oxford University Press, 2002. 447 p.
Kendon A. Some Reasons for Studying Gesture / Semiotica, 62: 1986. P. 3-28. Leeuwen Th. van. Introducing Social Semiotics. London : Routledge, 2005. 320 p. McNeill D. Hand and Mind: What Gestures Reveal about Thought. Chicago :
University of Chicago Press, 1992. 423 p. Müller C. Gestural Modes of Representation as Techniques of Depiction // Body -Language - Communication: An International Handbook on Multimodality in Human Interaction. Vol. 2. / Ed. C. Müller et al. Berlin : De Gruyter Mouton, 2014. P. 1687-1701.
