Научная статья на тему 'ОТРАЖЕНИЕ ЗРИТЕЛЬНЫХ ПАТТЕРНОВ В ОПИСАТЕЛЬНОМ ДИСКУРСЕ: ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ'

ОТРАЖЕНИЕ ЗРИТЕЛЬНЫХ ПАТТЕРНОВ В ОПИСАТЕЛЬНОМ ДИСКУРСЕ: ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ Текст научной статьи по специальности «Языкознание и литературоведение»

CC BY
79
10
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ОПИСАТЕЛЬНЫЙ ДИСКУРС / ЗРИТЕЛЬНОЕ ВОСПРИЯТИЕ / ТИП ЗРЕНИЯ / ЖЕСТЫ / ПОЛИМОДАЛЬНЫЙ ЭКСПЕРИМЕНТ / DESCRIPTIVE DISCOURSE / VISUAL PERCEPTION / VISION TYPE / GESTURES / MULTI-MODAL EXPERIMENT

Аннотация научной статьи по языкознанию и литературоведению, автор научной работы — Прокофьева О. Н.

Считается, что окулографический анализ способен углубить знания о когнитивных процессах и механизмах, сопровождающих дискурсивную деятельность, следовательно, их можно исследовать при помощи полимодального эксперимента, где в качестве стимула выступают изображения, а участникам дается целевая установка на их спонтанное описание. Представленные в статье результаты получены при проведении эксперимента и продолжают исследования влияния зрительного восприятия, а именно, характера и порядка фиксаций, на построение дескриптива. Распределение фиксаций фокального и поискового типов зрения обнаруживают сходства с использованием участниками когнитивных механизмов описания конкретизации и генерализации соответственно: сопоставляются доли групп, начальные элементы зрительных и дискурсивных цепочек и их сложность. Дополнительно рассматривается роль жестов.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

TRACES OF VISUAL PATTERNS IN DESCRIPTIVE DISCOURSE: EXPERIMENTAL STUDY

The article dwells upon the assumption that eye tracking may give an insight into cognitive mechanisms underlying discourse structure. thus, a multimodal experiment was conducted where participants were asked to carefully study the stimulus material (four paintings) and describe it orally afterwards. the article centres on the possible correlation between the pattern of visual perception (fixations of different types) and that of discourse. the patterns tend to coincide in their initial components as well as their complexity. the research also reveals a correlation between the patterns and gesture use.

Текст научной работы на тему «ОТРАЖЕНИЕ ЗРИТЕЛЬНЫХ ПАТТЕРНОВ В ОПИСАТЕЛЬНОМ ДИСКУРСЕ: ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ»

УДК 81'22

О. Н. Прокофьева

аспирант кафедры общего и сравнительного языкознания; преподаватель кафедры второго иностранного языка Московского государственного лингвистического университета; е-таН: oliviaprok@gmail.com

ОТРАЖЕНИЕ ЗРИТЕлЬНЫХ ПАТТЕРНОВ В ОПИСАТЕлЬНОМ ДИСКУРСЕ:

экспериментальное исследование1

Считается, что окулографический анализ способен углубить знания о когнитивных процессах и механизмах, сопровождающих дискурсивную деятельность, следовательно, их можно исследовать при помощи полимодального эксперимента, где в качестве стимула выступают изображения, а участникам дается целевая установка на их спонтанное описание. Представленные в статье результаты получены при проведении эксперимента и продолжают исследования влияния зрительного восприятия, а именно, характера и порядка фиксаций, на построение дескриптива. Распределение фиксаций фокального и поискового типов зрения обнаруживают сходства с использованием участниками когнитивных механизмов описания конкретизации и генерализации соответственно: сопоставляются доли групп, начальные элементы зрительных и дискурсивных цепочек и их сложность. Дополнительно рассматривается роль жестов.

Ключевые слова: описательный дискурс; зрительное восприятие; тип зрения; жесты; полимодальный эксперимент.

O. N. Prokofieva

PhD student, Department of General and Comparative Linguistics;

Department of Second Foreign Languages, Lecturer,

Moscow State Linguistic University; e-mail: oliviaprok@gmail.com

TRACES OF VISUAL PATTERNS IN DESCRIPTIVE DISCOURSE: EXPERIMENTAL STUDY2

The article dwells upon the assumption that eye tracking may give an insight into cognitive mechanisms underlying discourse structure. Thus, a multimodal experiment was conducted where participants were asked to carefully study the stimulus material (four paintings) and describe it orally afterwards. The article

1 Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-312-90042 «Когнитивные и прагматические факторы совместного употребления вербальных и жестовых средств в описательном дискурсе» в Московском государственном лингвистическом университете.

2 The reported study was funded by RFBR, project number 19-312-90042.

centres on the possible correlation between the pattern of visual perception (fixations of different types) and that of discourse. The patterns tend to coincide in their initial components as well as their complexity. the research also reveals a correlation between the patterns and gesture use.

Key words: descriptive discourse; visual perception; vision type; gestures; multimodal experiment.

Введение

Каждый дискурс как зафиксированное языковое явление представляет собой конечный продукт сложнейшей цепочки событий и переплетения влияния множества прагматических и когнитивных факторов. При этом, если речь идет об описательном дискурсе, представляется возможным сопоставить его с предшествующим ему восприятием стимула, в частности наиболее доступной и наглядной выступает работа с визуальным стимульным материалом, где в качестве наблюдаемых единиц можно взять характеристики зрительной перцепции. Представленные в статье данные получены при проведении подобного исследования и продолжают начатое ранее исследование влияния зрительного восприятия на построение описательного дискурса [Ирисханова, Прокофьева 2017; Прокофьева 2018]. Доказывается, что как когнитивный фактор, оказывающий влияние на построение дискурса, в зрительной перцепции можно выделить характер и порядок фиксаций, которые образуют характерный для смотрящего «рисунок» зрительного восприятия стимула. Ключевыми понятиями для данной цепочки выступают два типа зрения: фокальный (более длительные фиксации, более короткие саккады) и поисковый (более длительные саккады, более короткие саккады) [Величковский 2006]. Цепочка фиксаций соотносится с характером фокусирования в речи, а именно: механизмами описания - конкретизация (более детальное представление референта) и генерализация (более обобщенное представление референта) соответственно. За основу берется предположение, что как при зрительном восприятии, так и при построении дискурса участники способны менять характер фокусирования, а именно: то больше сосредотачиваться на деталях, то, наоборот, пытаться сконструировать более общую картину, сформулировать свои эмоции и общее ощущение от референта. Иными словами, участники могут в какой-то степени или приблизиться к референту, или отдалиться

от него. В терминах когнитивной грамматики они выбирают между тем, чтобы отдать в определенный момент дискурса предпочтение схематизации (schematisation) или спецификации (specification), положиться на механизм наведения или приближения (zoom in), когда в фокус внимания попадает «ближайший концептуальный диапазон» (immediate scope), или же сделать шаг назад, совершить ментальное отдаление (zoom out), чтобы охват фокуса стал шире, возможно, включил в себя то, что называется «максимальным диапазоном» (maximal scope) [Langacker 2008].

Результатом исследования следует считать выведение определенных параллелей и закономерностей между модальностями относительно ментального наведения (zoom in) и отдаления (zoom out) при фокусировании. Особый интерес исследования также заключается в том, чтобы отдельно учесть полимодальность производимого дискурса и проанализировать связь не только между зрительной перцепцией и речью, но и жестикуляцией участников. Опираясь на положение о синхронизации речи и жестов в процессе построения дискурса, на то, что эти модальности (как и зрительная перцепция в данном случае) восходят к одним «точкам роста» [McNeil 1992], можно предположить, что жесты способны не только дублировать информацию, представленную в речи, но и вносить свой уникальный семантический вклад в полимодальные единства «языковое выражение + жест», который, вероятно, продиктован в какой-то степени зрительной перцепцией описываемого стимула. Таким образом, можно обнаружить прямую связь между жестами и зрительной перцепцией, а также, возможно, пересмотреть предопределяющую роль языкового выражения по отношению к жестикуляции, ведь даже при одинаковом вербальном конструировании образа могут встречаться различные жесты (как показано, например, в [Alibali, Kita, Young 2000]).

1. Метод исследования и материал 1.1. Сбор данных

Материалом исследования стали данные полимодального эксперимента по 10 участникам, каждому из которых последовательно представлены четыре картины в качестве стимульного материала. Один стимул демонстрируется 40 секунд, затем участник описывает

этот стимул неограниченное количество времени своему слушателю. Процедура повторяется четыре раза (по количеству стимулов). Эксперимент построен таким образом, что участник вынужден конструировать образ стимульного материала дважды: при создании личного ментального образа картины во время зрительной перцепции стимула, что фиксируется окулографом, и во время монологического спонтанного описания этого стимула без опоры на него, что фиксируется на камеру. На обоих этапах участника просят следовать установке, с одной стороны, максимально подробно описать содержание стимула, с другой - передать эмоции и идеи, которые, по его или ее мнению, хотел вложить в свое произведение художник. Таким образом, участник минимально ограничен в характере рассмотрения стимуль-ного материала и его устного описания. В результате сбора данных, для сопоставления по каждому стимулу каждого участника можно рассмотреть два способа конструирования одного и того же стимула (во время зрительной перцепции и порождения дискурса) и выделить определенные связи между ними. Однако, принимая во внимание различия в модальностях и их неодновременное протекание, следует заранее допустить невозможность полного совпадения зрительного и дискурсивного паттерна участников. Тем интереснее представляются те элементы, которые обнаруживают параллели.

1.2. Обработка и анализ окулографических данных

Для получения цепочки зрительной перцепции из данных, собранных при помощи айтрекера, взяты только фиксации. Каждая фиксация отнесена к фокальному типу зрения (группа В) или поисковому типу зрения (группа А), при этом фиксации дольше 300 мс относятся к фокальному, а менее 300 мс - к поисковому типу зрения [Велич-ковский 2006]. В таком виде цепочка представляет собой длинную череду А и В (обычно более 100 элементов-фиксаций), набравшуюся за 40 секунд просматривания. Одним из способов обработки окулографических данных является вычисление доли фиксаций группы А и группы В, исходя из общей длительности фиксаций на стимуле -при этом учитывается не количество фиксаций, а их суммарная длительность, так как фиксации поискового зрения (группы А) имеют «больше шансов» чаще мелькать в паттерне в силу того, что по своей природе они короче, чем фиксации фокального зрения (группы В).

Так как грань между двумя типами зрения получает очень резкое разграничение (рубеж в 300 мс), также принято решение принимать за смену типа зрения только три подряд идущие фиксации одной группы, что позволяет сократить цепочки минимум до 1 (переход на другой тип зрения при таком подсчете не наблюдается на протяжении всего изучения картины), максимум 11 элементов (участник 10 раз меняет тип зрения при рассматривании картины). Таким образом, сокращенные цепочки передают частоту смены типа зрения, что также можно назвать сложностью рисунка зрительной перцепции. Для определения типа начального элемента зрительной цепочки также учитывается первый «сгусток» трех подряд идущих фиксаций одного типа.

1.3. Обработка и анализ данных по речи участников

Для выделения когнитивных механизмов описания текст делится на элементарные дискурсивные единицы (ЭДЕ), которые приблизительно равняются клаузе или ее части (подробнее об ЭДЕ в [Рассказы о сновидениях ... 2009]). Исходя из их семантики, дискурсивные единицы распределяются относительно двух когнитивных механизмов описания, выделенных в целях данного исследования и предположительно являющихся одними из более близких аналогов фокального га. поискового типа зрения при зрительной перцепции: когнитивного механизма описания конкретизация и когнитивного механизма описания генерализация.

За основу берется предположение, что как при восприятии стимула, так и при его последующем реконструировании в процессе построения дискурса, человек склонен прибегать к похожим процессам фокусирования. С одной стороны, исследователя может заинтересовать то, насколько и какой элемент выделен при (ре)конструировании образа, что можно условно назвать «силой фокусирования» и определить через длительность фиксаций на объекте при зрительном восприятии и количество упоминаний этого же объекта (в том числе, в фокусе) при построении дискурса (в частности, соотносимого со зрительной перцепцией) [Ирисханова, Прокофьева 2017]. С другой стороны, возникает вопрос о том, не насколько и какой, но как элемент выделен. Например, исходя из положений когнитивной грамматики Р. Лэнекера, одним из механизмов конструирования мира является способность

к схематизации (schématisation) и спецификации (specification) [Langacker 2008]. Так, одно и то же событие может быть описано с большей долей схематизации и с меньшей долей спецификации или наоборот. Можно привести следующий пример Р. Лэнекера, где слева направо событие описывается всё менее и менее схематично, то есть более и более точно и детализированно: Something happened. ^ A person perceived a rodent. ^ A girl saw a porcupine. ^ An alert little girl wearing glasses caught a brief glimpse of a ferocious porcupine with sharp quills. (Что-то случилось. ^ Человек увидел грызуна. ^ Девочка увидела дикобраза. ^ Взволнованная маленькая девочка в очках мельком увидела рассерженного дикобраза с острыми иголками) Данная цепочка представляет собой перемещение по континууму от схематизации к спецификации. Если рассмотреть стимул как описываемое событие, то каждая ЭДЕ представляет собой новое звено в цепочке описания, которое будет ближе к тому или иному концу континуума, то есть больше отвечать принципу схематизации (описывать стимул отдаленно, в общих чертах, больше опираться на эмоции и впечатление от картины целиком) или спецификации (описывать детально, точно, конкретно, больше опираться на точное расположение элементов картины и их форму, цвет). При этом, так как описание по своей природе включает в себя акцент скорее не на динамическом событии, а на статическом, то в фокус попадают скорее не действия, а объекты. В связи с этим можно проследить аналогию с другим континуумом, а именно: конкретности и абстрактности [Кубрякова, Ирисханова 2007]: конец шкалы схематизация в данном случае соотносится с абстрактностью, а противопоставленная ей спецификация - с конкретностью. Из этого получаем, что когнитивный механизм описания конкретизация - способ представления стимула в описательном дискурсе, при котором говорящий сосредотачивается на более частных и мелких референтах, лежащих на шкале абстрактности-конкретности ближе к конкретности. В противовес ему, механизм описания генерализация - способ представления стимула в описательном дискурсе, при котором говорящий сосредотачивается на и / или реферирует к более общим понятиям, лежащим на шкале абстрактности - конкретности ближе к абстрактности.

Обработка и учет только ЭДЕ, которые произнесены говорящим до того, как его или ее монолог прерван слушателем, дают возможность проследить, как выстраивается фокусирование участника на

реконструируемом образе стимульного материала, то есть как сменяют друг друга ЭДЕ, отнесенные к механизму описания конкретизация и генерализация. Получившиеся дискурсивные цепочки в среднем включают от 10 до 20 элементов - наблюдается больший разброс по участникам и стимулам, чем в зрительных цепочках, так как говорящие ограничены только целевой установкой, но не ограничены во времени или длине ЭДЕ. Длительность ЭДЕ и скорость их произнесения не сопоставима и зачастую индивидуальна, следовательно, доля ЭДЕ, соотнесенных с механизмом конкретизация (группа К), и доля ЭДЕ, соотнесенных с механизмом генерализация (группа А), высчитана относительно общего количества ЭДЕ в описании по всему стимулу. Далее, как и ранее при обработке данных по зрительной перцепции, особую важность имеет первый элемент рисунка дискурсивного фокусирования. Не менее важной является и сложность дискурсивной цепочки (частота смен типа), но ввиду большей осознанности и, как следствие, весомости дискурсивных элементов по сравнению с фиксациями, которые не всегда могут полностью осознаваться человеком (то есть во время фиксаций может не происходить когнитивная обработка данных, на которые направлен зрительный фокус, как, например, в тот момент, когда внимание смотрящего направлено внутрь себя и он смотрит «в пустоту» [Fazekas, Nanay 2018]), смена типа фокусирования (с группы К на группу А или наоборот) засчитывается при двух и более подряд идущих элементах. Сложность цепочки варьируется по участникам и стимулам от 2 до 9 элементов.

В результате, в качестве материала для анализа выступают 40 цепочек зрительного восприятия, которые сравниваются и сопоставляются с 40 дискурсивными цепочками соответствующих описаний. Сопоставление цепочек происходит с трех точек зрения:

1) доля единиц группы А для зрительной перцепции относительно доли единиц группы А для дискурса (сопоставление «зрительной» группы В относительно «дискурсивной» группы К будет аналогичным, так как все элементы в рамках одной модальности разделены лишь на две группы),

2) начальный элемент зрительной и соотносимой с ней дискурсивной цепочки,

3) сложность зрительной и соотносимой с ней дискурсивной цепочки.

1.4. Обработка и анализ данных по жестам участников

Отдельный интерес в исследовании представляет жестовый компонент дискурса, ведь вполне допустимо, что часть информации в спонтанном дискурсе может быть передана именно жестикуляцией. Изначально жесты не являются обязательным компонентом дискурса, в рамках исследуемого эксперимента никому из участников не даются установки на жестикуляцию, она не упомянается при инструктаже, но все участники прибегают к ней как к наиболее естественной для них форме коммуникации (проведенный ранее анализ фокальных речевых единиц показал, что три четверти из них сопровождаются жестикуляцией [Прокофьева 2018]). При этом, если какой-то референт описан не только при помощи речи, но и жестом, вне зависимости от функции последнего, можно говорить о том, что референт получает выдвижение (salience) с точки зрения модальности жестов. Учитывая вторичную по отношению к речи роль жестов, также заключаем, что количество жестов вне зависимости от их функции может говорить о своеобразной сложности «жестового паттерна» -чем больше жестов, тем выше сложность. Для данного исследования представляется важным рассмотреть как общее количество жестов в монологическом описании (сумма жестов для 10 участиков и 4 стимулов: 1006 при разбросе от 7 до 50 в одном монологе), так и количество жестов, которые можно непосредственно соотнести с объектами из стимульного материала (309 при разбросе от 0 до 20). Отдельно изучаются жесты, сопровождающие начальный элемент дискурсивной цепочки (встречаются в 25 из 40 рассмотренных случаев), в том числе рассматривается их функция.

2. Результаты полимодального исследования

2.1. Соотношение доли «поисковых» фиксаций и «генерализационных» ЭДЕ

При сопоставлении доли единиц группы А для зрительной перцепции (поисковое зрение) с долью единиц группы А для дискурса (ЭДЕ, характеризующихся когнитивным механизмом описания генерализация) выявлено, что они не обнаруживают прямой зависимости друг от друга. Рассмотренные по эксперименту данные показывают, что нельзя утверждать, что чем больше участник отдает предпочтение

поисковому типу зрения при восприятии стимула, тем вероятнее он прибегнет при описании этого стимула к механизму описания генерализация, зачастую уйдет в описание смысла изображения, эмоций, которые он или она получили от него. При отдельном рассмотрении данных по четырем стимулам, среднее отклонение доли «поисковых» фиксаций от доли «генерализационных» ЭДЕ составляет 19,3 для стимула 1; 19,3 - для стимула 2; 15,3 - для стимула 3; 9,2 - для стимула 4 (порядок стимулов строго фиксирован для всех участников). Таким образом, наблюдается тенденция на сближение зрительных и дискурсивных характеристик. Также можно отметить индивидуальные различия по участникам, но при среднем отклонении зрительных показателей от речевых в 15,8 единиц кажется, что, исключая выбросы, цепочки должны обнаруживать определенное сходство. Возникает вопрос: почему же отсутствует прямая корреляция?

Возможный ответ заключается в том, что доля фиксаций, относящихся к поисковому зрению, в среднем равняется доле фиксаций, относящихся к фокальному, то же наблюдается при распределении ЭДЕ относительно механизмов описания генерализация и конкретизация. С одной стороны, это объясняет сложность проведения корреляционного анализа (если часто показатели близки к половине всех элементов, но при этом хаотично меняют свое положение относительно 50 % то в чуть большую, то в чуть меньшую сторону, то трудно говорить о корреляции так таковой). С другой стороны, такое равномерное представление элементов разных типов подчеркивает важность обеих групп как в конструировании посредством перцепции, так и в вербальном реконструировании стимула и рисунке фокусирования как таковом. Более того, оно невольно оказывается еще одним сходством при сопоставлении интересующих нас показателей.

Наконец, принимая во внимание большое количество факторов, которые могут подействовать на зрительное или вербальное поведение участников (индивидуальные особенности, вырабатывание привычки к заданию, характеристики стимульного материала и др.), большее сходство цепочек можно было бы считать лишь простым совпадением.

Сопоставление «зрительной» группы В относительно «дискурсивной» группы К является аналогичным, так как все элементы в рамках одной модальности разделены лишь на две группы, поэтому не проводится отдельно.

2.2. Сопоставление начальных элементов

Второй ступенью сопоставительного анализа является сопоставление начальных элементов зрительной и дискурсивной цепочки. На данном этапе последовательно рассматриваются три модальности: зрительная перцепция, речь и жесты.

Как показывает анализ, в 23 случаях из 40 рассмотренных (57,5 %) начальный элемент двух цепочек совпадает, то есть фиксация поискового типа зрения соотносится с ЭДЕ механизма генерализация или же фиксация фокального типа зрения соотносится с ЭДЕ механизма конкретизация. При анализе жестов видно, что они не обнаруживают тяготения к той или иной группе механизма описания (32,5 % и 30 % начальных элементов, соотносящихся с механизмом генерализация и конкретизация соответственно, сопровождаются жестами). При этом наблюдаются жесты с разнообразными характеристиками: иконичность, индексальность, прагматическая составляющая. Двумя наибольшими группами прагматических жестов выступают рекуррентные жесты [Bressem, Mueller 2014; Ladewig 2014], передающие семантику неуверенности, и жесты, структурирующие дискурс. Последние сопровождают начальное звено цепочки чаще других видов жестов (83,3 % случаев). Еще более любопытным оказывается тот факт, что их доля коррелирует с высоким количеством зрительных цепочек, которые начинаются с поискового типа зрения (90% случаев). Таким образом, следует отметить, что вне зависимости от речевого компонента, наблюдается некоторая прямая связь между модальностью зрительного восприятия и жестикуляцией. Даже если участник избегает обобщение (генерализацию) в вводной реплике своего вербального описания, он склонен использовать вводящий в описание и настраивающий своего слушателя на внимание прагматический жест, который направлен на установление контакта с собеседником. Подобные жесты можно охарактеризовать высоким показателем по параметру «прагматической прозрачности» (pragmatic transparency) в мультивекторной семиотической модели О. К. Ирисхановой и А. Ченки [Iriskhanova, Cienki 2018]. Похожая ситуация наблюдается в зрительном восприятии стимула: перед тем, как приступить к плановому осмотру стимула, в большинстве случаев участники склонны как бы «установить с ним контакт», бегло познакомиться с ним. Можно сказать, что зрительное восприятие картины также напоминает

диалог в широком смысле этого слова между смотрящим и произведением искусства, смотрящим и художником, и далее при описании этого произведения говорящий стремится повторить этот диалог.

2.3. Сложность цепочек фокусирования

Третья ступень сопоставительного анализа опирается на сложность цепочек фокусирования в зрительной перцепции и речи, то есть частоту смен типов зрения и механизмов описания. При анализе же-стовой составляющей учитывается количество жестов.

При допущении отклонения до двух элементов упрощенных цепочек друг от друга, в 24 случах из 40 (60 %) дискурсивная цепочка повторяет по количеству элементов зрительную. Коэффициент корреляции Пирсона указывает на прямую и положительную зависимость количества элементов одной цепочки от другой (р < 0.001, г = 0.510): чем чаще участник склонен менять тип зрения при рассматривании стимула, тем вероятнее он или она прибегает к смене механизма описания во время описания этого стимула. Таким образом, сложность цепочки частично отображает, насколько необходимо участнику переключаться с более дальней ментальной дистанции от референта к более ближней. Анализируя данные отдельно по стимулам, можно выдвинуть предположение, что наиболее сложный для восприятия стимул 3, который представляет собой абстракционистскую картину, демонстрирует наиболее похожие друг на друга паттерны зрительного и вербального поведения участников: у 6 из 10 участников паттерн совпадает и относительно начального элемента, и относительно сложности цепочки фокусирования. В целом, при соместном учиты-вании второй и третьей ступени анализа, можно увидеть, что 82,5% случаев соотносимы хотя бы по одному из представленных параметров: начальному элементу и / или сложности цепочки. Это указывает на сходства двух цепочек фокусирования и общие черты зрительного и вербального поведения участников, где, вероятно, в той или иной мере зрительная перцепция или частично предопределяет процесс построения дискурса (например, участник конкретно в данном случае прибегает к подобному рисунку фокусирования и максимально повторяет его в своем дескриптиве, возможно, если визуальный стимул, как при абстракционизме, не ставит своей целью отображение визуально воспринимаемой реальности, то есть изначально сложен для

восприятия), или частично отражает сходные ментальные процессы в течение двух смежных видов деятельности (например, участник зачастую склонен начинать конструирование определенного образа с определенного когнитивного механизма).

При оценке сложности жестового паттерна дискурса, выражающегося в количестве жестов, обнаруживается, что существует прямая корреляция между общим количеством жестов в полимодальном дискурсе и сложностью дискурсивного паттерна (р < 0.05, г = 0.354). Однако такой же прямой корреляции не наблюдается со зрительной цепочкой (р > 0.05). Тем не менее, если взять только то количество жестов, которое соотносится с конкретными областями интереса на стимуле, то корреляция с дискурсивной цепочкой резко слабеет (р > 0.05), а со сложностью зрительной цепочки наоборот становится значимой (р < 0.05, г = 0.295). Эти данные, с одной стороны, свидетельствуют о синхронизации жестов и речи, которую они сопровождают, в том числе на уровне рисунка фокусирования: жест переключается на другой референт или идею чаще, значит в большинстве случаев и смена механизма описания происходит чаще. Однако если отдельно рассмотреть только те жесты, которые соотносятся с объектами со стимула, то прослеживается связь с предшествовавшей зрительной перцепцией: намечается тенденция, что чем чаще сменяется способ рассматривания референта, тем чаще участник при непосредственном описании этого референта переключается с одного жеста на другой и / или сильнее поддерживает свою речь жестикуляцией.

Заключение

Анализ 40 зрительных и 40 соответствующих им дискурсивных цепочек фокусирования (при учете роли жестов) показывает:

1) элементы относительно равномерно распределены по группам как в зрительной перцепции, так и в вербальном компоненте дискурса, среднее отклонение показателей по всем стимулам составляет 15,8; однако корреляционный анализ между долью фиксаций поискового типа зрения (считается от общей длительности фиксаций на стимуле) и ЭДЕ, соотнесенных с механизмом описания генерализация (считается от общего количества ЭДЕ в монологическом описании по данному стимулу до первой реплики слушателя участника), говорит об отсутствии прямой зависимости;

2) начальные элементы сопоставляемых цепочек совпадают более чем в половине случаев, при этом отмечается относительно важная роль жестов, в частности прагматических, и их связь со зрительной перцепцией;

3) при упрощении цепочек с акцентом на частоту смен тип зрения или механизма описания обнаружено, что сложность рисунков зрительной перцепции и дискурса (допускается отклонение до 2 элементов) совпадает в более чем половине рассмотренных случаев и обнаруживает прямую зависимость при тесте на корреляцию; также наблюдаются интересные зависимости между количеством жестов и сложностью дискурсивных и зрительных цепочек.

Таким образом, сопоставительный анализ цепочек фокусирования описательного дискурса и предшествующей ему зрительной перцепции, соотносимых с одним стимулом, подтверждает, что зрительное восприятие влияет на употребление как вербальных, так и невербальных средств дескриптивов и, зная определенные характеристики зрительной перцепции, можно в некоторой мере предугадать, каким образом будет представлен референт с точки зрения рисунка фокусирования и как говорящий выстроит свою цепочку фокусирования в дескриптиве.

СПИСОК ЛИТЕРАТУРЫ / REFERENCES

Величковский Б. М. Когнитивная наука. Основы психологии познания: в 2 т. М.: Академия, 2006. [Velichkovskij, B. M. (2006). Kognitivnaja nauka. Osnovypsihologiipoznanija. (Cognitive science. Principles of psychology of knowledge): in 2 vols. Moscow: Akademija. (In Russ.)]. Ирисханова О. К., Прокофьева О. Н. Фокусирование в устном описательном дискурсе: анализ визуальной перцепции, речи и жестов // Когнитивные исследования языка. 2017. № 29. C. 80-90. [Iriskhanova, O. K., Prokofyeva, O. N. (2017). Focusing in spoken descriptive discourse: A study of visual perception, speech and gestures. Kognitivnye issledovaniya yazyka, 29, 80-94. (In Russ.)]. Кубрякова Е. С., Ирисханова О. К. Языковое абстрагирование в именах категорий // Известия РАН. Серия литературы и языка. 2007. № 2. С. 3-12. [Kubryakova, E. S., Iriskhanova, O. K. (2007). Abstract nouns in the cognitive construal of the word. Izvestiya RAN. Seriya literatury i yazyka, 2, 3-12. (In Russ.)].

Прокофьева О. Н. Специфика языковой и жестовой передачи зрительного восприятия (описательный дискурс) // Вестник Московского государственного лингвистического университета. Гуманитарные науки. 2018.

№ 18 (816). С. 257-267. [Prokofyeva, O. N. (2018). Visual, verbal, and gestural focusing in Russian descriptive discourse. Vestnik of Moscow State Linguistic University. Humanities, 78(816), 257-267. (In Russ.)].

Рассказы о сновидениях. Корпусное исследование устного русского дискурса / под ред. А. А. Кибрик, В. И. Подлесская. 2009. [Kibrik, A. A., Podlesskaya, V. I. (eds.). (2009). Night dream stories: A corpus study of spoken Russian discourse. Moscow: Languages of Slavonic Culture. (In Russ.)].

Alibali M. W., Kita S., Young A. J. (2000). Gesture and the process of speech production: We think, therefore we gesture // Language and cognitive processes. 2000. Vol. 15 (6). Pp. 593-613.

Bressem J., Müller C. A repertoire of German Recurrent Gestures with Pragmatic Functions // C. Müller, A. Cienki, E. Frickle, S. Ladewig, D. McNeill & J. Bressem (Eds.), Body - language - communication: An international handbook on multimodality in human interaction. 2014. Vol. 2. Pp. 1575-1591.

Fazekas P., Nanay B. Attention is amplification, not selection. The British journal for the philosophy of science, axy065. 2018. URL: https://doi.org/10.1093/ bjps/axy065.

Iriskhanova O. K., Cienki A. The semiotics of gestures in cognitive linguistics: contribution and challenges. Voprosy kognitivnoi lingvistiki. 2018. № 4 (57). Tambov: Obshcherossiiskaya obshchestvennaya organizatsiya "Rossiiskaya assotsiatsiya lingvistov-kognitologov", 2018. Pp. 25-36.

McNeill, D. Hand and Mind: What gestures reveal about thought. Chicago: Chicago University Press, 1992.

Ladewig S. Recurrent Gestures // Body - Language - Communication: An International Handbook on Multimodality in Human Interaction / ed. by C. Müller, A. Cienki, E. Frickle, S. Ladewig, D. McNeill & J. Bressem. Vol. 2. Berlin: De Gruyter Mouton, 2014. Pp. 1558-1574.

Langacker R. W. Cognitive Grammar: A Basic Introduction. Oxford: Oxford University Press, 2008.

i Надоели баннеры? Вы всегда можете отключить рекламу.