CC BY
5УДК 81'221:81'371
РОЛЬ ПОЗИЦИИ РЕФЕРЕНТА ПРИ ИСПОЛЬЗОВАНИИ ГОВОРЯЩИМ ДЕЙКТИЧЕСКИХ ЖЕСТОВ В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ 1
Талески Александар
к. филол. н., ст. преподаватель кафедры теоретического и прикладного языкознания Пермский государственный национальный исследовательский университет
614990, г. Пермь, ул. Букирева, 15. taleski87@yahoo.com
В данной работе делается попытка показать особенности употребления дейктических жестов говорящим в виртуальной реальности (У^) в связи с положением референта. Референт появляется в трех положениях относительно говорящего: проксимальном, медиальном и дистальном. В работе исследуется, как положение референта в У^-среде может повлиять на жестовое поведение говорящего. С этой целью был в У^-среде проведен эксперимент, в котором приняли участие 24 испытуемых. Было получено 720 реакций, представленных в виде размеченных реплик, которые проанализированы и обработаны в информационной системе «Семограф». Результаты анализа показали, что говорящий, указывая в УR на референт, использует верхние конечности и их части, а также голову и корпус. Применение говорящим тех или иных частей тела при указании в УR могло быть вызвано положением референта в пространстве. Обсуждаются закономерности, которые могли бы расширить представление о природе самих жестов. Освещаются дальнейшие перспективы исследования и предлагаются рекомендации для будущих экспериментов.
Ключевые слова: коммуникация; дейксис; дейктические жесты; виртуальная реальность; положение референта.
Введение
Изучение невербального поведения говорящего, чья деятельность осуществляется под влиянием неязыковых параметров в новой среде функционирования человека - виртуальной реальности (VR), представляется весьма актуальным. VR - это среда, формируемая посредством компьютерных технологий и технических средств для создания эффекта интерактивного трехмерного мира, где объекты обладают свойством пространственного присутствия. Пользователь, погружаясь в этот мир, который воспринимается через сенсорные стимулы и интерактивные устройства, может взаимодействовать с виртуальными объектами [Bohil et al. 2009; Fox, Arena, Bailenson 2009; Peeters 2019].
VR обладает некоторыми специфическими характеристиками, такими как порожденность, автономность, интерактивность, иллюстративность, иммерсивность, интуитивность и др. К тому же, технологии VR дают возможность предъявления трехмерных сцен, манипуляции виртуальными объектами, взаимодействия между различными модальностями (речь, жест, взгляд, выражение лица) и являются эффективными для изучения когнитивных и коммуникативных процессов
[Зинченко, Меньшикова, Баяковский 2010: 67; Peeters 2019: 899; Zinchenko et al. 2015: 61]. Это позволяет считать VR экспериментальной коммуникативной средой, технологией разного рода процессов и/или методом исследования, используемым в рамках разных наук (см. подробнее [Ahn 2015; Becker et al. 2019; Dolgunsöz, Yildinm, Yildinm 2018; Innocenti 2017; Peeters 2019]).
Настоящее исследование, объектом которого являются дейктические жесты, проведено в экспериментальной VR-среде. Основная цель исследования - продемонстрировать специфику дейк-тических жестов говорящего в зависимости от позиции референта в VR при условиях отсутствия возможности видеть свои конечности испытуемым внутри VR. На основе реакций, полученных в различных смоделированных коммуникативных сценах, можно определить дейкти-ческую систему говорящего и его жестовое поведение в VR. Дейктическая система основывается на вербальных дейктиках и дейктических жестах [Гришина 2012; Levinson et al. 2018].
Природа дейктических жестов
Проблематика жестикуляции является предметом исследования мультимодальной лингвистики, где жесты рассматриваются в связи с вер-
© Талески А. 2022
бальной коммуникацией [Федорова 2018]. В современной мультимодальной лингвистике нет единого мнения о том, какие именно движения входят в тот или иной класс жестов. Для определения природы жеста и его принадлежности к тому или иному классу, по мнению некоторых ученых, нужно обратиться к его свойствам: осознанности, преднамеренности, информативности, контролируемости, коммуникативности, смыслу и др. (см. [Гришина 2017: 11; Kendon 2004]). Данные свойства подтверждают гипотезу о том, что жесты отражают внутренние когнитивные процессы. Жест описывается как движение тела или любой его части, выражающее мысль или чувство. Жесты - это динамические формы мыслительных представлений и невидимых когнитивных систем, которые совершаются в коммуникативном акте и определяются как «окно», через которое собеседник может заглянуть в сознание говорящего, в «воплощенную природу разума» [Hostetter, Alibali, Bartholomew 2008: 1452].
Обсуждая признаки жеста, Е.А. Гришина подчеркивает, что большинство жестов совершается бессознательно и ненамеренно; даже тогда, когда человек совершает их осознанно и намеренно, за пределами сознания остаются основные свойства этих жестов. Е.А. Гришина выделила «смысл» в качестве основного элемента жеста, обусловив это отсутствием цели у определенных жестов, совершаемых говорящим: жест - это двусторонний знак, который имеет ПВ (движение) и ПС (смысл) [Гришина 2017: 10-11].
Вышеуказанные свойства и признаки жестов предопределили наличие разных классификаций невербальных средств, которые зависят от их параметров, функций и семантики [Григорьева, Григорьев, Крейдлин 2001; Литвиненко, Николаева, Кибрик 2017; Clark 2003; McNeill 1992].
Дейктические (указательные) жесты, являющиеся предметом данного исследования, обнаруживаются во всех классификациях невербальных средств. Они считаются самыми старыми в системе жестов всех языков [Григорьева, Григорьев, Крейдлин 2001; Brugmann 1904]. Дейктиче-ские жесты определяются как коммуникативное движение тела, которое проецирует вектор от части тела, указывая на определенное направление, местоположение или объект [Kita 2003; Levinson et al. 2018]. Следовательно, одним из основных свойств дейктических жестов можно считать коммуникативность. Это мнение соответствует теории, в рамках которой жесты рассматриваются как коммуникативные инструменты, обусловленные основными когнитивными процессами, например, выбором подходящей лексики, концептуализацией и др. [Graham, Argyle
1975; Kendon 1994]. Указание на когнитивный центр системы координат (origo, здесь и сейчас), на некоторый референт или точку во времени или пространстве, отношения между участниками процесса коммуникации, противопоставление элементов мира, находящихся близко/далеко являются основными функциями как дейктических жестов, так и словесных дейктиков [Макар-цев 2017; Efron 1941].
Жестовое указание на референт при помощи телесного жеста - это истоки стандартного дейксиса. Дейксис в стандартном смысле, в понимании К. Бругманна и целого ряда других ученых - это особая коммуникативная система, упрощающая взаимопонимание двух собеседников [Brugmann 1904]. Это использование жестов и их особых словесных заменителей для указания на объекты речи, на местоположение объектов в пространстве или на временной оси.
Указание на некоторый объект или на его направление движения представляется как основная трактовка в толкованиях дейктических жестов. Г.Е. Крейдлин расширяет эту трактовку, подчеркивая, что «дейктические жесты не столько указывают на объект, сколько показывают действия объекта или демонстрируют его свойства» [Крейдлин 2008: 249]. Это свидетельствует о существовании свойств информативности и скрытой преднамеренности у дейктических жестов.
Признаками понимаемых таким образом дейк-тических жестов могут выступать направление движения, траектория движения, выбор жестикулирующей руки, конфигурация ладони, ориентация ладони и др. Эти признаки находятся в центре внимания мультимодальной лингвистики [Гришина 2017: 24]. Г.Е. Крейдлин ограничивается тремя признаками, значениями которых определяется форма дейктических жестов: 1) орган и/или рабочая часть жеста; 2) направление органа, который выполняет жест; 3) ориентация ладони [Крейдлин 2008: 249]. В то же время говорящий при указании может использовать не только руки и их компоненты, но и голову, губы, брови, взгляд, движение глаз, подбородок и т. д. [Enfield 2001; Levinson et al. 2018].
Методология исследования
В нашем исследовании обращается внимание на дейктические жесты рук, корпуса, головы и их компонентов. Исследование проводится при помощи VR-стенда, который как технология применяется для исследования когнитивных процессов (включая вопросы о дейктическом и коммуникативном поведении говорящего) в среде виртуальной реальности. VR-стенд состоит из VR-платформ, являющихся набором типовых сцен.
Материалом для исследования служат записи речевого и жестового поведения 24 информантов в пяти У^-сценах, каждая из которых является
неповторимой комбинацией коммуникативных параметров. Схема одной из сцен представлена на Рисунке 1.
Рисунок 1. Схема сцены 1
В эксперименте моделируется ситуация указания на референт при варьировании расположения локуторов: VR-адресата (А), говорящего и референта (Р). Основная задача говорящего - найти предмет, находящийся на одном из столов в виртуальном помещении и попросить у собеседника взять его каждый раз, когда меняется местонахождение локуторов. Каждый поведенческий акт информантов представляется в виде реплики: Подойдите, пожалуйста, вот к этому столу (делает указательный жест кистью левой руки /ладонь вниз/) и возьмите бутылку. Всего было получено 725 реплик. Для данной работы было проанализи-
ровано 720 реплик, так как 5 реплик не относи-лисься к референту и его позиции в пространстве. Было выявлено 445 указательных жестов. Анализ материала осуществлялся в информационной системе «Семограф» [Ве1ошоу et а1. 2017], позволяющей проводить классификацию материала и после нее автоматически определять абсолютную частоту (/¡) исследуемых типов (не)вербальных элементах.
Схема эксперимента для данного исследования представлена на Рисунке 2. Полное описание аппаратуры, использованной в эксперименте, представлено в работе [Талески 2020].
Рисунок 2. Схема экспериментального исследования
Важным аспектом исследования является появление референта в трех разных положениях в каждой сцене. Первое положение, в котором появляется референт, является проксимальным
(обозначено как Р1 на Рисунке 1). Это указывает на то, что объект расположен близко к говорящему. Второе положение референта является медиальным, т. е. референт находится в нейт-
ральной позиции по отношению к участникам коммуникации (обозначена как Р2 на Рисунке 1). Третье положение референта - дистальное (обозначено как Р3 на Рисунке 1) - указывает на удаленный объект относительно говорящего.
Положение референта в пространстве может оказать влияние на использование того или иного дейктического жеста. Специфика использования дейктических жестов в зависимости от положения референта находится в центре внимания данной работы.
Результаты анализа
На основе анализа полученного материала были выявлены следующие типы дейктических
Типы и подтипы указательных же<
жестов: «Указание головой», «Указание корпусом» и «Указание верхними конечностями», в котором объединяются подтипы «Указание ладонью», «Указание руками» и «Указание пальцами». Это обусловлено использованием говорящим различных частей своего тела при указании на референт, несмотря на отсутствие его конечностей в VR-среде.
В Таблице 1 представлены полученные типы дейктических жестов, а также дается общая характеристика количественных показателей использования дейктических жестов говорящим в зависимости от его положения относительно положений референта2.
Таблица 1
»в и частота их встречаемости, отн.
Типы дейктических жестов Позиция референта Всего
Р1 Р2 Р3
Указание верхними конечностями 0,604 0,487 0,608 1,699
Указание руками 0,092 0,058 0,083 0,233
Указание ладонью 0,354 0,271 0,342 0,967
Указание пальцами 0,158 0,158 0,183 0,499
Указание головой 0,025 0,058 0,046 0,129
Указание корпусом 0,000 0,004 0,004 0,008
Всего 0,629 0,550 0,658 1,836
В Таблице 1 можно видеть следующую тенденцию в дейксисе и жестикуляции: при коммуникации в говорящий чаще всего для указания использует верхние конечности и их части, при этом говорящий в основном указывает с помощью ладони, а затем следуют пальцы и руки; меньше всего при указании используются голова и корпус (последний используется при жестикуляции изолированно).
Что касается использования дейктических жестов в зависимости от положения референта,
можно отметить, что частота встречаемости дейктических жестов при дистальном положении референта по отношению к говорящим незначительно выше, чем при проксимальном (0,658 против 0,629). Испытуемые реже всего используют указательные жесты при медиальном положении референта (0,55).
Отмечаются некоторые различия в задейство-ванности частей тела говорящего (верхние конечности, голова и корпус) при указании на референт в трех разных положениях (см. Рис. 3).
Рисунок 3. Степень задействованности частей тела при указании на референт в проксимальном, медиальном и дистальном положениях: а) верхние конечности; б) голова; в) корпус
Самая высокая степень задействованности отмечается у верхних конечностей при дисталь-ном положении референта (0,608); затем следует
указание при проксимальном положении, при котором отмечается умеренная степень задей-ствованности - несколько меньше относительно
дистального (0,604); незначительная степень (0,487) задействованности верхних конечностей отмечается при медиальном положении референта (Рис. 3 а).
Несколько иначе обстоят дела с использованием жеста «Указание головой» (см. Рис. 3б). Голова чаще всего используется при указании на медиальное положение референта в УЯ, в связи с чем её степень задействованности отмечается как выраженная (0,058). Умеренная степень задей-ствованности головы наблюдается при дисталь-ном положении референта (0,046). Самая незначительная степень задействованности установлена в связи с проксимальным положением референта по отношению к говорящему (0,025).
Необходимо отметить одинаково малую частоту встречаемости задействованности корпуса при указании на референт как при медиальном, так и при дистальном положениях референта (0,004); при проксимальном положении референта вообще не наблюдается использование этого жеста (см. Рис. 3в).
Если еще детальнее рассмотреть такой тип дейктического жеста, как «Указание верхними конечностями» (Табл. 1), то видно, что подтип «Указание руками» при проксимальном и дистальном положениях референта встречается почти в два раза чаще, чем при медиальном. Схожая тенденция наблюдается и при использовании жеста «Указание ладонью». Что касается жеста «Указание пальцами», то говорящий чаще всего пользуется этим жестом, обозначая дистальное положение референта, а меньше - на проксимальное и медиальное, где частота встречаемости идентична (0,158).
Некоторые из подтипов указательных жестов содержат определенные компоненты в зависимости от конфигурации самого жеста или от количества частей тела, вовлеченных в процесс указания. Так, в подтипе «Указание ладонью» набор компонентов обусловлен композицией ладони при указании на референт: «Ладонь вертикально», «Ладонь вверх» и «Ладонь вниз» (см. Рис. 4). Частоты встречаемости данных компонентов представлены в Таблице 2.
а) б) в)
Рисунок 4. Компоненты подтипа «Указание ладонью»: а) «Ладонь вниз», б) «Ладонь вверх», в) «Ладонь вертикально»
Таблица 2
Частота встречаемости компонентов подтипа «Указание ладони», отн.
Конфигурация ладони Положение референта Всего
Р1 Р2 Р3
Ладонь вверх 0,171 0,100 0,121 0,392
Ладонь вниз 0,036 0,008 0,038 0,082
Ладонь вертикально 0,150 0,163 0,183 0,496
Из Таблицы 2 следует, что чаще всего при указании ладонью испытуемые использовали вертикальное положение, намекая на его преро-гативную дейктичность. Незначительно реже отмечается указание ладонью вверх. Указание при использовании ладони вниз встречается в шесть раз реже, чем ладонь вертикально, и в пять раз реже, чем ладонь вверх. Если присмотреться к конфигурации ладони в связи с положением референта, то можно подчеркнуть, что при указании на референт в медиальном положении го-
ризонтально расположенные ладони вверх и вниз используются реже, чем ладонь вертикально. Указание ладонью вверх чаще всего наблюдается при проксимальном, а в меньшей степени - при дистальном положении референта. Указание ладонью вниз на референт при его проксимальном и дистальном положении схожее: частоты встречаемости почти совпадают (0,038 против 0,036). Ладонь вертикально употребляется говорящим чаще при дистальном положении референта, чем при медиальном и проксимальном.
Стоит отметить, что у данных компонентов наблюдается определенная неоднородность в связи со свойством преднамеренности. Г.Е. Крейдлин, описывая в своей работе смыслы, передаваемые горизонтально расположенной ладонью вверх и вниз, подчеркнул, что ладонь вверх несет смысл открытости, представления и предоставления адресату объекта (конкретного и абстрактного), давая ему возможность ввести объект в свою
личную сферу, так как ладонь вниз придвигает объект ближе к жестикулирующему, свидетельствуя о частичной недоступности объекта для адресата [Крейдлин 2007: 309]. Данное утверждение отсылает к оппозиции элементов «близко/далеко», что характерно для русской языковой картины мира.
В нашем исследовании, обращаясь к свойству преднамеренности, можно подчеркнуть, что все выявленные компоненты используются говорящим в VR-среде сугубо дейктически. Об этом свидетельствует их использование в сопровождении словесных дейктиков, например, Возьмите бутылку, которая находится напротив вас (указывает левой рукой /вертикальное положение ладони/). Относительно оппозиции «близко/далеко», следует признать, что ее однозначность нарушается при указании говорящим ладонью вертикально, так как частота встречаемости этого компонента при медиальном положении референта превышает частоту встречаемости при проксимальном. Напротив, степень задей-ствованности компонентов ладонь вверх и вниз при медиальном положении референта занимает периферийную позицию в триаде.
Подтип «Указание руками» построен на компонентах «Левая/правая рука» и «Обе руки». В Таблице 3 дается вариативность частоты встречаемости при использовании компонентов рук в зависимости от положения референта в VR-среде.
Согласно Таблице 3, говорящий при указании на референт в четыре раза чаще использует только одну руку, чем обе руки. Самая высокая частота встречаемости левой/правой руки отмечается при указании на проксимальное и дисталь-ное положение референта, так как говорящий в два раза реже использует данный компонент для указания на референт в медиальном положении.
Несколько иначе обстоят дела с использованием обеих рук. Говорящий в большинстве случаев указывает обеими руками на референт при медиальном положении, а затем следуют проксимальное и дистальное. Использование обеих рук при указании на референт в VR-среде можно охарактеризовать как усиление выразительности (см. Рис. 5), например: Прямо перед вами бутылка, молодой человек (указывает перед собой
вытянутой левой рукой), ну что ж вы не видите-то (усиливает указание правой рукой /вертикальное положение ладоней/, чуть приподнятой и согнутой в локте), заберите бутылку, пожалуйста. В данном примере отмечается усиление с целью дополнительного воздействия на слушателя. Часто, это обусловлено отсутствием интерактивности со стороны виртуального адресата, поскольку он не выполняет команды говорящего. В связи с этим стоит отметить, что в ситуациях при использовании обеих рук нередко наблюдаются сопровождающие этому жесту словесные элементы и мимика с эмоциональной семантикой.
Рисунок 5. Использование компонента «Обе руки»
Заключение
Тенденциозность использования испытуемым дейктических жестов при указании в VR рассмотрена в зависимости от позиции референта по отношению к говорящему в трех разных положениях: проксимальном, медиальном и дисталь-ном. Как показали результаты анализа, информанты, указывая на референт в VR, применяли в основном верхние конечности и их компоненты, голову и корпус, несмотря на их отсутствие в своем поле зрения в VR.
Так, говорящий при указании использует верхние конечности в 13 раз чаще, чем голову, и в 200 раз чаще, чем корпус. За исключением типа дейктического жеста «Указание головой», который чаще всего используется при медиальном положении референта в VR, остальные типы и их подтипы в основном наблюдаются при дистальном и/или проксимальном положении референта, что отражает оппозиционность «близко/далеко», свойственную для русской языковой картины мира.
Определенная вариативность компонентов обнаруживается у подтипов «Указание ладонью» и «Указание руками». Было обнаружено предпочтительное использование компонента «Ладонь
Таблица 3
Частота встречаемости компонентов подтипа «Указание руками», отн.
Рука Положение референта Всего
Р1 Р2 Р3
Левая/правая рука 0,075 0,038 0,075 0,188
Обе руки 0,017 0,021 0,008 0,046
вертикально» по отношению к компонентам «Ладонь вверх» и «Ладонь вниз». К тому же отмечается, что конфигурации ладони вверх и вниз при указании на референт в УЯ являются исключительно дейктическими, на что намекает их совместное использование со словесными дейк-тиками.
Следует подчеркнуть, что использование испытуемым для указания левой или правой руки при «Указании руками» является одинаково частотным при проксимальном и дистальном положении референта, в то время как при медиальном положении для указания на референт чаще всего употребляются обе руки вместе. Компонент «Обе руки» систематически сопровождается словесными элементами и мимикой с эмоциональной семантикой. Это обусловлено потребностью в усилении указания и дополнительном воздействия на собеседника в связи с отсутствием интерактивности УЯ-адресата.
Таким образом, в целом можно резюмировать, что применение тех или иных частей тела при указании в УЯ вызвано положением референта в пространстве, о чем свидетельствует вариативность частоты их использования.
Возвращаясь к вопросу о существовании ограничений при коммуникации в УЯ, отметим еще одну достаточно интересную закономерность: наличие помех (отсутствие возможности у испытуемых видеть свои конечности и отсутствие интерактивности со стороны УЯ-адресата) не помешало говорящему при коммуникации в УЯ-среде использовать дейктические жесты. При полном наборе компонентов речевой ситуации (наличии коммуникантов и референта) говорящий может обходиться словесными и/или жесто-выми указателями. В данном эксперименте появление помех позволяет считать неосознанным использование говорящим дейктических жестов, так как они никак не могут повлиять на совершение успешного коммуникативного акта. С одной стороны, указание жестами в такой ситуации свидетельствует о высокой степени погружения испытуемых в среду. С другой стороны, этим подчеркивается определенная деградация свойств жеста - информированности, коммуникативности и преднамеренности, так как жесты исполненные говорящим в УЯ, не передают собеседнику никакую дополнительную информацию и не сказываются на успешности достижения определенной коммуникативной цели. Отсюда следует, что такое использование говорящим дейктических жестов можно квалифицировать как рефлекс, т. е. стереотипную реакцию, а не как рефлексию, или сознательное поведение.
Дальнейшие перспективы исследования могут состоять в его масштабировании, например, привлечении большего количества испытуемых, включении дополнительных задач и расширении интерактивных устройств (перчатки, джойстики, костюмы и т. п.) с целью построения отчетливой парадигмы дейктического поведения человека в УЯ. Это позволит определить стратегии и тактики использования жестов говорящим, установить их набор и варьирование в зависимости от (не)языковых факторов, получить новую информацию о семантике жестов и их когнитивных функций, что приведет к расширению существующих представлений о невербальной коммуникации.
Особый интерес представляет изучение же-стового поведения говорящего в УЯ, задейство-ванность той или иной части тела и ее компоненты, природа самого жеста, его свойства и функции, а также направление движения, траектория движения, конфигурация, ориентация используемых при указании конечностями и др. Выявление новых сведений о функционировании жестов в УЯ-среде помогло бы способствовать дальнейшей разработке теории невербальной коммуникации и внесло бы вклад в расширение поля деятельности жестикуляционной лингвистики в новой среде жизнедеятельности человека - УЯ.
Примечания
1 Работа выполнена в рамках государственного задания Министерства науки и высшего образования Российской Федерации, проект FSNF-2020-0023.
2 Частота встречаемости (т) рассчитывается как отношение абсолютной частоты (/¡) к количеству реплик (^ для каждой конкретной выборки материала.
Список литературы
Григорьева С.А., Грирогьев Н.В., Крейдлин Г.Е. Словарь языка русских жестов. Язык. Семиотика. Культура. М.: Языки русской культуры; Вена: Венский славистический альманах, 2001. 256 с.
Гришина Е.А. Здесь и тут: корпусной и жестикуляционный анализ полных синонимов // Русский язык в научном освещении, 2012. № 23. С.39-71.
Гришина Е.А. Русская жестикуляция с лингвистической точки зрения: Корпусные исследования. М.: Языки славянской культуры, 2017. 744 с.
Зинченко Ю.П., Меньшикова Г.Я., Баяков-ский Ю.М. Технологии виртуальной реальности: методологические аспекты, достижения и перспективы // Национальный психологический журнал, 2010. № 1(3). С. 54-62.
Крейдлин Г.Е. Механизмы взаимодействия вербальных и невербальных единиц в диалоге. II А. Дейктические жесты и их типы // Труды международной конференции «Диалог 2007: Компьютерная лингвистика и интеллектуальные технологии». М.: Изд-во РГГУ, 2007. С. 300-327.
Крейдлин Г.Е. Механизмы взаимодействия вербальных и невербальных единиц в диалоге. II Б. Дейктические жесты и речевые акты // Компьютерная лингвистика и интеллектуальные технологии: по матер. Междунар. конф. «Диалог 2008»,
2008. Вып. 7(14). С. 248-253.
ЛитвиненкоА.О., НиколаеваЮ.В., КибрикА.А. Аннотирование русских мануальных жестов: теоретические и практические вопросы // Компьютерная лингвистика и интеллектуальные технологии: по матер. ежегодной Междунар. конф. «Диалог». М.: Изд-во РГГУ, 2017. Вып. 16(23). С. 271-286.
Макарцев М.М. Языковые жесты, qualia и синестезия в балканской модели мира // Балканский дейксис и балканские (языковые) жесты: Памяти Т.М. Николаевой / Ин-т славяноведения РАН. М., 2017. 128 с.
Талески А. Поведение говорящего в виртуальной реальности (методика эксперимента и описание предварительных результатов) // Вестник Пермского университета. Российская и зарубежная филология, 2020. Вып. 4, т. 12. С. 54-67.
Федорова О.В. О русской жестикуляции с лингвистической точки зрения (к выходу монографии Е.А. Гришиной) // Вопросы языкознания, 2018. № 5. С. 114-123.
Ahn S.J. -G. Using Avatars and Agents to Promote Real-World Health Behavior Changes // The Digital patient: Advancing Healthcare, Research, and Education / D.C. Combs, J.A. Sokolowsky, C.M. Banks (eds.). New York: John Wiley, 2015. P. 171-180.
Becker J. et al. A Supernatural VR Environment for Spatial User Rotation / J. Becker, U. Meyer, T. Eichler, S. Draheim // IEEE Conference on Virtual Reality and 3D User Interfaces (VR). 2019. P. 850-851.
Belousov K. et al. «Semograph» Information System as a Framework for Network-Based Science and Education / K. Belousov, E. Erofeeva, Y. Lesh-chenko, D. Baranov // Smart Innovation, Systems and Technologies. Smart Education and e-Learning. 2017. P.263-272.
Bohil C. et. al. Virtual Reality and Presence / C. Bohil, C.B. Owen, E. Jeong, B. Alicea, F. Biocca // Twenty First Century Communication: a Reference Handbook / W.F. Eadie (ed.). SAGE Publications,
2009. P.534-544.
Brugmann K. Die Demonstrativa Pronomina der indogermanischen Sprachen. Leipzig: Gruyter. 1904. 144 p.
ClarkH.H. Pointing and Placing // Pointing: Where Language, Culture and Cognition Meet / S. Kita (ed.). Mahwah (NJ): Lawrence Erlbaum Associates, 2003. P.243-268.
Dolgunsoz E., Yildirim G., Yildirim S. The Effect of Virtual Reality on EFL Writing Performance // Journal of Language and Linguistic Studies. 2018. No. 14(1). P. 278-292.
Efron D. Gesture and Environment: A Tentative Study of Some of the Spatio-temporal and Linguistic Aspects of the Gestural Behavior of Eastern Jews and Southern Italians in New York City, Living Under Similar as Well as Different Environmental Conditions. New York: King's Crown Press, 1941. 184 p.
Enfield N.J. 'Lip-pointing': A Discussion of Form and Function with Reference to Data from Laos // Gesture& 2001. No 1(2). P. 185-212.
Fox J., Arena D., Bailenson J.N. Virtual Reality: A Survival Guide for the Social Scientist // Journal of Media Psychology. 2009. No 21(3). P. 95-113.
Graham J.A., Argyle M. A Cross-cultural Study of the Communication of Extra-verbal Meaning by Gesture // International Journal of Psychology. 1975. No 10. P. 57-67.
Hostetter A.B., Alibali M. W., Bartholomew A.E. Gesture During Mental Rotation // Proceedings of the 33rd Annual Conference of Cognitive Science Society. 2011. P. 1448-1453.
Innocenti A. Virtual Reality Experiments in Economics // Journal of Behavioral and Experimental Economics. 2017. No 69. P. 71-77.
Kendon A. Do Gestures Communicate?: A Review // Research on Language and Social Interaction, 1994. Vol. 27(3). P. 175-200.
Kendon A. Gesture: Visible Action as Utterance. Cambridge: Cambridge University Press, 2004. 400 p.
Kita S. Interplay of Gaze, Hand, Torso Orientation, and Language in Pointing // Pointing: Where Language, Culture and Cognition Meet / S. Kita (ed.). Mahwah (NJ): Lawrence Erlbaum Associates, 2003. P.307-328.
Levinson S. et al. Demonstratives in Cross-linguistic Perspective / S. Levinson, C. Sarah, D. Michael, E. Nick, M. Sergio (eds.). Cambridge: Cambridge University Press, 2018. 402 p.
McNeill D. Hand and Mind: What Gestures Reveal about Thought. Chicago: University of Chicago Press, 1992. 423 p.
Peeters D. Virtual Reality: A Game-changing Method for the Language Sciences // Psychonomic Bulletin & Review. 2019. Vol. 26(2). P. 894-900.
Zinchenko Yu.P. et al. Postnonclassical Methodology and Application of Virtual Reality Technologies in Social Research / Yu.P. Zinchenko, G.Ya. Menshikova, A.I. Kovalev, L.A. Shaigerova // Psychology in Russia: State of the Art. 2015. Vol. 8(4). P. 60-71.
THE ROLE OF THE REFERENT'S POSITION IN THE USE OF DEICTIC GESTURES IN VIRTUAL REALITY
Taleski Aleksandar
Senior Lecturer, Theoretical and Applied Linguistics Department Perm State National Research University
In this paper, we try to show the features of the speaker's use of deictic gestures in virtual reality (VR) in terms of the referent's position. The referent appears in three positions relative to the speaker: proximal, medial and distal. We explore how the referent's position in the VR environment can affect the speaker's gestural behavior. For that purpose, a VR experiment with 24 participants was conducted. We obtained 720 reactions, represented as marked phrases, which were further analyzed and processed in the Semograph Information System. The results showed that the speaker, when pointing to the referent in VR, uses upper limbs and their components, as well as head and body. The speaker's use of certain body parts when pointing in VR could be caused by the position of the referent in space. We discuss the patterns that could expand the understanding of the nature of gestures themselves. We also highlight further research prospects and offer recommendations for future experiments.
Keywords: communication; deixis; deictic gestures; virtual reality; position of the referent.
