CC BY
24
ВЕСТНИК ПЕРМСКОГО УНИВЕРСИТЕТА. РОССИЙСКАЯ И ЗАРУБЕЖНАЯ ФИЛОЛОГИЯ
2020. Том 12. Выпуск 4
УДК 81'276.2
doi 10.17072/2073-6681-2020-4-54-67
ПОВЕДЕНИЕ ГОВОРЯЩЕГО В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ (методика эксперимента и описание предварительных результатов)
Александар Талески
аспирант кафедры теоретического и прикладного языкознания Пермский государственный национальный исследовательский университет
614990, Россия, г. Пермь, ул. Букирева, 15. taleski87@yahoo.com SPIN-код: 1963-9833
ORCID: http://orcid.org/0000-0002-1901-8572 ResearcherID: 0-4819-2018
Статья поступила в редакцию 30.06.2020
Просьба ссылаться на эту статью в русскоязычных источниках следующим образом:
Талески А. Поведение говорящего в виртуальной реальности (методика эксперимента и описание предварительных результатов) // Вестник Пермского университета. Российская и зарубежная филология. 2020. Т. 12, вып. 4. С. 54-67. doi 10.17072/2073-6681-2020-4-54-67 Please cite this article in English as:
Taleski A. Povedenie govoryashchego v virtual'noy real'nosti (metodika eksperimenta i opisanie predvaritel'nykh re-zul'tatov) [Speaker's Behavior in Virtual Reality (Methodology of the Experiment and Description of Preliminary Results)]. Vestnik Permskogo universiteta. Rossiyskaya i zarubezhnaya filologiya [Perm University Herald. Russian and Foreign Philology], 2020, vol. 12, issue 4, pp. 54-67. doi 10.17072/2073-6681-2020-4-54-67 (In Russ.)_
В статье рассмотрена методика эксперимента, посвященного изучению поведения говорящего в виртуальной реальности (VR), и приведены его предварительные результаты.
Цель эксперимента - изучение специфики вербальной и невербальной реализации ролевого и пространственного дейксиса в VR. На основании полученных реакций определяется система координат говорящего и строятся модели коммуникативного поведения говорящего в VR.
В работе подробно описан дизайн эксперимента: стимульный материал, на основании которого создается сцена VR; виды сцен, позволяющие определить тип ориентации говорящего; описание инструментов, при помощи которых создается VR; требования к отбору участников эксперимента; способы записи материала и принципы его расшифровки. Особое внимание уделяется соотнесению «внешнего» (жестового) и «внутреннего» (вербального) поведения говорящих, принципам фиксации жестов и соотнесению их с вербальными реакциями испытуемого на предъявляемую сцену.
На основе данных, полученных от испытуемых, разрабатывается классификатор, где в качестве классификационных выступают категории «Структура ситуации», «Тип коммуникации» и «Средства коммуникации» и их подклассы. Реплики испытуемых заносятся в систему «Семограф» и визуально представляются в виде настраиваемого интерактивного графа в программе SciVi.
В настоящее время обработаны реакции двух информантов из общей выборки: мужчины и женщины. На основе анализа их реакций были получены предварительные результаты, позволяющие продемонстрировать принципы работы с классификатором, проследить представленность вербальных и невербальных средств в реакциях испытуемых и определить тип ориентации и коммуникативного поведения говорящего в зависимости от его личности и типа сцены. Предварительный анализ позволяет скорректировать принципы обработки материала, его аннотирования и внесения в систему «Семограф», а также работу с классификатором.
Ключевые слова: дейксис; вербальные средства; невербальные средства; виртуальная реальность; система координат.
© Талески А., 2020
Введение
Статья посвящена методике экспериментального исследования поведения говорящего в виртуальной реальности (VR).
VR-пространство находится между объективной и субъективной действительностью, и в нем взаимодействуют различные реальные процессы и действия с сознанием человека [Каганов 2003]. Понятие VR изначально рассматривается техническими науками в связи с развитием информационных технологий, а затем переходит в гуманитарные науки с целью решения фундаментальных и прикладных задач. Средства, в частности движки и очки VR, с помощью которых создается виртуальная сцена, позволяют обеспечить частичное или полное погружение человека в VR-пространство и создают иллюзию действительности.
VR как новая область исследования появилась в 1990-е гг. в психологии, социологии и других науках [см. Rothbaum 1990; Biocca, Levy 1995; Blascovich 2002; Fox 2009: 95]. На данный момент VR считается экспериментальной средой, технологией процессов (лечение, обучение и др.) или методом исследования, который используется в медицине [см. Tarr 2002; Rizzo 2005; Riva 2008; Ahn 2015], экономике [см. Atlas 2008; Innocenti 2015], лингвистике [см. Heyselaar 2015; Dolgunsöz 2018: 280; Peeters 2019] и др.
По сравнению с традиционными подходами в исследованиях с применением метода VR отмечается отсутствие искусственного пространственного разделения между стимулом и информантом. Таким образом, традиционные эксперименты, где стимулы включаются один за другим на мониторе компьютера, заменяются погружением участников в виртуальную реальность. Участники сами задействованы в изображенных сценах. К тому же погружение происходит в натуралистических трехмерных средах [Peeters 2019: 898], поскольку VR обладает способностью создавать реальные и фантазийные ситуации [Fox 2009]. Пользователи в VR могут взаимодействовать с объектами, людьми и обстановкой, появление которых было ограничено лишь пределами человеческого воображения [Fox 2009].
По словам Ю. П. Зинченко, технологии VR дают возможность предъявления трехмерных сцен, манипуляции виртуальными объектами, широкого обзора зрения и т. п. и являются эффективными для изучения когнитивных процессов [Зинченко 2010: 67; Zinchenko 2015: 61]. Д. Пи-терс указывает, что взаимодействие между различными модальностями (речь, жест, взгляд, выражение лица) является главным преимуществом использования VR-устройств [Peeters 2019: 899].
Описание эксперимента
Целью нашего эксперимента является исследование специфики реализации ролевого и пространственного дейксиса в сфере VR. Терминологический аппарат исследования представлен в работе [Боронникова и др. 2018]. Основная задача экспериментального исследования - определить систему координат говорящего при коммуникации в VR на основе его дейктического поведения. В дальнейшем будут построены модели коммуникативного поведения говорящего в VR.
В качестве материала выступает исследование речевого поведения носителей русского языка в VR. В эксперименте участвовали 24 русскоязычных испытуемых. Выборка испытуемых была сбалансирована по гендерному признаку: 12 мужчин и 12 женщин. Общее количество полученных реакций-реплик - 725. Каждая реплика представляет собой комбинацию языковых дейк-тиков и, при наличии, жестовых, а также иных средств (мимики, смеха, перемещений и др.). Здесь под термином «дейктик» понимаются лексические (местоимения, наречия, междометия и др.), морфологические (отдельные лексемы, связанные аффиксы, постфиксы и др.) и синтаксические средства (синтагмы, предложения и др.) с указательной семантикой.
Для данной статьи были отобраны реплики двух информантов: женщины и мужчины (Инф. 1 и 3), общее количество - 61 реплика. Анализируемый материал является достаточным для представления принципов обработки материала, его аннотирования в системе «Семограф».
Стимульный материал
экспериментального исследования
Идеей для создания сцен эксперимента в VR служат рисунки из статьи А. А. Ростовцева-По-пеля [2009: 22-34], на которых изображены разные типы дейктической ориентации. Проведение эксперимента в VR позволит информантам погрузиться в трехмерное пространство и взаимодействовать с виртуальным собеседником.
Описание помещения и ситуации VR
Виртуальное пространство для проведения эксперимента создается посредством игрового движка Unreal Engine (версии 4.22), который содержит в себе готовые подсистемы, необходимые для моделирования VR.
Помещение VR представляет собой кафе, имеющее прямоугольную форму. В нем находятся 11 столов: четыре круглых и семь квадратных (на рис. 1, а обозначены серым цветом), а также две барные стойки (на рис. 1, а обозначены бежевым цветом).
a б
Рис. 1. Схема помещения VR (а) и его визуальное представление с позиции говорящего (б) в ситуации 1 Fig. 1. The Scheme of the VR Room (a) and Its Visual Representation from the Position of the Speaker (б) in Situation 1
Референт (бутылка) появляется на трех столах, цифрами обозначена последовательность его появления (Реф. 1, Реф. 2 и Реф. 3 на рис. 1, а).
В эксперименте используется пять сцен, из которых 3 - лично-ориентированные, 2 - пространственно-ориентированные. В этих сценах отражены два основных типа дейктической ориентации - лично-ориентированная и пространственно-ориентированная.
Для пространственно-ориентированной системы важна дистанция между дейктическим центром и референтом. Здесь дейктический центр является единственной точкой отсчета для местоположения референта. В качестве точки отсчета выступает говорящий. В лично-ориентированных системах, помимо дейктического центра, еще одной точкой отсчета является местоположение собеседника. Точкой отсчета здесь, кроме говорящего, является собеседник (слушатель). Лично-ориентированная система характеризуется соотнесенностью дейктика с локуторами [Fillmore 1982; Anderson, Keenan 1985: 282-286; Jungbluth 2003; Diessel 1999: 39].
В каждой сцене присутствуют 2 локутора -говорящий (на рис. 1 обозначен зеленым цветом) и слушающий (на рис. 1 обозначен красным цветом) - и один референт. В качестве собеседника выступает либо мужчина, либо женщина.
В сценах используются 3 параметра. Первый -это взаиморасположение говорящего и адресата в коммуникативном акте. Он имеет следующие разновидности: коммуникация лицом к лицу (face-to-face conversation), нахождение говорящего за спиной собеседника (face-to-back conversation), нахождение говорящего рядом с собеседником (side-by-side conversation). Второй параметр - местонахождение референта во внутреннем/внешнем пространстве коммуникации. Внутреннее пространство - пространство между участниками коммуникативного процесса, внеш-
нее - за ними или перед ними. Третий параметр -нахождение референта в поле зрения участников коммуникативного акта или вне его. Поле зрения локуторов на рисунках обозначено направлением стрелок.
Первая сцена (С1) является лично-ориентированной (см. рис. 1). Это коммуникация лицом к лицу. Референт находится во внутреннем пространстве коммуникации, в поле зрения участников коммуникативного акта.
Вторая сцена (С2) - лично-ориентированная. Референт находится во внешнем пространстве коммуникации. Он расположен в поле зрения собеседника, но за спиной говорящего. В процессе коммуникации говорящий поворачивается, чтобы посмотреть на референт, и референт автоматически оказывается слева/справа от него или перед ним.
Третья сцена (С3) также лично-ориентированная. Референт находится во внешнем пространстве коммуникации, в поле зрения говорящего, за спиной собеседника.
Четвертая сцена (С4) - пространственно-ориентированная. Она имеет две разновидности. В первом случае говорящий находится рядом с собеседником. Во втором случае, с учетом движения информанта в УБ, говорящий оказывается за спиной собеседника. Мы будем учитывать обе разновидности. Референт находится во внешнем пространстве коммуникации, в поле зрения обоих участников коммуникативного акта.
Пятая сцена (С5) - пространственно-ориентированная. Говорящий находится справа от собеседника. Референт расположен во внешнем пространстве коммуникации, в поле зрения говорящего и вне поля зрения собеседника, за его спиной. При обращении к собеседнику говорящий иногда поворачивается телом или головой в его сторону, и, таким образом, референт оказывается слева от говорящего.
Ход эксперимента
Перед проведением эксперимента информанты заполняют анкету и знакомятся с заданием. Их основная задача - попросить виртуального собеседника взять предмет. Информант должен повторять свою просьбу каждый раз, когда меняется местоположение собеседника или предмета.
Процесс коммуникации одновременно записывается несколькими устройствами. Во-первых, ведется видео- и аудиозапись на внутреннюю камеру, снимающую сцену, на которую смотрит информант в УБ-шлеме. Во-вторых, информанты снимаются на видео при помощи внешней камеры (используется 1Р камера АХКР1365).
Внутренняя камера фиксирует виртуальную сцену, направление взгляда испытуемого и его реплики. Фиксация жестов совершается с помощью внешней камеры. Следующий шаг - это синхронизация записей внешней и внутренней камер и объединение их в одно видео, в результате чего жестовая коммуникация накладывается на речевую (см. рис. 4).
Синхронизация двух видеорядов позволяет соотнести «внутреннее» (вербальное) поведение говорящего в УБ с его действиями в реальной ситуации, точнее, с действиями его тела (жесты, движение, мимика и др.). Это соотношение на стадии обработки материала представляется в виде размеченных реплик: «Обернитесь на 180 градусов (движение пальцем правой руки вокруг), пройдите чуть-чуть вперед (горизонтальное указание правой рукой) и возьмите бутылку».
Принципы обработки материала
На следующем этапе осуществляется обработка и классификация дейктических средств.
Во-первых, проводится расшифровка вербальных реакций и их соотнесение с «языком» тела. Реплики, данные испытуемым на каждый стимул, разделяются на фразы, внутри фраз выделяются синтагмы. Каждая синтагма или фраза синхронизуется с соответствующим жестом. Фиксация жестов оказывается необходимой, поскольку у некоторых информантов именно жест является дейктическим элементом.
На втором этапе обработки материал исследования позволяет выделить классификационные категории. В качестве категорий выступают следующие: «Структура ситуации» (участники ситуации, пространство, референт, время), «Тип коммуникации» (коммуникация с персонажем УБ, автокоммуникация, коммуникация с собеседником вне УБ) и «Средства коммуникации» (вербальные и невербальные средства).
Структура ситуации построена на трех дейк-тических параметрах: пространство, время, участники коммуникации. Тип коммуникации
обусловлен ее направленностью на (не)участни-ков внутри или вне VR. Форма реализации определяется средствами коммуникации, вербальными и невербальными.
При анализе невербальных средств мы опираемся на уже имеющиеся классификации жестов С. А. Григорьевой [2001] и Д. Макнейла [McNeill 1992]. На их основе и на основе анализа материала создается собственная классификация неязыковых средств. В нашем исследовании выделяются следующие подклассы жестов: симптоматические, ритмические, указательные, изобразительные, этикетные и общекоммуникативные. Последние четыре объединяются в класс «коммуникативные жесты». Кроме жестов, в работе в качестве невербальных средств рассматриваются мимика и движения/перемещения тела.
Размеченный материал заносится в ИС «Семо-граф» [см. Belousov 2017; Рябинин 2017; 2018].
Предварительные результаты
эксперимента
Полученные категории визуально представляются в виде интерактивного графа в программе SciVi (https://scivi.semograph.com). Предварительные результаты эксперимента на примере реплик двух информантов показываются на интерактивном графе дейктических (не)языковых и коммуникативных параметров (рис. 2).
На графе изображаются три основных категории и их подразделы, построенные на основе использования тех или иных (не)языковых дейкти-ческих средств говорящими. Их частотность использования в репликах говорящего определяет размер доли подразделов. Доля каждого подраздела на графе показывается в виде столбца, обозначенного желтым цветом. Высота желтого столбца на графе указывает на уровень доли подраздела.
Так, в категории «Структура ситуации» 29 % составляют вербальные средства, относящиеся к персональной подкатегории «ВЫ-РОЛЬ», которая определяет участников коммуникации. Подкатегория «Я-РОЛЬ» занимает 11,6 %; 20 % образуют выражения «Положение в пространстве», использованные при определении пространственной позиции референта, а затем следуют дейктики, указывающие на референт (19,2 %). Пространство как базовый дейктический параметр категории «Структура ситуации» показывает геоцентрический тип ориентира, который насчитывает 16 %, тогда как категории «Топос» и «Граница» составляют 12,9 % и 3,1 % соответственно.
Категория «Тип коммуникации» включает в себя 3 подгруппы (см. рис. 2): «Автокоммуникация» (занимает 9,6 %), «Коммуникация с адреса-
том вне УБ» (2,4 %) и «Коммуникация с персонажем УБ» (88 %).
Третья категория «Средства коммуникации» состоит из 2 основных подкатегорий - «Вербальные средства» (насчитывает 72,6 %) и «Невербальные средства» (27,4 %). Среди вербальных средств большую часть образует класс «Действие» (33,2 %). Класс «Персональные указатели» также имеет высокий процент (26,4 %), а затем следует класс «Пространственные указатели» (25,4 %). Относительно невербальных средств нужно отметить, что большую долю составляют указательные жесты (24,1 %) и перемещения (24,1 %), а затем идут симптоматические жесты (17,2 %). Если посмотреть отдельно на элементы, составляющие категорию «Средства коммуникации», то необходимо подчеркнуть, что из всех вербальных и невербальных средств большую долю составляет персональный дейктик «ВЫ» (13,7 %). Следом идут «Глаголы
приобретения» (13 %) и «Глаголы местонахождения» (7,6 %), указательные жесты (6,6 %), персональный дейктик «Я» (5,9 %) и т. д.
Связь между группами трех основных категорий может быть визуально представлена на круговом графе посредством ребер, отображенных на рисунках (см. рис. 2, 3, 5) в виде квадратичной кривой Безье и обозначенных зеленым цветом. Рёбра на графе (см. рис. 2) показывают корреляцию персонального дейктика Я с остальными категориями и средствами и фиксируют силу семантической связи между ними. Каждое ребро графа характеризуется весом. Толщина ребер пропорциональна их весу [Рябинин 2017]. Модулярность графа позволяет выявить в нём устойчивые компоненты, характерные для реплик информантов [там же], а также показать самую высокую частотность взаимосвязанности между определенными категориями и средствами в репликах информантов (см. рис. 3, 5).
Рис. 2. Круговой граф связи персонального дейктика «Я» с другими классификационными категориями Fig. 2. Circle Graph of Connection of the Personal Deictic 'I' with Other Classification Categories
На круговом графе (см. рис. 2) можно заметить, что оба информанта при коммуникации в VR используют разнообразные языковые и неязыковые средства. Так, наблюдается наличие неязыковых средств: жестов (сцепляет руки перед собой), движения (возвращается назад, оборачивается, наклоняется) и др. Среди языковых средств встречаются дискурсивы (прошу, пожалуйста, тудуф), средства, выражающие неопределенность (в каком-то баре таком), действие (пройдите, обернитесь), а также личные (ролевые) (я, вы) и предметные (то же самое), пространственные (на 13 часов от вас, напротив меня) и временные (Я забыл, как я говорил тогда...) указатели и др.
Употребление личных и пространственных дейктиков определяет ориентацию говорящего в VR. На рис. 2 показана связь персонального дейктика Я с остальными категориями. Применение дейктика Я указывает на эгоцентрическую ориентацию, когда говорящий ориентируется относительно себя. Доля эгоцентрических дейкти-ков в репликах информантов составляет 22,5 %.
Помимо дейктика Я, говорящий при ориентации использует формы персонального указателя Вы (см. пример 1). У обоих информантов чаще встречается аллоцентрическая ориентация (49 %).
Пример. 1. Возьмите бутылку, находящуюся на 13 часов от вас, в паре шагов.
В этом примере речь идет о пространственном указании, характерном для сфер авиации и медицины [Mariner 2007]. Говорящий воображает перед собой циферблат, где положение стрелки на 12 часах указывает на расположение предмета вверху или впереди, на 3 часах - справа, на 6 часах - внизу или сзади, на 9 часах - слева. Остальные разделы указывают на промежуточное положение. В данном примере наблюдается определенное отклонение при использовании такого выражения. Говорящий, употребляя форму местоимения вас, ориентируется не относительно себя, а относительно персонажа VR. Реакция была получена в ситуации С1, когда референт находится в медиальной сфере по отношению к локуторам (см. рис. 1, б).
Третий тип ориентации, которая встречается при коммуникации в VR, - это геоцентрическая (28,5 %). Здесь говорящий при указании на референт ориентируется в пространстве с помощью виртуальных предметов, которые обозначаются нами как топос (стол, стул) и граница (стена, барная стойка) (см. пример 1а)).
Пример 1а. (Поворачивается на 180 градусов) (Поворачивается на 90 градусов) Я надеюсь (сцепляет руки перед собой), вам не составит труда взять красную бутылку, которая стоит на светлом квадратном столике, которая
стоит (замешательство, поднимает кулак левой руки) около барной стойки на том конце зала (разводит руками, горизонтально указывая, помогает себе жестами при перечислении).
Если посмотреть отдельно по ситуациям, то в ситуациях С1, С3, С4 и С5 наблюдается единообразие при ориентации говорящего в пространстве. Большую долю здесь составляет аллоцентрическая ориентация. Что касается лично-ориентированной ситуации С2, то в ней информанты при указании на референт в большинстве случаев ориентируются эгоцентрично. В отличие от С2 пространственно-ориентированная ситуация С4 отличается отсутствием эгоцентрической ориентации. К тому же в С4 и С5 представлена самая частотная связь аллоцентрической ориентации с геоцентрической, в частности с топосом.
В пространственно-ориентированной ситуации С5 информанты при указании на референт больше всего опираются на вторую геоцентрическую разновидность - границу. Здесь референт находится во внешнем пространстве коммуникации, за спиной УБ персонажа, вне его поля зрения, но в поле зрения говорящего. В С1, которая является лично-ориентированной, геоцентрическая ориентация на границу не обнаруживается. Это объясняется тем, что в данной ситуации референт находится во внутреннем пространстве коммуникации, между локуторами (см. рис. 1). В таком случае граница маркируется локутора-ми, точнее, ориентир «граница» теряет свою актуальность за счет позиций локуторов в пространстве.
Стоит подчеркнуть, что нередко в коммуникации в УБ мы сталкиваемся с двойной ориентацией. Соотношение ориентиров отмечается на круговом графе (см. рис. 2), где дейктик Я коррелирует с геоцентрическим и с аллоцентриче-ским ориентиром.
Пример 1б. «Возьмите, пожалуйста, вторую бутылку, которая стоит на круглом столике от вас...»
В данном примере говорящий, с одной стороны, ориентируется геоцентрически (которая стоит на круглом столике), а с другой - посредством дейктика вас - ориентируется на собеседника (УБ персонажа). Следует признать, что данное явление с двойной ориентацией характерно для коммуникации, которая направлена на собеседника (УБ-персонажа) (см. рис. 3).
Коммуникация информантов с персонажами УБ составляет большую долю (73 синтагмы) у обоих информантов (см. примеры 1а, 1б). В некоторых реакциях (см. примеры 2, 3) наблюдаются другие формы коммуникации. На рис. 2 показано соотношение дейктика Я с дополнительным разрядом коммуникации - автоком-
муникацией. Автокоммуникация встречается в 8 реакциях, и она направлена на самого говорящего (см. пример 2).
Пример 2. (Поднимает руки кверху, мотает головой) Я забыл, как я говорил тогда.
Если смотреть отдельно по информантам, то можно подчеркнуть, что автокоммуникация чаще встречается в репликах мужчины - 7 синтагм. Что касается информанта-женщины, то она совершила акт автокоммуникации только в 1 случае.
Рис. 3. Круговой граф связи категории «Коммуникация с персонажем VR» с ориентирами Fig. 3. Circle Graph of Connection of the Category 'Communication with the VR Addressee' with Reference Points
Пример 3. Больше не делайте так (реагирует на изменение положения собеседников в VR) (Смех) Вот так вот (машет обеими руками, показывая, что не нужно так делать).
Пример 3 отражает ещё одну разновидность коммуникации - коммуникацию с адресатом вне УБ. Коммуникация с адресатом вне УБ проявляется только в 2 реакциях, по одной у каждого информанта. Адресатом вне УБ чаще всего является экспериментатор (см. пример 3), но в реакциях типа «Мы повторяемся (руки держит на талии, улыбается)» сложно определить, кого,
кроме самого себя, включает говорящий в понятие Мы. Сюда могут входить экспериментатор, персонаж УБ или они оба. Если речь идет о включении только персонажа УБ, то можно говорить об автокоммуникации, так как персонаж УБ характеризуется искусственностью и декоративностью и никак не влияет на изменение сцены.
В ситуациях, где из вербальных средств сложно определяется направленность коммуникации, стоит обращать внимание на то, используются ли наряду с вербальными средствами не-
вербальные, которые указывают на участников коммуникации. В примере «Мы повторяемся (руки держит на талии, улыбается)» вербальное выражение Мы повторяемся сопровождается двумя невербальными - жестом «руки держит на талии» и мимикой «улыбается». В дан-
ной ситуации использование движения «руки держит на талии» вместе с вербальным выражением указывает на говорящего, на его эмоциональное состояние, которое обычно маркируется симптоматическими жестами [см. Григорьева и др. 2001].
б
Рис. 4. Статический жест «руки держит на талии» и произведенный от него динамический жест «поправляет очки VR» при коммуникации информанта в VR Fig. 4. The Static Gesture 'Keeping Hands on the Waist' and the Dynamic Gesture Produced from It 'Fixing VR Glasses' During Communication in VR
а
в
Стоит отметить, что жест «руки держит на талии» у этого информанта замечается на протяжении всех последующих сцен с определенными отклонениями. Говорящий часто совершает другие симптоматические или указательные жесты, а затем снова возвращает руки в исходное положение (см. рис. 4). В данной ситуации жест « руки держит на талии» является статическим [см. Кибрик 2018], поскольку говорящий находится в этом положении определенное время (см. рис. 4, а, в). А. О. Литвиненко [2017] подобные жесты определяет как нейтральные. Нейтральные жесты характеризуются небольшой ситуативной вовлеченностью в коммуникацию и являются исходным пунктом для других движений [там же: 274].
Жесты, порожденные из нейтральных (статических) жестов, А. А. Кибрик [2018] называет динамическими - собственно жестами. Они могут быть намеренными и неосознаваемыми. На рис. 4 (см. рис. 4, б) представлен жест «поправляет очки VR», произведенный из статического жеста «руки держит на талии». Речь идет о намеренном жесте, который совершается с целью устранения физиологических неудобств.
Физиологически мотивированные жестовые движения П. Экман называет self-adaptors (движе-ния-адапторы) [Ekman 1969]. Эти движения имеют две разновидности (см. [Литвиненко 2017]). Первая разновидность отличается практической целью. В нашем примере (см. рис. 4, б) это выражается жестом «поправляет очки VR», который направлен на устранение телесного дискомфорта. Вторая разновидность - это движения, которые не имеют явной преднамеренности, но могут отражать эмоциональное состояние гово-
рящего. П. Экман их называет манипуляторами (manipulators) [Ekman 1999: 43]. Жесты такого рода представлены на рис. 4, а, в. Говорящий до совершения движения «поправляет очки VR», держит правую руку сжатой в кулак на талии (см. рис. 4, а). После выполнения движения «поправляет очки VR» опирается на талию тыльной частью ладони правой руки (см. рис. 4, в). Поскольку жесты этого типа отражают эмоции говорящего, то в данной работе они определяются как симптоматические.
Что касается мимического выражения «улыбка», встречающегося в примере «Мы повторяемся (руки держит на талии, улыбается)», то его можно отнести как к симптоматическим средствам, так и к этикетным, поскольку из ситуации сложно определить, какому участнику коммуникации оно адресовано. При обращении к персонажу VR (виртуальному персонажу) или к собеседнику вне VR его можно классифицировать как этикетное средство. В случаях автокоммуникации выражение «улыбка» является симптоматическим.
На рис. 5 отражена самая частотная связь симптоматических невербальных средств с другими классификационными категориями. Симптоматические жесты коррелируют со всеми типами ориентации: эгоцентрической (на графе выражена местоимением Я), аллоцентрической (на графе ВЫ) и геоцентрической. При этом у обоих информантов наблюдается сильная связь только с одной разновидностью геоцентрической ориентации - топосом. К тому же отмечается тесная связь симптоматических жестов с вербальными средствами, выражающими действие, - глаголы приобретения и глаголы местонахождения.
Рис. 5. Круговой граф самой частотной связи симптоматических жестов с другими категориями Fig. 5. Circle Graph of the Most Frequent Connection of Symptomatic Gestures with other Categories
Симптоматические жесты также коррелируют с другим классом невербальных средств - указательными жестами. Взаимосвязь классов невербальных средств часто обнаруживается в репликах информантов. Это, прежде всего, видно при использовании указательных движений. Указательные жесты характеризуются высокой частотностью использовании в репликах обоих информантов. Это отражено на графе (см. рис. 5) желтым столбцом.
Необходимо подчеркнуть разницу при употреблении невербальных средств информантами. Речь идет об этикетных жестах, общее количество которых составляет 7 единиц. Этикетные жесты не встречаются в репликах информанта-мужчины, а наблюдаются только в репликах информанта-женщины в форме «кивок», «улыбка», «наклон головы» и др.
Этикетные жесты в реакциях информанта-женщины обычно сопровождают этикетные вербальные выражения, такие как приветствие «Хэллоу!», просьба «Обернитесь пожалуйста (кивок)...», обращение «Джентльмен (наклон головы)...» и др. Информант-мужчина в своих репликах не использует этикетные вербальные выражения -приветствия, обращения и просьбу. Информант-женщина, в отличие от информанта-мужчины, в своих репликах употребляет вербальные средства, обозначающие части тела, признаки референта (цвет, порядок и т. п.) и самономинацию.
Употребление вербальных и невербальных средств формирует дейктическое и коммуникативное поведение говорящего в УБ. Таким образом, из вышеуказанных примеров можно заметить разные типы поведения говорящих при координации и ориентации в УБ.
Выводы
Представленные выше результаты эксперимента позволяют подчеркнуть важность проведения предварительного анализа для корректировки как самых принципов анализа и обработки материала, так и методики исследования в целом.
Результаты свидетельствуют о том, что при коммуникации в УБ в репликах двух информантов встречается разнообразное использование (не)вербальных средств. Анализ реплик позволил скорректировать принципы обработки материала: соотнесение вербальных и невербальных средств, разделение реплик на семантически значимые отрезки. В репликах было замечено употребление временных и пространственных выражений, указательных средств, жестов, выражений, касающихся внешних характеристик компонентов коммуникативной ситуации: локуторов, референта, ориентиров и т. п. Это позволило выделить 3 категории: «Структура ситуации», «Тип коммуникации», «Средства коммуникации».
Первая категория «Структура ситуации» построена на дейктических параметрах: пространство, время, участники коммуникации. Анализ предварительных результатов показал преимущественное использование вербальных указательных средств, относящихся к персональной подкатегории «ВЫ-РОЛЬ», которая обращена к собеседнику; затем следуют дейктики, которые определяют пространственную позицию референта, и дейктики, указывающие на референт. Рассмотрение лично-ориентированных и пространственно-ориентированных ситуаций в связи со структурой ситуации позволило определить тип ориентации говорящего в УБ в зависимости от трех параметров: взаиморасположение говорящего и адресата; местонахождение референта во внутреннем / внешнем пространстве коммуникации; нахождение референта в поле зрения участников коммуникативного акта или вне его. Как показывает материал, при ориентации испытуемых в УБ у обоих информантов большую часть составляет аллоцентрическая ориентация, направленная на собеседника.
Следующая категория, «Тип коммуникации», обусловлена направленностью коммуникации на (не)участников внутри или вне УБ. Предварительный анализ показал, что информант при коммуникации в УБ может обращаться не только к персонажам УБ, но и к самому себе, а также к собеседникам вне УБ. Это позволило разделить данный класс на три подкласса: «коммуникация с персонажем УБ», «автокоммуникация» и «коммуникация с собеседником вне У Б».
Третья категория «Средства коммуникации» определяет форму реализации речи. Среди вербальных средств большую часть образуют классы «Действие» (33,2 %), «Персональные указатели» (26,4 %) и «Пространственные указатели» (25,4 %). Эксперимент в УБ позволил обратить особое внимание на использование невербальных средств. На основе анализа полученного материала мы выделили следующие подклассы жестов: симптоматические, ритмические, коммуникативные. Однако, вероятно, необходима корректировка классификации, поскольку у каждого информанта имеется исходный нейтральный жест.
Результаты предварительного анализа показали, что данная методика исследования позволяет построить и определить тип коммуникативного поведения говорящего и его ориентации в УБ. На основе анализа предварительных результатов были обнаружены отличия при направленности коммуникации, где у информанта 3 отмечается больший процент (8,4 %) совершения акта автокоммуникации, чем у информанта 2 (1,2 %). С другой стороны, в репликах информанта 3 не встречаются вербальные этикетные выражения, в том числе сопровождающие их этикетные жесты. Расширение материала позволит уточнить полученные выводы.
Список литературы
Боронникова Н. В., Талески А., Белоусов К. И., Рябинин К. В. Визуальное представление эгоцентрического поля говорящего в македонском языке (экспериментальное исследование) // Вестник Пермского университета. Российская и зарубежная филология. 2018. Т. 10, вып. 3. С. 13-27. doi 10.17072/2037-6681-2018-3-13-27
Григорьева С. А., ГригорьевН. В., КрейдлинГ. Е. Словарь языка русских жестов. Москва-Вена: Языки русской культуры; Венский славистический альманах. 2001. 256 с. (Язык. Семиотика. Культура).
Зинченко Ю. П., Меньшикова Г. Я., Баяков-ский Ю. М. Технологии виртуальной реальности: методологические аспекты, достижения и перспективы // Национальный психологический журнал. 2010. № 1(3). С. 54-62.
Каганов Ю. Т. Большой психологический словарь / под ред. Б. Г. Мещерякова, акад. В. П. Зинченко. М.: Прайм-ЕВРОЗНАК 2003. 672 с.
Кибрик А. А. Русский мультиканальный дискурс. Часть II. Разработка корпуса и направления исследований // Психологический журнал. 2018. Т. 39, № 2. С. 79-90.
Литвиненко А. О., Николаева Ю. В., Кибрик А. А. Аннотирование русских мануальных жестов:
теоретические и практические вопросы // Компьютерная лингвистика и интеллектуальные технологии: материалы ежегодной Междунар. конф. «Диалог» (Москва, 31 мая - 4 июня 2017 г.). М.: Изд-во РГГУ. 2017. Вып. 16(23). С. 271-286.
Ростовцев-Попель А. А. Типология демон-стративов: средние дейктики // Вопросы языкознания. 2009. № 2. С. 22-34.
Рябинин К. В., Баранов Д. А., Белоусов К. И. Интеграция информационной системы Семограф и визуализатора SciVi для решения задач экспертного анализа языкового контента // Научная визуализация. М.: Национальный исследовательский ядерный университет МИФИ. 2017. Т. 9, № 4. С. 67-77. doi 10.26583/sv.9.4.07
Рябинин К. В., Белоусов К. И., Чуприна С. И. Средства визуальной аналитики для комплексного исследования результатов многопараметрического описания пользователей социальных интернет-сервисов // Научная визуализация. 2018. Т. 10, № 4. С. 82-99. doi 10.26583/sv.10.4.07
Ahn, Sun Joo (Grace) Using Avatars and Agents to Promote Real-World Health Behavior Changes // Combs, Donald C., John A. Sokolowsky and Catherine M. Banks (Eds.), The Digital patient: Advancing Healthcare, Research, and Education. New York: John Wiley, 2015. P. 171-180.
Anderson S. R., Keenan Е. Deixis // T. Shopen [ed.] Language Typology and Syntactic Fieldwork. Cambridge: Cambridge University Press. 1985. Vol. III. Р. 259-308.
Atlas S. Inductive metanomics: economic experiments in virtual worlds // Journal of Virtual Worlds Research. 2008. № 1(1). P. 1-15.
Belousov K., Erofeeva E., Leshchenko Y., Bara-nov D. "Semograph" Information System as a Framework for Network-Based Science and Education // Smart Education and e-Learning 2017. Smart Innovation, Systems and Technologies. Vol. 75. P. 263-272. doi: 10.1007/978-3-319-59451-4_26
Biocca F., Levy M. R. Communication applications of virtual reality // F. Biocca & M. R. Levy (Eds.), Communication in the age of virtual reality. Hillsdale, NJ: Erlbaum, 1995. P. 127-157.
Blascovich J., Loomis J., Beall A. C. et al. Immersive Virtual Environment Technology as a Methodological Tool for Social Psychology // Psychological Inquiry. 2002. Vol. 13(2). P. 103-124.
Diessel H. Demonstratives: Form, function, and grammaticalization. Philadelphia: John Benjamins Publishing Company. 1999. 205 p.
Dolgunsoz E., Yildirim G., Yildirim S. The effect of virtual reality on EFL writing performance // Journal of Language and Linguistic Studies. 2018. Vol. 14(1). P. 278-292.
Ekman P. Emotional and Conversational Nonverbal Signals // Messing L. S. & Campbell R. (Eds.), Gesture, Speech, and Sign. New York: Oxford University Press, 1999. P. 45-55.
Ekman F., Friesen W. V. The Repertoire of Nonverbal Behavior: Categories, Origins, Usage, and Coding // Semiotica. 1969. № 1(1). P. 49-98.
Fillmore C. J. Santa Cruz lectures on deixis: 1971. Bloomington: Indiana University Linguistics Club, 1975. P. 217-306.
Fillmore C. J. Towards a Descriptive Framework for Spatial Deixis / Ch.Fillmore // Space, Place and Action: Studies in Deixis and Related Topics / Ed. by R. Jarvella and W. Klein. Chichester. New York. 1982. P. 31-59.
Fox J., Arena D., Bailenson J. N. Virtual Reality: A survival guide for the social scientist // Journal of Media Psychology. 2009. Vol. 21(3). P. 95-113.
Heyselaar E., Hagoort P., Segaert K. In dialogue with an avatar, language behavior is identical to dialogue with a human partner // Behav Res Methods. 2015. P.1-15.
Innocenti A. Virtual Reality Experiments in Economics // Labsi Working Papers. 2015. № 49. P. 1-21. Доступ в SRNN: https://ssrn.com/-abstract=2818550https://ssrn.com/abstract=2818550 or https://dx.doi.org/10.2139/ssrn.2818550http://dx. doi.org/10.2139/ssrn.2818550 (дата обращения: 12.05.2020)
Jungbluth K. Deictics in the Conversation Dyad: Findings in Spanish and Some Cross-linguistic Outlines // Deictic Conceptualization of Space, Time and Person / Friedrich Lenz (ed.). Amsterdam, 2003. P. 13-40.
McNeill D. Hand and mind: what gestures reveal about thought. Chicago: University of Chicago Press, 1992. 423 p.
Mariner L. Cleared for Takeoff: English for Pilots. Book 1 // AE Link Publications. 2007. P. 89-90.
Peeters D. Virtual Reality: A Game-Changing Method for the Language Sciences // Psychonomic Bulletin & Review. 2019. Vol. 26(3). P. 894-900. URL: https: //link.springer. com/article/ 10.3758/s13-423-019-01571-3 or https://doi.org/10.3758/s13423-019-01571-3 (дата обращения: 22.04.2020).
Riva J. Virtual Reality in HealthCare: An Introduction // Cyber Therapy & Rehabili-tation. 2008. Issue 1. P. 6-9.
Rizzo A., Kim G. J. A SWOT Analysis of the Field of Virtual Reality Rehabilitation and Therapy // Presence: Teleoperators and Virtual Environments. 2005. Vol. 14(2). P. 119-146. doi 10.1162/ 105474605396709
Rothbaum B. O., Hodges L. F. The Use of Virtual Reality Exposure in the Treatment of Anxiety Dis-
orders // Behavior Modification. 1990. Vol. 23(4). P. 507-525.
Tarr M. J., Warren W. H. Virtual reality in behavioral neuroscience and beyond // Nature Neuroscience. 2002. 5 (Suppl). P. 1089-92. doi 10.1038/nn948
Zinchenko Yu. P., Kovalev A. I., Menshikova G. Ya. Postnonclassical methodology and application of virtual reality technologies in social research // Psychology in Russia: State of the Art. 2015. Vol. 8(4). P. 60-71.
References
Boronnikova N. V., Taleski A., Belousov K. I., Ryabinin K. V. Vizual'noe predstavlenie egotsen-tricheskogo polya govoryashchego v makedonskom yazyke (eksperimental'noe issledovanie) [Visual representation of the egocentric field of the speaker in the Macedonian language (experimental study)]. Vestnik Permskogo universiteta. Rossiyskaya i za-rubezhnaya filologiya [Perm University Herald. Russian and Foreign Philology], 2018, vol. 10, issue 3, pp. 13-27. doi 10.17072/2037-6681-2018-313-27 (In Russ.)
Grigor'eva S. A., Grigor'ev N. V., Kreydlin G. E. Slovar' yazyka russkikh zhestov [Dictionary of the Russian sign language]. Moscow-Vienna, LRC Publishing House, Viennese Slavic Almanac Publ., 2001. 256 p. (In Russ.)
Zinchenko Yu. P., Menshikova G. Ya., Bayakov-skiy Yu. M. Tekhnologii virtualnoy realnosti: meto-dologicheskie aspekty, dostizheniya i perspektivy [Virtual reality technologies: Methodological aspects, achievements and prospects]. Natsionalnyy psikhologicheskiy zhurnal [National Psychological Journal], 2010, issue 1(3), pp. 54-62. (In Russ.)
Kaganov Yu. T. Bol 'shoy psikhologicheskiy slovar' [Large psychological dictionary]. Ed. by B. G. Meshcheryakov., acad. V. P. Zinchenko. Moscow, Praym-EVROZNAK Publ., 2003. 672 p. (In Russ.)
Kibrik A. A. Russkiy multikanal'nyy diskurs. Chast' 2. Razrabotka korpusa i napravleniya issle-dovaniy [Russian multichannel discourse. Part 2. The corpus development and areas of research]. Psikhologicheskiy zhurnal [Psychological Journal], 2018, vol. 39(2), pp. 79-90. (In Russ.)
Litvinenko A. O., Nikolaeva Yu. V., Kibrik A. A. Annotirovanie russkikh manual'nykh zhestov: te-oreticheskie i prakticheskie voprosy [Annotation of Russian manual gestures: theoretical and practical issues]. Kompyuternaya lingvistika i intellektualnye tekhnologii: Po materialam ezhegodnoy Mezhdu-narodnoy konferentsii 'Dialog'. (Moskva, 31 maya -4 iyunya 2017) [Computational linguistics and intelligent technologies: proceedings of the annual inter-
national conference 'Dialogue'. (Moscow, May 31 -June 4, 2017)]. Moscow, Russian State University for the Humanities Press, 2017, issue 16(23), pp. 271-286. (In Russ.)
Rostovtsev-Popel' A. A. Tipologiya demonstra-tivov: srednie deyktiki [Typology of demonstrations: Average deictics]. Voprosy yazykoznaniya [Topics in the Study of Language], 2009, issue 2, pp. 22-34. (In Russ.)
Ryabinin K. V., Baranov D. A., Belousov K. I. Integratsiya informatsionnoy sistemy Semograf i vizualizatora SciVi dlya resheniya zadach ek-spertnogo analiza yazykovogo kontenta [Integration of the Semograph information system and the SciVi Visualizer for solving the tasks of lingual content expert analysis]. Nauchnaya vizualizatsiya [Scientific Visualization]. Moscow, National Research Nuclear University 'MEPhI' Press, 2017, vol. 9, issue 4, pp. 67-77. doi 10.26583/sv.9.4.07 (In Russ.)
Ryabinin K. V., Belousov K. I., Chuprina S. I. Sredstva vizualnoy analitiki dlya kompleksnogo is-sledovaniya rezultatov mnogoparametricheskogo opisaniya polzovateley sotsialnykh internet-servisov [Visual analytics tools for systematic exploration of multi-parameter data of social web-based service users]. Nauchnaya vizualizatsiya [Scientific Visualization], 2018, vol. 10, issue 4, pp. 82-99. doi 10.26 583/sv.10.4.07 (In Russ.)
Ahn Sun Joo (Grace) Using avatars and agents to promote real-world health behavior changes. The Digital Patient: Advancing Healthcare, Research, and Education. Ed. by Combs C. Donald, John A. Sokolowsky and Catherine M. Banks, New York, John Wiley, 2015, pp. 171-180. (In Eng.)
Anderson S. R., Keenan E. Deixis. Language Typology and Syntactic Fieldwork. Ed. by T. Shopen. Cambridge, Cambridge University Press, 1985, vol. 3, pp. 259-308. (In Eng.)
Atlas S. Inductive metanomics: economic experiments in virtual worlds. Journal of Virtual Worlds Research, 2008, issue 1(1), pp. 1-15. (In Eng.)
Belousov K., Erofeeva E., Leshchenko Y., Baranov D. 'Semograph' information system as a framework for network-based science and education. Smart Education and e-Learning 2017. Smart Innovation, Systems and Technologies, 2017, vol. 75, pp. 263-272. doi 10.1007/978-3-319-59451-4_26 (In Eng.)
Biocca F., Levy M. R. Communication applications of virtual reality. Communication in the Age of Virtual Reality. Ed. by F. Biocca & M. R. Levy. Hillsdale, NJ, Erlbaum, 1995, pp. 127-157. (In Eng.)
Blascovich J., Loomis J., Beall A. C. et al. Immersive Virtual Environment Technology as a Methodo-
logical Tool for Social Psychology. Psychological Inquiry, 2002, vol. 13(2), pp. 103-124. (In Eng.)
Diessel H. Demonstratives: Form, Function, and Grammaticalization. Philadelphia, John Benjamins Publishing Company, 1999. 205 p. (In Eng.)
Dolgunsöz E., Yildirim G., Yildirim S. The effect of virtual reality on EFL writing performance, Journal of Language and Linguistic Studies, 2018, vol. 14(1), pp. 278-292. (In Eng.)
Ekman P. Emotional and Conversational Nonverbal Signals. Gesture, Speech, and Sign. Ed. by L. S. Messing & R. Campbell. New York, Oxford University Press, 1999, pp. 45-55. (In Eng.)
Ekman F., Friesen W. V. The repertoire of nonverbal behavior: Categories, origins, usage, and coding. Semiotica, 1969, issue 1(1), pp. 49-98. (In Eng.)
Fillmore C. J. Santa Cruz lectures on deixis: 1971. Bloomington: Indiana University Linguistics Club, 1975, pp. 217-306. (In Eng.)
Fillmore C. J. Towards a descriptive framework for spatial deixis. Space, Place and Action: Studies in Deixis and Related Topics. Ed. by R. Jarvella and W. Klein. Chichester, N. Y., 1982, pp. 31-59. (In Eng.)
Fox J., Arena D., Bailenson J. N. Virtual reality: A survival guide for the social scientist. Journal of Media Psychology, 2009, vol. 21(3), pp. 95-113. (In Eng.)
Heyselaar E., Hagoort P., Segaert K. In dialogue with an avatar, language behavior is identical to dialogue with a human partner. Behav Res Methods, 2015, pp. 1-15. (In Eng.)
Innocenti A. Virtual reality experiments in economics. Labsi Working Papers, 2015, issue 49, pp. 1-21. Available at SSRN: https://ssrn.com/ab-stract=2818550https://ssrn.com/abstract=2818550 or https://dx.doi.org/10.2139/ssrn.2818550 (accessed 12.05.2020) (In Eng.)
Jungbluth K. Deictics in the conversation dyad: Findings in Spanish and some cross-linguistic outlines. Deictic Conceptualization of Space, Time and Person. Ed. by Friedrich Lenz. Amsterdam, 2003, pp. 13-40. (In Eng.)
McNeill D. Hand and Mind: What Gestures Reveal About Thought. Chicago, University of Chicago Press, 1992. (In Eng.)
Mariner L. Cleared for Takeoff: English for Pilots, Book 1. AE Link Publications. 2007, pp. 89-90 (In Eng.)
Peeters D. Virtual reality: A game-changing method for the language sciences. Psychonomic Bulletin & Review, 2019, vol. 26(3), pp. 894-900. Available at: https://link.springer.com/article/10.37-58/s13-423-019-01571-3 or https://doi.org/10.3758/-s13423-019-01571-3 (accessed 22.04.2020) (In Eng.)
Riva J. Virtual reality in healthcare: An introduction. Cyber Therapy & Rehabili-tation, 2008, issue 1, pp. 6-9. (In Eng.)
Rizzo A., Kim G. J. A SWOT analysis of the field of virtual reality rehabilitation and therapy. Presence: Teleoperators and Virtual Environments, 2005, vol. 14(2), pp. 119-146. doi 10.1162/105474605396709. (In Eng.)
Rothbaum B. O., Hodges L. F. The use of virtual reality exposure in the treatment of anxiety disorders. Behavior Modification, 1990, vol. 23(4), pp. 507-525. (In Eng.)
Tarr M. J., Warren W. H. Virtual reality in behavioral neuroscience and beyond. Nature Neuroscience, 5 (Suppl.), 2002, pp. 1089-1092. doi 10.1038/-nn948 (In Eng.)
Zinchenko Yu. P., Kovalev A. I., Menshikova G. Ya. Postnonclassical methodology and application of virtual reality technologies in social research. Psychology in Russia: State of the Art, 2015, vol. 8(4), pp. 60-71. (In Eng.)
SPEAKER'S BEHAVIOR IN VIRTUAL REALITY (Methodology of the Experiment and Description of Preliminary Results)
Aleksandar Taleski
Postgraduate Student in the Department of Theoretical and Applied Linguistics Perm State University
15, Bukireva st., Perm, 614990, Russian Federation. taleski87@yahoo.com SPIN-code: 1963-9833
ORCID: http://orcid.org/0000-0002-1901-8572 ResearcherID: 0-4819-2018
Submitted 30.06.2020
The article is a preliminary research that examines the methodology of the experiment devoted to the study of the speaker's behavior in virtual reality (VR) and its results.
The purpose of the experiment is to study the specific features of verbal and non-verbal implementation of the role and spatial deixis in VR. Based on the received reactions, the speaker's coordinate system will be determined and models of the speaker's communicative behavior in VR will be constructed.
The article describes in detail the design of the experiment, which includes: stimulus material on the basis of which the VR scene is created; types of scenes used to determine the type of the speaker's orientation; description of the tools by means of which VR is created; requirements for the selection of participants in the experiment; methods of recording material and the principles of its decoding. Special attention was paid to correlating the 'external' (gesture) and 'internal' (verbal) behavior of the speakers, to the principles of gesture fixation and their correlation with the subject's verbal reactions to the presented scene.
Based on the data obtained from the subjects, there was developed a classifier where the categories 'Structure of the situation', 'Type of communication' and 'Means of communication' and their subclasses are used. The data are entered into the Semograph information system and are visually presented in the form of a customizable interactive graph by using the SciVi software.
At present, the reactions of two informants (a man and a woman) from the general sample have been processed. Based on the analysis of their reactions, preliminary results were obtained, which made it possible to demonstrate approaches to work with the classifier and to trace the representation of verbal and non-verbal means in the reactions of the subjects. Moreover, preliminary results help to determine the type of orientation and communicative behavior of the speaker depending on their personality and the type of scene. Preliminary analysis allows us to refine the principles of material processing, its annotation and entry into the Semograph system as well as working with the classifier.
Key words: deixis; verbal means; nonverbal means; virtual reality; coordinate system.
