CC BY
14
Мария А. Ерофеева1
156
РАНХиГС, МВШСЭН, Москва, Россия ORCID: 0000-0002-0874-5272
Нильс Кловлйт2
РАНХиГС, МВШСЭН, Москва, Россия ORCID: 0000-0002-7347-099К
Денис Р. Забабурин3
РАНХиГС, Москва, Россия
Как говорить без слов: переосмысляя материальность, агентность и коммуникативную компетентность в виртуальной реальности4
doi: 10.22394/2074-0492-2022-4-156-181
1 Ерофеева Мария Александровна — кандидат социологических наук, научный сотрудник Центра социологических исследований РАНХиГС, доцент факультета социальных наук МВШСЭН. Научные интересы: микросоциология, мультимодальный конверсационный анализ, социология технологий, акторно-сетевая теория, исследования образования. E-mail: erofeeva-ma@ranepa.ru
2 Кловайт Нильс — научный сотрудник Центра перспективных социальных исследований РАНХиГС, преподаватель факультета социальных наук МВШСЭН. Научные интересы: микросоциология, мультимодальный кон-версационный анализ, технологии смешанной и виртуальной реальности, исследования образования. E-mail: nils.klowait@gmail.com
3 Забабурин Денис Романович — студент магистратуры «Психология управления» ИОН РАНХиГС. Научные интересы: конверсационный анализ, фрейм-анализ, виртуальная реальность, переговоры, принятие решений, когнитивные искажения, системы оценки и обучения персонала. E-mail: denzababurin@gmail.com
4 Статья подготовлена в рамках научно-исследовательской работы Центра социологических исследований РАНХиГС «Анализ повседневных практик использования технологических устройств: интервенция, адаптация, ассимиляция» (2022).
Acknowledgments: This text was prepared in the context of the research project "Analyzing everyday practices of device use: intervention, adaptation, assimilation" (2022) conducted by the Center for Sociological Research, RANEPA.
Социология
ВЛАСТИ Том 34 № 3-4 (2022)
Резюме:
Данная статья представляет собой попытку реконцептуализации материальной агентности для целей микросоциологии. В то время как мыслители поворота к материальному предлагают новые концептуальные ресурсы для разговора о нечеловеческих онтологиях, исследователи взаимодействия пытаются пересобрать социальную ситуацию, раздробленную телекоммуникационными технологиями. В перспективе конверсационного анализа исследовалась в основном конститутивная роль технических объектов, однако они также могут нарушать текущие проекты действия участников и при этом оставаться «невидимыми и незамечаемыми», как, например, задержка в видеозвонках. Попытка рассмотрения неподотчетных частей материального контекста ставит под удар сами основания конверс-аналитического проекта, поскольку аналитическая позиция отделяется от позиции участников взаимодействия. В противоположность этому взгляду мы предлагаем концептуализацию связи между участником и средой взаимодействия как источника агентности, которая позволяет сохранить полностью эм-ную перспективу. Мы иллюстрируем наши тезисы на основании анализа кейса взаимодействия между глухим и слышащим участником в социальном приложении в виртуальной реальности VRChat. Данный кейс является частью более обширного этнографического исследования сообщества Глухих в виртуальной реальности, проводившегося нашей командой на протяжении трех месяцев. В рассматриваемом кейсе вир- 157
туальные карандаши, оставляющие долговечные надписи в воздухе, используются участниками для коммуникации. Мы анализируем очень простую вопрос-ответную последовательность и показываем, что: участники относятся к производимым надписям как к материальным; слышащий участник оказывается менее способен к коммуникации в этом пространстве, чем Глухой; ответ на вопрос производится совместно благодаря инструкционной работе Глухого участника. В целом полученные результаты позволяют сделать следующие выводы о природе материальности, агентности и коммуникативной компетентности: 1) материальность среды не является чисто аналитической категорией, а конструируется участниками взаимодействия; 2) агентность участников зависит от среды и в то же время имеет распределенный характер; 3) коммуникативная компетентность не связана напрямую с «внутренними» характеристиками агента, такими как атипичность.
Ключевые слова: экологический поворот, этнометодология и конверса-ционный анализ, мультимодальность, атипичная коммуникация
Maria A. Erofeeva1
RANEPA; MSSES, Moscow, Russia
1 Erofeeva Maria Aleksandrovna — Candidate of Sociological Sciences, Researcher at the Center for Sociological Research of the Russian Presidential Academy of National Economy and Public Administration (RANEPA), Senior Lecturer of the Faculty of Social Sciences of the Moscow School of Social and Economic Sciences (MSSES). Research interests: microsociology; multimodal conversation analy-
SOCIOLOGY
of Power Vol. 34
№ 3-4 (2022)
158
Nils Klowait1
RANEPA; MSSES, Moscow, Russia Denis R. Zababurin2
RANEPA, Moscow, Russia
How to Speak Silently — Rethinking Materiality, Agency, and Communicative Competence in Virtual Reality
Abstract:
While thinkers of the material turn offer new conceptual resources for talking about non-human ontologies, interaction researchers are trying to reassemble the social situation fragmented by telecommunication. Conversation analysts tend to see technical objects in their situation-constitutive role, but they can also disrupt the current projects of the participants whilst remaining "unseen and unnoticed" (e.g. Zoom delays). We propose a conceptualization of the relationship between the participant and the interaction environment as a source of agency, which makes it possible to preserve an emic perspective. We illustrate our thesis by analyzing a case study of interaction between a Deaf and a hearing participant in VRChat. In this case, virtual pencils that leave durable inscriptions in the air are used by participants for communication. We analyze a simple question-and-answer sequence and demonstrate that: the participants treat the inscriptions as material; the hearing participant is less capable of communicating in this space than the Deaf person; the answer to the question is produced jointly due to the instructional work of the Deaf participant. The results allow us to draw the following conclusions about the nature of materiality, agency and communicative competence: 1) the materiality of the environment is not a purely analytical category, but is constructed by the participants in the interaction; 2) the agency of the participants depends on the environment and at the same time has a distributed character; 3) communicative competence is not directly related to the "internal" characteristics of the agent, such as atypicality.
Keywords: ecological turn, ethnomethodology and conversation analysis, multimodality, atypical interaction, virtual reality
sis; sociology of technology; actor-network theory; education research. E-mail: erofeeva-ma@ ranepa.ru
1 Klowait Nils — Research Fellow at the Center for Innovative Social Research, RANEPA, Lecturer of the Faculty of Social Sciences, MSSES. Research interests: microsociology; multimodal conversation analysis; mixed and virtual reality technologies; education research. E-mail: nils.klowait@gmail.com
2 Zababurin Denis Romanovich — student of the Master's degree programme "Psychology of management", RANEPA. Research interests: conversation analysis, frame analysis, embodied interactions in virtual reality, negotiations, decision-making, cognitive distortions, employee evaluation and training systems. E-mail: denzababurin@gmail.com
Социология власти Том 34 № 3-4 (2022)
Введение
Классическое определение социальной ситуации как нахождение группы людей «в пределах видимости и слышимости» друг друга [Goffman 1981: 145] на сегодняшний день устарело. Современные формы коммуникации становятся все более опосредованными: мы сидим на видеозвонках и параллельно переписываемся в социальных сетях, относимся к смартфонам как к неотъемлемому элементу встреч лицом-к-лицу [Avgustis, Oloff 2022], управляем техническими устройствами с помощью «умных колонок» и разговариваем с ними [Корбут 2021]. Пандемия коронавируса внесла немалый вклад в трансформацию социальной ситуации: работа и обучение на дому стали частью повседневной рутины, появились многочисленные «гибридные» форматы, объединяющие офлайн- и онлайн-присутствие. Иными словами, многие аспекты нашей жизни стали конститутивно опосредованными.
В этом контексте дискуссии о природе сложной материальной среды становятся все более актуальными. Мыслители поворота к материальному предлагают новые концептуальные ресурсы для разговора о нечеловеческих онтологиях [Caronia, Cooren 2014; Cetina 1997; Latour 1996; Pels, Hetherington, Vandenberghe 2002], например, парламент вещей [Latour 1993], интеробъективность [Latour 1996], диахроническое социальное конструирование технологии [Pinch, Bijker 1984]. В этих дискуссиях социальная ситуация обычно не переопределяется, а игнорируется как нерелевантный аналитический концепт. Если границы социальной ситуации размыты благодаря техническому опосредованию [Latour 1994], нет такой вещи, как «порядок взаимодействия».
В противоположность этому взгляду микросоциологи всех мастей начали пересобирать социальную ситуацию. Например, К. Кнорр-Цетина говорит о «синтетической ситуации» [Cetina 2009], опосредованной экранами и добавляющей информационную глубину взаимодействию лицом-к-лицу. Конверс-аналитики концептуализируют «коммуникативные аффордансы» технологий [Hutchby 2001] и «раздробленные экологии» [Luff et al. 2003], когда у участников социального взаимодействия есть доступ только к части среды собеседника, как в видеозвонках. Разнообразие методов и концептов, с помощью которых современные микросоциологи работают с материальностью [Klowait 2019], указывает, что это благодатная почва для теоретических и методологических нововведений.
В этой статье на основе мультимодального конверс-анализа мы предлагаем концептуализацию связи между участником и сре-
159
Sociology of Power Vol. 34
№ 3-4 (2022)
дой взаимодействия, которая учитывает собственное осмысление участником этой связи. С помощью анализа кейса мы продемонстрируем, что новые неортодоксальные интерактивные экологии, такие как виртуальная реальность, являются уникальным объектом для иллюстрации защищаемых нами тезисов: 1) что материальность среды не является чисто аналитической категорией, а конструируется участниками взаимодействия; 2) что агентность участников зависит от среды и в то же время имеет распределенный характер; 3) что коммуникативная компетентность не связана напрямую с «внутренними» характеристиками агента, такими как атипичность1.
Специфика взаимодействия в виртуальной реальности
Описываемый ниже кейс основан на видеоматериале, собранном в рамках проекта по исследованию особенностей мультимо-дального взаимодействия в виртуальной реальности (VR)2, когда по крайней мере некоторые участники использовали VR-шлемы 160 и нательные датчики, передающие их телесные движения в виртуальную среду3. Участники VR были представлены в форме гума-ноидного аватара, который передавал их воплощенные (embodied) действия.
В течение трех месяцев наша команда собирала видеоэтнографические данные в VRChat — крупной полнотелесной виртуальной социальной сети, где общаются люди со всего мира. Ее спецификой является то, что большинство пространств и аватаров созданы самими пользователями. Выбор этого объекта был продиктован именно тем, что VRChat дает участникам широкие возможности обустройства окружающей среды по своему вкусу. В результате такой свободы творчества в VRChat к настоящему моменту образовался
Мы используем понятие «атипичность» для обозначения людей с ограниченными возможностями здоровья и понятие «нормотипичность» для обозначения людей без таковых. Эта терминология позволяет уйти от негативной коннотации ограниченных коммуникативных способностей людей с инвалидностью. Как будет показано ниже, полностью нормоти-пичные участники бывают более ограничены в своих возможностях, чем атипичные.
Мультимодальный конверс-анализ учитывает телесное поведение участников (жесты, взгляды, положение тела в пространстве и т. д.) в совместном производстве действия. Подробнее см. в: [Goodwin 2000; Mondada 2016]. В некоторые пространства VR можно войти с компьютера, наличие шлема VR не является необходимостью.
Социология власти Том 34 № 3-4 (2022)
1
2
растущий рынок пользовательских аватаров, которые не обязательно должны быть гуманоидными или даже двуногими. Примеры необычных аватаров, с которыми наша команда столкнулась во время исследования: поющий тостер размером с автомобиль, большой банкетный стол, летающая атомная подводная лодка, американские горки размером с комнату, а также миниатюрный хомячок, которого едва можно было разглядеть, когда он уворачивался от ног аватаров обычного размера.
Такое разнообразие телесных конфигураций имеет прямые следствия для анализа взаимодействия. Например, у некоторых аватаров нет глаз или шеи, что не позволяет использовать направление взгляда в качестве ресурса для управления участием во взаимодействии1. Отсутствие привычных телесных средств для совершения действия заставляет нас обратить внимание на то, как специфические черты VR начинают использоваться участниками для реализации их практических целей. К примеру, некоторые аватары могут рисовать в воздухе, и эти надписи можно использовать во взаимодействии, что будет далее обсуждаться в этой статье. Такая же гибкость присутствует и в самих интерактивных пространствах У^. Их создатели способны изменить законы физики, например, скор- 161 ректировать способ распространения звука в пространстве и материальные свойства среды, а также ограничить набор действий, доступных участникам.
Отсутствие глаз для управления взглядом является лишь крайним случаем общего принципа: действие локализовано на пересечении субъекта и среды. Во время встречи в кафе только половина тела доступна взаимному наблюдению (та, что над столом); сложно говорить на громком концерте; а при езде на велосипеде диапазон жестов ограничен. Во всех этих примерах взаимодействие симметрично, потому что ограничения или возможности создаются для участников среды в равной степени. В противоположность этому «атипичность» или даже инвалидность предполагает асимметричное соотношение субъекта и окружающей среды. В мире, созданном исключительно для нужд двуногих, люди, передвигающиеся без ног, как правило, находятся в невыгодном положении; в этом заключается по крайней мере один ключевой аспект политической природы «обустроенной» среды2.
1 Предварительные размышления на эту тему представлены в: [Зизина 2019].
2 О том, как фундаментальные структуры взаимодействия дискриминируют атипичных участников, см. в: [Ерофеева 2021].
Sociology of Power Vol. 34
№ 3-4 (2022)
В отличие от устоявшихся материальных сред и коммуникативных структур, «странные» пространства с пока неясными правилами могут работать как отличные уравнители. Например, людям с нарушениями слуха трудно вербально взаимодействовать в больших шумных помещениях. Участие в видеоконференции нивелирует интерактивную значимость упомянутой «инвалидности», поскольку системы видеоконференции типа Zoom позволяют повышать громкость, а также изолируют речь других участников. Иными словами, понятие инвалидности имеет структурное сходство с реляционной категорией аффорданса как характеристики, возникающей на пересечении субъекта и среды [Gibson 1986]. Этот аффорданс, в свою очередь, не является характеристикой, закодированной в перцептивных структурах агента или зависящей от статической среды, — он может стать объектом (воз)действия и рефлексии самих участников.
В общем, VRChat иллюстрирует, что «нормальное тело» не является локусом какого-то первичного неопосредованного действия, в то время как аватар представляет собой всего лишь его бледную копию. Наоборот, практические цели участников могут быть до-162 стигнуты с помощью подручных средств, какими бы они ни были. Даже сам термин «под рукой» (at-hand) кажется устаревшим, т. к. он подразумевает первичность «нормальной» телесности. Не у всех участников VR есть руки. Что имеется в виду, так это возможность ситуативно использовать какой-либо ресурс для реализации цели здесь-и-сейчас. В VR бестелесная «подручность» может стать «под-контроллерностью»1 или любой другой «-ностью», которая определяет специфику среды социального взаимодействия.
Наш аргумент заключается в том, что необычные, новые, гибкие интерактивные среды с неясными нормативными ожиданиями позволяют наглядно показать, как участники с разными способностями обустраивают свои тела и окружающую среду для достижения практических целей.
Данные
В нашем кейс-стади мы фокусируемся на одном конкретном сообществе, активно использующем VRChat: Helping Hands. Это сообщество Глухих2 в виртуальной реальности, в котором продвигается
1 Контроллеры, отслеживающие движения рук, используются в VR для управления практически всеми действиями аватара.
2 Мы используем понятие «Глухие» (Deaf) с большой буквы как самоименование членов сообщества. Различение между «Глухими» (с большой буквы)
Социология влАсти Том 34 № 3-4 (2022)
обучение жестовому языку. Вот как они сами описывают это пространство:
Helping Hands создавалось как сообщество для всех, кто хочет научиться жестовому языку, чтобы иметь возможность взаимодействовать с различными сообществами и культурами Глухих внутри VRChat, а также приобретать навыки, которые можно применить и в реальном мире. Первоначально Papa Thelius создал Helping Hands в октябре 2018 года для объединения пользователей жестового языка в VRChat. Впоследствии наш Discord стал семьей для жестикулирующих, которой мы являемся сегодня. Она включает всех, от начинающих до носителей жестового языка.
Наша миссия состоит в том, чтобы разрушить барьеры, разделяющие культуру слышащих и Глухих. Предоставляя доступ к различным культурам через интернет, в частности через виртуальную реальность, мы объединяем людей из разных социальных миров (backgrounds), чтобы лучше понимать друг друга [Helping Hands mission statement, n.d].
Этот кейс интересен по ряду причин. С одной стороны, люди с атипичными телесными возможностями (ЛАТВ) при использовании виртуальной реальности сталкиваются с рядом уникальных про- 163 блем. Большинство популярных систем виртуальной реальности рассчитано на «среднего» пользователя и состоят из шлема, который отслеживает свободное движение головы и передает аудиовизуальные данные, и двух контроллеров, которые необходимо держать в руках (см. рис. 1). Таким образом, нормотипичный дизайн технологии может вступать в противоречие с интерактивными способностями ЛАТВ. Например, в VR-пространствах довольно редко присутствуют субтитры, что делает практически невозможным восприятие речи для человека с нарушениями слуха. Кроме того, некоторые ЛАТВ могут испытывать трудности со сложными движениями рук, необходимыми в некоторых пространствах VR, и даже сам шлем может быть трудно надеть.
и «глухими» (с маленькой буквы) является культурным конструктом. Глухие (с большой буквы) воспринимают себя как носителей специфической культуры Глухих (Deaf culture), а не просто как людей, объединенных общей физической особенностью. Обычно это люди с врожденной глухотой, хотя это не обязательно так. Helping Hands — это открытое сообщество, поэтому в него также могут входить слышащие люди, которые хотят изучать жестовый язык.
Sociology of Power Vol. 34
№ 3-4 (2022)
164
Рис. 1. Пользователь VR со шлемом и двумя контроллерами. Фото авторов Fig. 1. VR user with a helmet and two controllers. Photo of the authors
С другой стороны, гибкость VR-пространств позволяет также найти новые способы адаптации среды к собственным потребностям. Например, к речи в виртуальной реальности можно добавлять субтитры. Тем самым новые формы общения с ЛАТВ становятся возможными.
Рассматриваемый нами кейс позволяет проиллюстрировать конкретную адаптацию окружающей среды к потребностям людей с нарушениями слуха.
Виртуальные карандаши
Как упоминалось ранее, пространства VRChat не обязательно воспроизводят ограничения физических пространств. Ярким примером могут служить специальные карандаши, которые оставляют в воздухе долговечные надписи, подобные надписям на стенах
Социология власти Том 34 № 3-4 (2022)
или заборах в реальном мире. Такие виртуальные карандаши есть в некоторых комнатах1, изначально задумывавшихся для презентаций, и ими могут пользоваться все участники, обладающие руками. Когда такой карандаш находится в руке, по нажатию кнопки на контроллере он оставляет след в виде цветной линии, и этот след виден другим участникам комнаты. Если никто не нажмет кнопку глобального «сброса» или не сотрет надпись ластиком, она будет висеть в воздухе, доступная для наблюдения под разными углами.
Когда виртуальный карандаш используется для коммуникации, участникам приходится учитывать положение тел друг друга: если два человека стоят лицом к лицу, и карандаш используется, чтобы написать что-то в воздухе между ними, то написанный текст будет отображаться зеркально для одного из них:
Это обстоятельство оказывает непосредственное влияние на взаимодействие, в частности на то, какие лицевые формации (facing formations) [Kendon 2009] занимают люди, использующие виртуальные карандаши. Под лицевой формацией понимается взаимное позиционирование тела и взгляда друг относительно друга, что важно для управления совместным вниманием. В случае виртуальных карандашей участники могут с самого начала писать зеркально отраженным шрифтом; или они могут пригласить собеседника изменить положение своего тела после написания сообщения; наконец, сообщение может быть написано либо под углом 90 градусов, что позволяет расположиться полулицом, либо когда
1 Комнатой в VRChat называется ограниченное пространство взаимодействия, обычно включающее до 20-40 человек. Комнаты могут быть тематическими, например, комната для презентаций, караоке, бар и т. д.
165
Рис. 2. Асимметрия виртуального текста Fig. 2. Asymmetry of virtual text
Sociology of Power Vol. 34
№ 3-4 (2022)
оба участника сразу смотрят в одном направлении, как показано на рисунке ниже.
166
Рис. 3. Типичные лицевые формации при использовании
виртуального карандаша Fig. 3. Typical facing formations when using a virtual pencil
Еще один интеракционно релевантный аспект виртуальных карандашей, обнаруженный нами в этнографической практике: они могут указывать направление взгляда. Поскольку аватары в VRChat могут быть разного размера, а видимые индикаторы направления взгляда часто отсутствуют, положение карандаша, рисующего линию в воздухе, может быть единственным надежным ресурсом для установления контакта глаз. Ниже приведен пример такого использования виртуального карандаша (см. транскрипты 1.1 и 1.2)1.
В этом фрагменте персонаж-орк (ORC), от лица которого мы наблюдаем взаимодействие, предпринимает неоднократные попытки поместить виртуальную панна-котту перед персонажем-девушкой (GIRL), которая в этот момент использует карандаш. Девушка никак не реагирует на размещение панна-котты в непосредственной близости от нее (fig. 1-3 в транскрипте 1.1). Поскольку направление взгляда и поле зрения в VR трудноопределимы, нельзя сказать, что панна-котта была размещена «перед» ней в традиционном смысле, типичном для взаимодействия в физической реальности.
Девушка реагирует — сначала она приостанавливает текущее действие рисования (fig. 7 в транскрипте 1.2), а затем берет панна-котту (fig. 8) — только после того, как орк повторно размещает панна-котту перед ней, на этот раз прямо внутри рисунка (fig. 5-6).
1 В верхней части транскрипта расположена временная шкала, где одна черточка обозначает десятую долю секунды. Воплощенные действия двух участников представлены под их временными шкалами. Положение рисунков также синхронизировано с временной шкалой.
Социология власти Том 34 № 3-4 (2022)
SOCIOLOGY OF POWER
VOL. 34 № 3-4 (2022)
Транскрипт 1.1. Процедура передачи панна-котты I
Транскрипт 1.2. Процедура передачи панна-котты II
Социология власти Том 34 № 3-4 (2022)
Иными словами, рисунок является взаимно доступным объектом, указывающим на то, куда в данный момент направлено внимание участника. В рассмотренной коммуникации он функционально заменяет взгляд и положение тела, обычно используемые для управления вниманием и участием во взаимодействии.
Виртуальные карандаши в сообществе Helping Hands
В то время как для нормотипичных людей виртуальные карандаши — это скорее забавные игрушки, Глухие воспринимают их как объекты, позволяющие им коммуницировать в нормоцентричной среде.
В комнате, специально посвященной истории сообщества Helping Hands, о виртуальных карандашах говорится следующее:
<...> игра [VRChat] не предназначена для глухих людей. Это связано с тем, что большинство людей использует для общения встроенную в VRChat [голосовую] систему "teamspeak" <...> Глухие игроки не могут слышать, поэтому они вынуждены приходить в «Комнату для презентаций», в которой есть рабочие карандаши. Только там они могут писать в воздухе и общаться с другими, а также имеют возможность 169 научить других использовать ASL [американский жестовый язык]. Завести друзей оказывается непросто, однако это также касается мьютов (mutes)1 и слабослышащих людей. Из-за молчания их обычно игнорируют во многих мирах [комнатах], за исключением некоторых комнат с карандашами и клавиатурами. Они могут использоваться для общения с другими. Но во многих мирах у глухих нет никакой возможности общаться с другими2.
Иными словами, виртуальные карандаши не только выступают средством общения для Глухих людей, но и фигурируют в самоописании сообщества как средство вовлечь других пользователей в обучение жестовому языку, т. е. расширить границы сообщества.
В следующем разделе мы проанализируем ситуативную роль виртуальных карандашей для сообщества Helping Hands (HH). На материале отдельного кейса мы продемонстрируем, как они используются в качестве ресурса для организации взаимодействия, в котором участвуют люди с отличающимися телесными возможностями.
1 Мьюты — отдельная категория пользователей VRChat; это люди, сознательно не использующие микрофоны для коммуникации.
2 Цит. по: Музей жестового языка в мире Sign&Fun MrDummy_NL.
Sociology of Power Vol. 34
№ 3-4 (2022)
Карандаши вместо речи
Коммуникация участников с разными способностями становится возможной, если они разделяют хотя бы некоторые семиотические ресурсы, в частности язык или другие символические структуры1. К примеру, Гудвин убедительно продемонстрировал, как человек, утративший речь в результате инсульта, может оставаться активным спикером, относясь к богатым языковым структурам собеседников с помощью других ресурсов — просодии и жестикуляции [Goodwin 1995]. Тем не менее такое общение дается сложнее; можно указать на чужую речь, но референт такого указания неоднозначен, что превращает довольно простое действие, такое как выбор блюда на завтрак, в продолжительные последовательности намеков-и-до-гадок (hint-and-guess sequences).
В нашем случае участники разделяют символический язык, но практически не могут его использовать, так как один из них не слышит, а другой не понимает язык жестов. На помощь приходят виртуальные карандаши, поскольку они заменяют способность говорить. Свойства создаваемых таким образом надписей 170 тем не менее резко отличаются от речи — они производятся гораздо медленнее; в то же время они более долговечны, поскольку написанный текст остается в воздухе. Далее мы рассмотрим, как участники с разными способностями обращаются к этому ресурсу для достижения взаимопонимания во взаимодействии.
В анализируемом эпизоде Билл (Глухой человек) проводит экскурсию по виртуальному музею истории сообщества HH для Энн (человека, не владеющего языком жестов). Билл — опытный пользователь VRChat, и у него VR-система с отслеживанием всего тела, что означает, что все его физические движения передаются в виртуальную реальность (в отличие от обычной парадигмы, когда отслеживаются только голова и руки). Энн посещает VRChat с компьютера, а это значит, что она может двигаться, смотреть и писать в воздухе, используя только мышь и клавиатуру. Также она раньше никогда не пользовалась виртуальными карандашами; их значительно сложнее использовать с мышью, чем с виртуальной рукой, поскольку мышь дает только три степени свободы (вращение) по сравнению с контроллером (вращение + перемещение).
1 Исследования несимволического взаимодействия в человеческом обществе демонстрируют, что отсутствие общезначимых символов делает коммуникацию крайне затруднительной, но не невозможной. Так, Д. Гуд в исследовании слепоглухих детей [Goode 1994] демонстрирует, что взаимопонимание может быть достигнуто на фундаментальном телесном уровне.
Социология власти Том 34 № 3-4 (2022)
Последовательность (транскрипты 2.1-2.31) начинается с вопроса Билла «did you come here before», который он пишет в воздухе. На производство первой парной части (вопроса)2 уходит более 17 секунд. Из-за пространственных характеристик надписей участники вынуждены располагать свои тела таким образом, чтобы слова были взаимно видимыми. Для этого они занимают параллельную лицевую формацию (side-by-side F-formation) [Kendon 2009]. Однако это не так-то просто. Поскольку слова занимают место и частично скрыты спиной пишущего, Энн приходится дважды изменить положение, чтобы иметь возможность прочитать то, что пишется в воздухе (строки 1, 4 транскрипта 2.1). Как только окончание вопроса становится предсказуемым (когда появляется часть слова «bef(ore)»), Энн отворачивается и идет к другому концу комнаты, где размещены виртуальные карандаши. Она берет один из них (строка 12) и возвращается в исходное место рисования (13). Карандаши позволяют писать в любом месте пространства, но Энн возвращается к тому же месту, где остался парящий в воздухе вопрос, чтобы написать ответ рядом с ним. Наблюдаемая траектория движения — не единственный доступный вариант, что видно из ответных действий Билла. Он последовал за ней (строка 13) и, соответственно, находился в фор- 171 мации, чтобы воспринять ее ответ раньше, или ближе. Выбор вернуться к исходному месту рисования указывает на то, что Энн рассматривает надпись в воздухе как материальную инфраструктуру для действия, своего рода доску для письма, на которой уместно разместить ответ на вопрос. Вторая парная часть в рассматриваемом кейсе становится условно релевантной3 дважды: это не только временная, но и пространственная последовательность действий. Хотя слова в воздухе нематериальны в традиционном смысле, с ними обращаются как с таковыми.
1 В транскрипте 2.1 используется упрощенная система Мондады (2001). Поскольку рассматриваемые действия протекают скорее последовательно, чем одновременно, мы используем временную шкалу как точку отсчета только там, где это необходимо (строки 1, 4, 13). Во всех остальных случаях время производства надписи или действия указано в скобках. Рисунки во всех случаях отражают финальную фазу действия.
2 Смежные пары (adjacency pairs) — простейший элемент последовательност-ной организации действия. Они состоят из двух частей, где появление первой подразумевает вторую. Например, приветствие-приветствие, вопрос-ответ, приглашение-принятие/отказ. Подробнее см. в: [Schegloff 2007].
3 Условная релевантность — центральное понятие конверс-анализа, описывающее отношение между социальными действиями. Производство одного действия делает определенные ответные действия релевантными и потому нормативно ожидаемыми. Подробнее см. в: [Schegloff 2007].
Sociology of Power Vol. 34
№ 3-4 (2022)
172
Транскрипт 2.1. Производство смежной пары «вопрос-ответ» в VR I
После того, как Энн возвращается на исходное место, она изо всех сил старается дать ответ. Положение карандаша в ее руке неудачное: она не видит то, что пишет, т. к. схватила карандаш скорее как ручку метлы, нежели как пишущий инструмент. Это заставляет ее приостанавливать действие и постоянно проверять, что получилось (строки 16-17, 20). В итоге Энн удается создать два символа (14, 19), по форме которых можно сделать вывод, что ее ответ «нет», так как первой парной частью был полярный вопрос (предполагающий ответ «да» или «нет»). Тем не менее этот ответ не принимается Биллом. Вместо того чтобы двигаться дальше, он начинает давать Энн инструкции о том, как пользоваться виртуальными карандашами.
Социология власти Том 34 № 3-4 (2022)
В следующих транскриптах (2.2 и 2.3) мы используем систему, разработанную Гудвином для отслеживания взгляда [Goodwin 1981], которая представлена под строкой, описывающей воплощенное поведение. Ряд точек обозначает, что одна сторона поворачивается к другой, а сплошная линия указывает на то, что участник смотрит в сторону другого. В этом случае пунктирная линия указывает на то, что взгляд обращен на место для письма1.
Билл начинает поворачиваться к символам, нарисованным Энн (fig. 1 транскрипта 2.2), после чего она переводит взгляд на него и понимает, что действие, которое он начал, касается письма в воздухе. Мы делаем такой вывод, потому что она переводит взгляд на «место для письма» еще до того, как Билл закончил двигаться. Билл направляется в сторону карандаша, который Энн держит в руке, и она отпускает его, а тот остается висеть в воздухе. Затем Энн смотрит на Билла, по-видимому, чтобы понять, чего он от нее хочет, и корректирует свое поле зрения, отступая назад, чтобы видеть и Билла, и карандаш.
Когда Энн перестала смотреть в сторону «места для письма» и начала двигаться, Билл прервал свое текущее действие — поправить карандаш, чтобы помочь Энн правильно написать ответ. Они достигают F-формации лицом-к-лицу (fig. 2) примерно на полпути, 173 но Билл не предпринимает никаких других действий до завершения движения Энн. Когда она останавливается, участники продолжают свои проекты действий: Энн делает резкое движение головой вперед-назад, похожее на качание головой, в то время как Билл тянется к карандашу. Движение головы Энн может быть простой моторной неловкостью, такой как неверный щелчок мышью, но есть основания полагать, что она пытается дать ответ «нет» другими доступными ей средствами. Она все еще может не до конца понимать, что Билл от нее хочет, но она точно знает по отсутствию его реакции, что ее предыдущий «ответ» не был воспринят как достаточный.
Билл никак не отреагировал на это качание головой, так как в этот момент выполнял действие «схватить карандаш». Энн следит за его движениями и смотрит на карандаш, пока Билл меняет его положение (fig. 3). Поскольку Энн не берет карандаш, Билл переводит на нее взгляд и указывает ладонью на пишущий инструмент (fig. 4), как бы приглашая ее взять его. В этот момент Энн, кажется, наконец понимает, что происходит, и берет карандаш в руку.
1 Одной из особенностей виртуальной реальности является то, что направление взгляда можно понять, наблюдая за движением головы, а не глаз, потому что движения глаз не отслеживаются. Эта особенность также затрудняет отслеживание точного направления взгляда; следовательно, это примерная оценка как для аналитиков, так и для самих участников.
Sociology of Power Vol. 34
№ 3-4 (2022)
174
Транскрипт 2.2. Производство смежной пары «вопрос-ответ» в VR II
Социология власти Том 34 № 3-4 (2022)
После того, как Энн взяла карандаш, она начала писать «no» в воздухе, что заняло у нее примерно 8 секунд (не отражено в транскрипте). Затем она поворачивается к Биллу (fig. 6 транскрипта 2.3), чтобы узнать, примет ли он ее ответ теперь, и еще раз качает головой взад-вперед (на этот раз траектория движения ровная). Тем самым она повторяет свой письменный ответ движением головы, возможно, прибегая к более знакомой модальности. Поскольку Энн использует компьютерное приложение и управляет аватаром с помощью мыши, она не может выполнять действия одновременно, поэтому она сначала пишет, а потом качает головой. Это движение кажется излишним, поскольку теперь ответ написан ясно, но, как показал Гудвин [2018], семиотические модальности не просто повторяют друг друга, а скорее помогают участникам выполнять действия в конкретном контексте. Когда Энн писала, Билл смотрел на «место для письма». Переводя на него взгляд и качая головой, она привлекает его внимание (fig. 7). Энн необходимо подтверждение: хотя ответ был дан, последовательность не может считаться закрытой, ведь Билл не подтвердил две ее предыдущие попытки. Через 1,8 секунды Энн отпускает карандаш (fig. 8) и бросает короткий взгляд в сторону места для письма 175 и снова на Билла, словно ища подтверждения своего ответа. Она так и не получила прямого подтверждения; однако после ее движения Билл явно инициирует новую последовательность, выполняя «приглашающий» жест (fig. 9) и удаляясь. Таким образом, переход к следующей последовательности ознаменовал собой, что предыдущая была закрыта.
Как видно из этого примера, участники рассматривают надписи, созданные виртуальными карандашами, как «материальные», а их пространственные свойства структурируют то, как организована последовательность взаимодействия. Энн, у которой нет АТВ в физической реальности, будучи помещенной в виртуальное тело с одной только мышью для выражения всех ее «модальностей», а также при отсутствии опыта пребывания в этом пространстве, испытывает неимоверные трудности, для того чтобы дать ответ на простой вопрос. Это указывает на ситуативную природу агент-ности и коммуникативной компетентности, которая коренится в локальной экологии виртуального пространства и его специфических ресурсах. Более того, Энн не смогла бы в принципе дать ответ, если бы Билл не помог ей. Участники сконструировали ответ сообща, используя виртуальные карандаши, а также свои тела и взгляды для координации действий. Таким образом, агентность, которую мы наблюдаем в данном случае, не только ситуативная, но и распределенная между участниками.
Sociology
of Power Vol. 34
№ 3-4 (2022)
Транскрипт 2.3. Производство смежной пары «вопрос-ответ» в УЯ III
Социология власти Том 34 № 3-4 (2022)
Заключение
Растущее внимание к воплощенности и мультимодальности взаимодействия [Goodwin 2000; Mondada 2016; Nevile 2015] влечет за собой возобновление интереса к роли материальной среды в социальном взаимодействии [Nevile, Haddington, Heinemann, Rauniomaa 2014]. Сторонники материального поворота [Caronia, Cooren 2014; Cetina 1997; Latour 1996; Pels et al. 2002] ищут способы концептуализации агентности вещей [Latour, 2016]. В противоположность этому в кон-верс-анализе объекты изучались как фасилитаторы совместной деятельности [Brassac, Fixmer, Mondada, Vinck 2008; Fox, Heinemann 2015; Lindström, Norrby, Wide, Nilsson 2017], интегральные части элементарных действий [Day, Wagner 2014; Mondada 2019] и средства поддержания социальных отношений [Licoppe et al. 2017]. Эти конститутивные роли, возможно, не наделяют объекты агентностью, поскольку они рассматриваются как ресурсы или продукты человеческой деятельности — как «простые посредники» [Latour 1996]. Тем не менее на другой стороне спектра нам приходится иметь дело с явлениями, которые нарушают текущие проекты действия участников, такими как задержка в видеозвонках [Seuren, Wherton, Greenhalgh, Shaw 2021].
Еще более насущная проблема, которую ставит перед исследованием взаимодействия материальный поворот, касается самого понятия социальной ситуации. Опосредованные формы коммуникации «раздробили» [Luff et al. 2003] взаимодействие, но даже классические социальные ситуации содержат мириады материальных объектов, которые были созданы несоприсутствующими агентами задолго до текущего взаимодействия. Они привносят в ситуацию историчность, которая размывает локальность и ставит под вопрос роль материальной среды для микросоциологии.
Один ответ, совместимый с этнометодологией и конверс-анали-зом, сосредоточен на понятии подотчетности (accountability). Наиболее яркой его иллюстрацией, возможно, является понятие коммуникативных аффордансов [Hutchby 2001] — возможностей для действия, которые открываются благодаря использованию технологий в конкретной социальной ситуации. Они не только позволяют совершать определенные действия, но и предполагают их как следующие релевантные. Например, поле зрения веб-камеры позволяет отображать множество объектов, но видеозвонок предполагает, что в кадре будет находиться «говорящая голова», и это побуждает участников соответствующим образом настраивать свои веб-камеры. Следовательно, коммуникативные аффордансы имеют значение только тогда, когда на них обращают внимание участники. Этот ответ был оспорен различными попытками приписать агентность
177
Sociology of Power Vol. 34
№ 3-4 (2022)
элементам материальной среды [Сагоша, МоЛап 2015]. Например, интерактивные эффекты задержки в видеозвонках описываются как «невидимые и незамечаемые» [Беигеп е! а1. 2021], но имеющие последствия для разворачивающегося взаимодействия. Если неподотчетные части материального контекста начинают рассматриваться как значимые, становится неясным, какие из них релевантны для взаимодействия.
Мы утверждаем, что идея Гудвина о публичных субстратах предлагает более подходящий ответ на вопрос о материальной агент-ности в социальном взаимодействии. Проанализированный кейс показывает, что виртуальные карандаши используются в качестве замены речи; однако благодаря свойствам надписей вновь созданный таким образом поток «речи» становится гораздо более устойчивым. В отличие от речи, надписи парят в воздухе и создают общий фокус внимания. Благодаря своей долговечности они становятся публичными субстратами для последующих действий. Таким образом, хотя написанные слова являются виртуальными, и сквозь них легко можно пройти, они воспринимаются участниками как материальные в самом прямом смысле — они создают воображаемую 178 письменную доску, которая является фокусом взаимодействия. Модель Гудвина позволяет говорить об историчности социальной ситуации благодаря понятию публичного субстрата — предшествующего действия, которое «осело» в окружающей среде. Тем не менее он имеет значение только в том случае, если люди повторно используют его в последующих действиях (например, подчеркивают что-то в парящей надписи).
Этот подход помогает концептуализировать нечеловеческую агентность, не редуцируя объекты ни к простым посредникам, ни к противникам человеческой деятельности. Как показал наш анализ, виртуальные карандаши помогают Глухому участнику коммуницировать, но представляют собой практически непреодолимое препятствие для нормотипичного участника. Таким образом, они не являются ни ресурсами, ни ограничителями, если рассматривать их отдельно от контекста использования. Скорее, они открывают определенные возможности для действия, которые, переплетаясь с другим набором возможностей действия, связанных с аватарами и телами участников, создают способность действовать. Агентность, таким образом, не только локализована в ситуации, но и распределена между различными элементами окружающей среды, в том числе телами участников.
Более того, вопрос об агентности неразрывно связан с вопросом о коммуникативной компетентности. Глухой человек может «говорить», так как знает, как управлять своим аватаром и карандашом. Коммуникативный репертуар людей, не входящих в это сообще-
Социология власти Том 34 № 3-4 (2022)
ство практики, будет сильно ограничен в сравнении. Таким образом, человеческая агентность не только распределяется на другие элементы окружающей среды (такие как виртуальные карандаши), но также зависит от компетентности участника в манипуляциях материальным миром.
Библиография / References
Ерофеева М. А. (2021) Интерсубъективность в асимметричном взаимодействии. Журнал исследований социальной политики, 19(4): 635-650. — in Russ.
— Erofeeva M. (2021) Achieving Intersubjectivity in Asymmetric Interaction. The Journal of Social Policy Studies, 19(4): 635-650.
Зизина О. (2019) Феномен вежливого невнимания в VRChat. Блог Лаборатории Виртуальной Реальности МВШСЭН. https://www.vrstudies.ru/ru/civil-inatten-tion-vrchat/
— Zizina O. (2019) The phenomenon of polite inattention in VR Chat. Blog of the MSS-ES Virtual Reality Laboratory. https://www.vrstudies.ru/ru/civil-inattention-vrchat/
Корбут А. М. (2021) Одомашнивание искусственного интеллекта: умные колонки и трансформация повседневной жизни. Мониторинг общественного мнения: экономические и социальные перемены, 1: 193-216.
— Korbut A. M. (2021) Domestication of Artificial Intelligence: Smart Speakers and Transformation of Everyday Life. Monitoring of Public Opinion: Economic and Social Changes, 1: 193-216. — in Russ.
Avgustis I., Oloff F. (2022) Bringing smartphone users (back) into the conversation. 17th International Pragmatics Conference, Panel "Technology use in social interaction: enabling vs. constraining participation", 27 June — 2 July, Winterthur, Switzerland (online).
Brassac C., Fixmer P., Mondada L., Vinck D. (2008) Interweaving Objects, Gestures, and Talk in Context. Mind, Culture, and Activity, 15(3): 208-233.
Caronia L., Cooren F. (2014) Decentering our analytical position: The dialogicity of things. Discourse & Communication, 8(1): 41-61.
Caronia L., Mortari L. (2015) The agency of things: how spaces and artefacts organize the moral order of an intensive care unit. Social Semiotics, 25(4): 401-422. Cetina K. K. (1997) Sociality with Objects. Theory, Culture & Society, 14(4): 1-30. Day D., Wagner J. (2014) Objects as tools for talk. M. Nevile, P. Haddington, T. Heinemann, M. Rauniomaa (eds.) Interacting with objects: Language, materiality, and social activity, Amsterdam, Philadelphia: John Benjamins Publishing Company. Erofeeva M. (2021) Achieving Intersubjectivity in Asymmetric Interaction. The Journal of Social Policy Studies, 19(4): 635-650.
Fox B. A., Heinemann T. (2015) The Alignment of Manual and Verbal Displays in Requests for the Repair of an Object. Research on Language and Social Interaction, 48(3): 342-362.
179
Sociology of Power Vol. 34
№ 3-4 (2022)
Gibson J. J. (1986) The ecological approach to visual perception. Hillsdale, NJ: Erlbaum. Goffman E. (1981) Forms of talk. University of Pennsylvania publications in conduct and communication, Philadelphia: University of Pennsylvania Press. Goode D. (1994) A World without Words: The Social Construction of Children Born Deaf and Blind, Philadelphia: Temple University Press.
Goodwin C. (1981) Conversational organization: Interaction between speakers and hearers. Language, thought, and culture, New York, London: Academic Press. Goodwin C. (1995) Co-Constructing Meaning in Conversations With an Aphasie Man. Research on Language and Social Interaction, 28(3): 233-260.
Goodwin C. (2000) Action and embodiment within situated human interaction. Journal of Pragmatics, 32(10): 1489-1522.
Goodwin C. (2018) Co-operative action. Learning in doing, Cambridge: Cambridge University Press.
Helping Hands mission statement (n.d). Retrieved from. https://docs.google.com/ document/d/1KFTiPRlER_Lf0albqfHD0WGqsl9aoyY2DGzeoqz5zD0/edit Hutchby I. (2001) Conversation and technology: From the telephone to the Internet, Cambridge: Polity.
Kendon A. (2009) Conducting interaction: Patterns of behavior in focused encounters 180 (Transf. to digital printing). Studies in interactional sociolinguistics. Vol. 7. Cambridge, New York: Cambridge Univ. Press.
Klowait N. O. (2019) Interactionism in the age of ubiquitous telecommunication. Information, Communication & Society, 22(5): 605-621.
Cetina K. K. (2009) The Synthetic Situation: Interactionism for a Global World. Symbolic Interaction, 32: 61-87.
Latour B. (1996) On Interobjectivity. Mind, Culture, and Activity, 3(4): 228-245.
Latour B. (1994) On technical mediation. Common Knowledge, 3(2): 29-64.
Latour B. (2016) How Better to Register the Agency of Things. M. Matheson (eds.) The
Tanner lectures on human values, Salt Lake City, Utah: University of Utah Press: 79-117.
Latour B. (1993) We have never been modern, Cambridge, Mass.: Harvard University
Press.
Licoppe C., Luff P. K., Heath C., Kuzuoka H., Yamashita N., Tuncer S. (2017) Showing Objects. G. Mark, S. Fussell, C. Lampe, m. Schraefel, J P. Hourcade, C. Appert, D. Wig-dor (eds.) Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, New York, USA: ACM: 5295-5306.
Lindstrom J. K., Norrby C., Wide C., Nilsson J. (2017) Intersubjectivity at the counter: Artefacts and multimodal interaction in theatre box office encounters. Journal of Pragmatics, 108: 81-97.
Luff P., Heath C., Kuzuoka H., Hindmarsh J., Yamazak, K., Oyama S. (2003) Fractured Ecologies: Creating Environments for Collaboration. Human-Computer Interaction, 18(1-2): 51-84.
Mondada L. (2016) Challenges of multimodality: Language and the body in social interaction. Journal of Sociolinguistics, 20(3): 336-366.
Социология власти Том 34 № 3-4 (2022)
Mondada L. (2019) Contemporary issues in conversation analysis: Embodiment and materiality, multimodality and multisensoriality in social interaction. Journal of Pragmatics, 145: 47-62.
Mondada L. (2001) Conventions for multimodal transcription. https://www.lorenzamon-dada.net/multimodal-transcription
Nevile M. (2015) The Embodied Turn in Research on Language and Social Interaction. Research on Language and Social Interaction, 48(2): 121-151.
Nevile M., Haddington P., Heinemann T., Rauniomaa M. (2014) Interacting with objects: Language, materiality, and social activity, Amsterdam, Philadelphia: John Benjamins Publishing Company.
Pels D., Hetherington K., Vandenberghe F. (2002) The Status of the Object. Theory, Culture & Society, 19(5-6): 1-21.
Pinch T. J., Bijker W. E. (1984) The Social Construction of Facts and Artefacts: Or How the Sociology of Science and the Sociology of Technology Might Benefit Each Other. Social Studies of Science, 14: 399-441.
Schegloff E. A. (2007) Sequence Organization in Interaction, Cambridge: Cambridge University Press.
Seuren L. M., Wherton J., Greenhalgh T., Shaw S. E. (2021) Whose turn is it anyway? Latency and the organization of turn-taking in video-mediated interaction. Journal of Pragmatics, 172: 63-78.
181
Рекомендация для цитирования:
Ерофеева М. А., Кловайт Н., Забабурин Д. Р. (2022) Как говорить без слов: переосмысляя материальность, агентность и коммуникативную компетентность в виртуальной реальности. Социология власти, 34 (3-4): 156-181.
For citations:
Erofeeva M. A., Klowait N., Zababurin D. R. (2022) How to Speak Silently — Rethinking Materiality, Agency, and Communicative Competence in Virtual Reality. Sociology of Power, 34 (3-4): 156-181.
Поступила в редакцию: 15.11.2022; принята в печать: 19.12.2022 Received: 15.11.2022; Accepted for publication: 19.12.2022
Sociology of Power Vol. 34
№ 3-4 (2022)
