CC BY
15
Вестник Томского государственного педагогического университета. 2023. Вып. 1 (225). С. 9-18.
Tomsk State Pedagogical University Bulletin. 2023, vol. 1 (225), pp. 9-18.
ТЕОРЕТИЧЕСКАЯ И ПРИКЛАДНАЯ ЛИНГВИСТИКА
УДК 81'271.1-028.16+81'221.2 https://doi.org/10.23951/1609-624X-2023-1-9-18
МУЛЬТИМОДАЛЬНЫЕ ПАТТЕРНЫ КОМПЕНСАЦИИ РЕЧЕВЫХ СБОЕВ (НА МАТЕРИАЛЕ СТУДЕНЧЕСКОГО ДИАЛОГИЧЕСКОГО ДИСКУРСА)
Софья Вячеславовна Ухоботова
Сибирский федеральный университет, Красноярск, Россия, ukhobotova.sofya25@gmail.com
Аннотация
Речь, являясь многоаспектным явлением, не теряет своей актуальности в лингвистических исследованиях. Известно, что вербальная коммуникация появилась эволюционно позднее невербальной формы, тем не менее мультимодальный подход к моделированию языкового общения на базе спонтанного диалога только начинает развиваться в отечественной лингвистике.
Целью статьи являются предоставление данных о соотношении вербального и невербального компонентов в моменты затруднений развертывания устного спонтанного дискурса между двумя коммуникантами и их последующая систематизация в виде основных мультимодальных паттернов.
Материалом исследования послужили 16 видеофрагментов спонтанных диалогов носителей русского языка, общий хронометраж которых составил 90 минут. Анализируемый видеоматериал относится к студенческому спонтанному диалогическому дискурсу. Темы диалогических выступлений условно можно разделить на два блока - общение друзей/коллег и общение между клиентом и обслуживающим персоналом. Каждый видеофрагмент проаннотирован в программе ELAN v. 6.2. Представленные результаты основаны на общелингвистических описательном и сравнительно-сопоставительном методах, а также методе анализа когнитивного события. При описании когнитивного события и приведении статистических данных представлены основные мультимодальные паттерны, характеризующиеся наиболее частотными видами речевых сбоев и воспроизводимым набором невербальной реакции на их образование.
Настоящее исследование строится на идее жестовой воспроизводимости. В результате анализа выявлены основные типы речевых сбоев, разделенных на пять блоков. Каждый из блоков сопровождают основные повторяющиеся мультимодальные паттерны, реализуемые в разных каналах, - мануальный, окуломоторный и целографический. Количество речевых сбоев, регистрируемых на внешнем уровне, прямо зависит от темы и не всегда от уровня компетенции говорящих, так как все диалоги являются импровизацией студентов, имеющих пресуппозиции относительно развертывания дискурса в зависимости от заданной роли.
Речевые сбои и принципы их компенсации в разных мультимодальных каналах зависят как от внутренних (когнитивных), так и от внешних факторов (перекрестная речь, перебивания), которые представляют взаимопроникающую неделимую систему.
Ключевые слова: мультимодальный паттерн, речевой сбой, мануальные жесты, окуломоторный канал, целографический канал, когнитивное событие, перекрестная речь
Для цитирования: Ухоботова С. В. Мультимодальные паттерны компенсации речевых сбоев (на материале студенческого диалогического дискурса) // Вестник Томского государственного педагогического университета. 2023. Вып. 1 (225). С. 9-18. https://doi.org/10.23951/1609-624X-2023-1-9-18
© С. В. Ухоботова, 2023
THEORETICAL AND APPLIED LINGUISTICS
MULTIMODAL PATTERNS OF SPEECH DISFLUENCIES COMPENSATORS (BASED ON STUDENT DIALOGIC DISCOURSE)
Sof'ya V. Ukhobotova
Siberian Federal University, Krasnoyarsk, Russian Federation, ukhobotova.sofya25@gmail.com
Abstract
Speech as a multidimensional phenomenon still remains relevant in linguistics studies. It is known that verbal communication evolved later than non-verbal one, however, a multimodal approach to language communication modeling based on spontaneous dialogues is only gaining momentum in Russian linguistics studies.
The aim of the article is to provide data on principles of verbal and non-verbal correlation at times of difficulty during the development of spoken discourse between two speakers, as well as to systematize them in the most frequent multimodal patterns.
The material of the article is 16 video clips of spontaneous dialogues of Russian native speakers, the total timing is 1.5 hours. The annotated video materials are students' spontaneous dialogic discourse. The topics of dialogues can be divided into two groups - communication between friends/colleagues and communication between the client and service staff. Each video clip is annotated in ELAN v.6.2. The presented results are based on general linguistic methods of description and comparison, as well as a method of analyzing a cognitive event. Analyzing cognitive events and providing statistics on the subject, we describe the main multimodal patterns, which have been classified by the frequent nature of some speech disfluencies and non-verbal response to them.
Our study is based on the gestural repetition concept. As a result, the most common speech disfluencies have been identified and divided into five large blocks. Each of the blocks is accompanied by the main multimodal patterns, implemented in different channels - manual channel, gaze channel and cephalic channel. The number of speech disfluencies recorded at the external level directly depends on the topic and not always on the level of competence of the speakers, since all dialogues are improvised by students who only have presuppositions regarding the deployment of discourse depending on the given role.
Speech disfluencies and the principles of their compensation in different multimodal channels depend on both internal (cognitive) and external factors (overlapping and interruptions), which represent an interpenetrating indivisible system.
Keywords: multimodal pattern, speech disfluency, manual channel, gaze channel, cephalic channel, cognitive event, overlapping
For citation: Ukhobotova S. V. Mul'timodal'nyye patterny kompensatsii rechevykh sboyev (na materiale studentcheskogo dialogicheskogo diskursa) [Multimodal Patterns of Speech Disfluencies Compensators (Based on Student Dialogic Discourse)]. Vestnik Tomskogo gosudarstvennogo pedagogicheskogo universiteta - Tomsk State Pedagogical University Bulletin, 2023, vol. 1 (225), pp. 9-18 (in Russ.). https://doi.org/10.23951/1609-624X-2023-1-9-18
Введение
Еще в XVII в. известный шотландский ученый Д. Непер писал: «Если язык был дан человеку, чтобы скрывать свои мысли, то роль жестов, напротив, состоит в их раскрытии» [1, с. 4]. Невербальная коммуникация как несловесная форма человеческого взаимодействия стала предметом исследований антропологов, социологов, психологов и культурологов только к концу XX в. Ученые на основе полевых и лабораторных исследований стали описывать основные, часто воспроизводимые жесты и создавать специализированные словари.
Лингвисты, прежде сосредоточившись исключительно на анализе письменных текстов, постепенно начинают расширять спектр своих научных интересов, в том числе исследуя устный дискурс.
Данный вид дискурса предполагает анализ как вербального, так и невербального аспектов коммуникации. Традиционно устную коммуникацию можно представить в двух основных формах - подготовленная и неподготовленная (спонтанная) речь. Ученые установили, что, даже будучи подготовленной, речь выступающего тем не менее содержит правки, паузы, колебания, хотя их количество значительно ниже, чем в неподготовленной [2, с. 2]. Интеллектуальная деятельность требует больших когнитивных затрат на поиск и вербализацию необходимых языковых единиц, вследствие чего нередко появляются ситуации потери беглости речи (speech disfluencies), или, как принято называть в отечественной лингвистической традиции, речевые сбои.
Идея о выявлении когнитивных принципов ре-чепорождения и речепонимания через анализ речевых сбоев считается одной из ведущих в психолингвистических исследованиях конца XX - начала XXI в. (см. работы Т. В. Ахутиной [3], Г. Делла [4], Ю. В. Красикова [5], В. Левелта [6], А. А. Леонтьева [7], А. Постма [8], Ф. Г. Эйслер [9] и т. д.).
Помимо речевых сбоев как основного аспекта устной формы коммуникации лингвистами также сравнительно недавно стал рассматриваться невербальный компонент. Известный британский ученый и специалист по жестам А. Кендон был в числе первых, кто говорил о том, что «жестикуляция настолько взаимосвязана с речью», что они «тем самым должны рассматриваться как два аспекта одного процесса» [10, с. 6].
По причине всеобъемлемости предмета исследования на сегодняшний день существует большое количество определений, каждое из которых привносит необходимые для конкретной работы характеристики. В широком смысле под жестом понимается визуально считываемое движение человеческого тела или таких его частей, как движение рук (мануальный канал), головы (целографический канал), корпуса, направление взгляда (окуломотор-ный канал) и пр.
На данный момент проведен целый ряд лингвистических исследований, большинство из которых сосредоточено на изучении соотношения следующих речеповеденческих характеристик: работа о параллельности в направлении движения руки и движения тона [11], о связи фазы маха жеста с подъемами интонации [12], о движениях головы и их связи с просодикой [13], о корреляции указательных жестов с просодическими средствами в кантонском диалекте [14] и т. д.
Невозможно также оставить без внимания проект отечественных ученых «Язык как он есть: русский мультимодальный дискурс», где на материале корпуса «Рассказы и разговоры о грушах» исследуются разные аспекты мультимодальной коммуникации, в том числе уделяется внимание анализу речевых сбоев в устном русском монологическом дискурсе [15].
В данной статье рассматривается взаимосвязь жестов и одного из основополагающих принципов развертывания устной речи - речевых сбоев. Же-стовое сопровождение речи не вызывает сомнений, однако вопрос о степени интенсивности жестов в моменты потери беглости речи и об основных характеристиках речевых сбоев и сопутствующих им жестов в спонтанном диалогическом дискурсе по-прежнему является предметом современных научных исследований. В связи с чем целью статьи является описание принципов соотношения вербального и невербального компонентов в моменты ре-
чевых сбоев и их систематизация в виде основных мультимодальных паттернов.
Самим понятием «паттерн» впервые начали активно оперировать в психотерапевтической практике, основанной в том числе на теории межличностной коммуникации П. Вацлавика, Дж. Бивина и Д. Джексона [16]. Под паттерном в широком смысле стали понимать категорию, на основе которой можно проследить формирование и развитие поведения отдельного человека на базе усвоенных им в процессе обучения стереотипных действий. И. В. Леонов подчеркивает, что паттерн представляет собой основной внутренний принцип познавательного гештальта, «согласно которому актуализированные в сознании субъекта идеи организуются в когнитивную целостность» [17, с. 29].
Под мультимодальным паттерном в данной статье понимается устойчивый и воспроизводимый комплекс вербально-поведенческих реакций, регистрируемых на уровне отдельных каналов (модусов) коммуникации.
В следующих разделах рассмотрим примеры, демонстрирующие прямую взаимосвязь интенсивности и последовательности задействованных средств невербального уровня с типом речевых сбоев.
Материал и методы
Описание и систематизация мультимодальных паттернов были проведены на основе собранного видеоматериала спонтанного диалогического дискурса, участниками которого являлись студенты Сибирского федерального университета (г. Красноярск). Общее время отснятого материала на данный момент составляет 90 мин (16 видеофайлов). Тематику диалогического взаимодействия условно можно разделить на два блока: 1) обсуждение современных проблем между друзьями/коллегами (жизнь до и после первой волны коронавируса, рекомендации по покупке автомобиля, организация корпоратива в компании - восемь видеофрагментов) и 2) взаимодействие клиента и обслуживающего персонала (консультация в турагентстве, решение проблемы неисправного оборудования -восемь видеофрагментов). В ходе анализа собранного материала и его последующей разметки в программе ELAN v.6.2 были выявлены закономерности поведения коммуникантов в спонтанной диалогической речи, причем, как и предполагалось, в обоих тематических блоках наблюдаются свои отличительные характеристики вербального и невербального поведения коммуникантов.
Данные об основных мультимодальных паттернах в моменты речевых сбоев получены на основе общелингвистических описательного и сравнительно-сопоставительного методов, а также метода
анализа когнитивного события, который успешно апробирован в исследовании мультимодального восприятия при работе синхронных переводчиков [18] и изучении механизма лингвокреативных решений в локализационных проектах [19].
Мультимодальные паттерны тесно связаны с когнитивными, т. е. ментальными способностями индивида. «Когниция» как основополагающий термин когнитивистики охватывает мыслительные процессы и их результаты - знания, которые способствуют приспособлению индивида к окружающей среде и его выживанию [20]. Когнитивное событие рассматривается нами как отрезок речи активного коммуниканта в совокупности с невербальным компонентом всех вовлеченных в коммуникативный акт участников.
Результаты и обсуждение
Речевые сбои как основополагающий речемы-слительный механизм могут возникать по внешним и внутренним причинам. К внешним условиям нарушения беглости речи в том числе можно отнести перекрестную речь (overlapping), которая предполагает вступление слушающего в вербальный контакт, приводящий к смене/попытке смены ведущего участника коммуникации. В широком смысле перекрестную речь можно разделить на две группы - поддакивание (backchannel) и инициативу смены ролей (turn requests). В рамках настоящего исследования нам прежде всего интересно поведение коммуникантов во время инициативы смены ролей, которое, как было выявлено в предыдущих исследованиях, в отличие от слов-поддакиваний влияет на общее количество речевых сбоев [21].
Смену ролей в свою очередь можно представить очевидной инициативой смены (turn request) и вовлеченной сменой (anticipated turn taking). Принципиальная разница вовлеченной смены от первой заключается в том, что она наступает только в момент считывания пассивным говорящим признаков завершения речевого акта ведущим коммуникантом (к примеру, нисходящая интонация, абсолютная пауза) [21, с. 2].
Передача коммуникативного хода от одного коммуниканта к другому в вопросно-ответной форме не является фокусом статьи, так как в большинстве случаев не приводит к возникновению речевых сбоев. На записанном материале удалось установить, что инициатива смены и вовлеченная смена предполагают возникновение речевых сбоев у пассивного коммуниканта, претендующего на роль ведущего. Согласно статистическим данным (табл. 1), речевые сбои внешнего характера свойственны преимущественно для блока диалогов между кол-
легами/друзьями, так как именно там чаще наблюдаются ситуации перекрестной речи.
Таблица 1
Соотношение речевых сбоев внешнего уровня и типов перекрестной речи
Инициа- Вовле- Речевые Речевые
Блок тива ченная сбои прерыва- сбои пре-
смены смена ющего рванного
Диалоги
с друзьями/ 31 38 28 9
коллегами
Диалоги
с клиентами и продавцами 10 3 4 1
Второй блок тем, связанных с общением между клиентами и продавцами, демонстрирует меньшее количество речевых сбоев. Предполагаем, это может быть связано со стремлением персонала к кооперативному общению как к упорядоченному и комбинированному типу взаимодействия. В блоке 2 инициатива смены значительно преобладает, но сам показатель не является высоким. Сценарии инициативы прерывания реплики активного говорящего в анализируемых нами когнитивных событиях связаны с неразрешимостью конфликта либо выражением недовольства покупателя ответом персонала.
Примечательно, что речевые сбои, вызванные внешними условиями, встречаются у пассивного коммуниканта, прерывающего/стремящегося прервать реплику активного. Практически все речевые сбои в таком случае являются примерами хезита-ций (как правило, это абсолютная пауза и заполненная пауза).
Внутренние условия возникновения речевых сбоев можно условно разделить на два больших класса. К первому относятся перерывы, именуемые паузами колебаний, паузами хезитаций или просто хезитациями. Хезитации могут быть воплощены в абсолютных паузах, заполненных паузах, удлинениях отдельных звуков, а также в лексических маркерах (т. е. маркерах препаративной подстановки). Второй класс внутренних речевых сбоев в отличие от первого подразумевает перестроения или изменения речевых отрезков и включает самоисправления [2, с. 3].
При речевых сбоях человек стремится показать его сохраняющуюся вовлеченность в процесс говорения, так что заминки, означающие затухание речевого акта, начинают компенсироваться невербальными средствами, указывающими на активность говорящего.
Приведем некоторые примеры речевых сбоев и их компенсации на невербальном уровне.
I. Маркеры препаративной подстановки (placeholders) Диалог № 8
А: хотя многие закрылись, конечно... Жалко (кивает головой, прижимает губы, отводит взгляд в сторону)
Рис. 1
А: у нас была= эта. (0,5) (указывает большим пальцем на расположение кофейни)
Рис. 2
А: ...как ее. (0,9) (закрывает глаза, поднимает глаза в потолок, вращает кистями)
Рис. 3-4
А: э-э... (0,2) испанская кофейня. (0,3) с центра (смотрит на собеседника прямо)
Б: м-м... (0,4) не слышала (мотает головой)
Рис. 6. Соотношение восполнения речевого сбоя невербальными средствами. На оси абсцисс отмечен временной отрезок когнитивного события в секундах, на оси ординат - приняты абсолютные величины (развертывание речи без запинок - 1, абсолютные паузы - 0; прямой взгляд на собеседника - 0, отвести взгляд в сторону - 1; фаза покоя - 0, ритмичные жесты руками - 1; вертикальное положение головы - 0, наклоны головы - 1)
На рис. 6 видно, что стремление ведущим коммуникантом не потерять коммуникативный ход и не оставить реплику незавершенной реализуется на невербальном уровне в пропорциональном соотношении. Контур невербального компонента выравнивается только при вербализации уместного, по мнению говорящего, варианта - испанская кофейня (см. рис. 5). Вращательные движения руками в этот момент затухают, и говорящий восстанавливает свое положение наиболее частотным для него жестом (потирает пальцы руки, вращает кольцо на руке). Примечательно, что пассивный говорящий все время выжидал, когда активному придет на ум нужный вариант. Взгляд коммуниканта Б направлен строго на коммуниканта А, жестикуляция первого в рассматриваемых каналах приостановлена, что может свидетельствовать о выжидательной тактике по причине отсутствия общих пресуппозиций со своим собеседником. II. Заполненная пауза
Такой тип хезитации в анализируемом нами материале является самым частотным (порядка 95 % диалогов содержат от 20 и более ситуаций подобного речевого сбоя). Заполненные паузы предполагают долексическое оформление новой реплики (м-м-м или э-э-э), а также лексические маркеры речевого сбоя (ну, ой, это самое) [2, с. 8]. Диалог № 6
Б: я могу-у прийти. (0,2) попо-озже/(бараба-нит кончиками пальцев рук, смотрит на коммуниканта А)
Рис. 5
Рис. 7
Рис. 8
А: да, конечно/(кивает головой, смотрит на коммуниканта Б)
... (0,5) э-э-э... (0,3) ну... (0,7) (учащенно моргает, отводит в сторону взгляд, опускает глаза, осматривает свои руки, пожимает плечами, разводит
руками)
Рис. 9-11
Б: ну получается/тогда-а мне принести чек/гарантию... (0,2)/(смотрит на жесты коммуниканта А, уводит руки в сторону, перечисляет, загибая пальцы)
Рис. 13
А: и сам. (0,1) ноутбук/(протягивает кисть к собеседнику, кивает)
Рис. 14
Б: ... (0,2) ноутбук (поворачивается к коммуниканту А]_
Рис. 12
Рис. 15
В примере выше (рис. 7-15) попытка компенсации запинки речевого хода со стороны невербального компонента наблюдается в учащенном моргании коммуниканта А. Как видно на рис. 11, взгляд коммуниканта Б в этот момент был направлен на руки собеседника. Пассивность невербалики со стороны коммуниканта А, в конце сопровождающаяся жестами пожимания плечами и разведения рук (рис. 11), была расценена вторым участником как условная возможность передачи слова. Абсолютная пауза при перечислении предметов коммуникантом Б в конце (рис. 14) также закончилась инициативой смены коммуникативного хода. Данный факт может говорить о стремлении коммуниканта А восполнить потерянную ранее вовлеченность в дискуссию.
Отметим, что в материале исследования заполненная пауза даже при отсутствии резких ритмичных телодвижений расценивается пассивным коммуникантом как попытка удержания коммуникативного хода активным, и частота инициативности смены ролей снижается.
III. Абсолютная пауза
Этот тип речевых сбоев должен означать прекращение/завершение вербализации речевого отрезка. За абсолютную паузу не принимаются слу-
чаи вовлеченной смены при завершении смысловой части реплики одним из коммуникантов. Абсолютная пауза рассматривается нами исключительно как нарушение развертывания устного спонтанного дискурса, возникающая преимущественно при обдумывании ответа или потери мысли говорящим. При аннотировании абсолютная пауза обозначается тремя точками с приведением в скобках времени в секундах.
Диалог № 14 Невербальные средства: Б: ... (0,6) отводит взгляд, смотрит
вниз, разводит руками в сторону
А: есть какие-нибудь предложения/ Б: [interrupt] я не знаю/ ну... (0,6) предложения э-э... (0,2) можно поспрашивать у других/
... (0,4) смотрит на собеседника,
моргает, двигает корпус к собеседнику
А: нет/
нам нужно быстро
Зарегистрирован следующий мультимодальный паттерн - абсолютные паузы, сопровождающиеся пассивной жестикуляцией, во всех описанных когнитивных событиях означают смену ролей активного и пассивного говорящего. IV. Самокоррекции
В отечественной лингвистике предложено выделять два основных режима самокоррекций - собственно коррекция (онлайн-коррекция) и ретроспективная коррекция (офлайн-коррекция), или редактирование [2, с. 3-4].
В онлайн-режиме самоисправление говорящим происходит непосредственно в момент обнаружения проблемы. (1)
Диалог № 2 Невербальные средства:
А:... (0,2) я же вам смотрит на собеседника говорю/
хожу==/ отводит взгляд в сторону,
сходила/в сервис- прикрывает глаза, корпус тела ный центр слегка отводит в сторону
(2)
Диалог № 1 Невербальные средства:
А: включить они/ двигает корпус к собеседнику, его не можу= прищуривается не= = м-м... (0,3) мотает головой, закрывает глаза, машет рукой перед лицом прошу прощения/ кивает, улыбается не могут/
Ретроспективная коррекция предполагает редактирование постфактум, т. е. работу с уже верба-лизированным отрезком. Чаще всего корректиров-
ки происходят в плане уточнения или исправления определенных фактов.
Диалог № 8 Невербальные средства:
А: а-а... (0,3) человек смотрит на собеседника сидит/из Индии/
и вообще/нифига/не рубит воздух рукой, смот-слышит/ рит на собеседника
то есть... (0,2) нет/ отводит взгляд в сторону слышно/его машет руками
но иногда... (0,1) он отводит ладонь в сторону просто пропадает/
По нашим наблюдениям, активный говорящий во время самокоррекций обоих типов закрывает/ прикрывает глаза, отводит взгляд в сторону и мотает головой. При ретроспективной коррекции отмечается увеличение ритмики и интенсивности мануальных жестов. Говорящий признает ошибку и старается немедленно «отменить», «перезаписать» прежде вербализованный кусок. В момент такой «отмены» он машет/трясет руками или рассекает воздух ритмичными движениями ладони (ладоней). Собственно коррекция компенсируется в большей степени на окуломоторном и целографическом уровнях, а присутствие компенсаторов со стороны мануального канала опционально и зависит от общей интенсивности жестикуляционного портрета говорящего. Их наличие может характеризоваться одиночными непродолжительными жестами, такими, как взмах рукой или кистью. Также зарегистрированы случаи продолжения жеста, аккомпанирующего предыдущую реплику, например сложенные в замок руки, скрещенные внизу руки и т. д.
V. Удлинение отдельных звуков
Этот тип речевых сбоев характеризуется пассивностью мануального канала, однако связан с вовлечением окуломоторного и цефалического каналов. Поведение человека можно привести к следующей закономерности: запрокидывает голову, водит глазами из стороны в сторону.
Диалог № 4 Невербальные средства:
А : к нам ранее н-н== ни разу /
не приходили с такой/ проблемой
но-о ...(0,3), конечно, запрокидывает голову, во-мы по=/ дит глазами из стороны в
сторону
постараемся решить эту проблему
Таким образом, проанализировав все зарегистрированные случаи речевых сбоев, мы вывели процентное соотношение их компенсации в трех рассматриваемых каналах - мануальном, окуломо-торном и целографическом (табл. 2). Невербальная часть мультимодального паттерна, складываемая в определенные жестовые цепочки, полностью или частично воспроизводится участниками эксперимента и зависит от типа речевого сбоя (табл. 3).
Таблица 2
Частотность компенсации речевых сбоев в разных мультимодальных каналах
Мультимодальный паттерн Мануальный канал Окуломоторный канал Целографический канал
Маркеры препаративной подстановки 90% 80% 90%
Заполненная пауза 2% 96% 3%
Абсолютная пауза 4% 98% 8%
Самокоррекции собственно коррекция 0% 97% 100%
ретроспективная коррекция 87%
Удлинение отдельных звуков 0% 95% 98%
Таблица 3
Основные мультимодальные паттерны компенсации речевых сбоев в спонтанной
диалогической речи
Мультимодальный паттерн Мануальный канал Окуломоторный канал Целографический канал
Маркеры препаративной подстановки Задавать рукой направление; махать руками; вращать кистями Прикрыть глаза; поднять глаза в потолок; отвести взгляд в сторону Наклонить голову набок; запрокинуть голову; двинуть головой назад
Заполненная пауза Движение рук(и) в прежде заданном жесте, например, двинуть руки, сложенные в замок, к собеседнику или в сторону; продолжение жеста рук, аккомпанирующего предыдущую фразу, например: скрестить руки внизу; сложить руки в замок; скрестить руки на груди потирать руки; обхватить ладонью кулак; потирать горло Поднять глаза в потолок; отвести взгляд в сторону; водить глазами из стороны в сторону Запрокинуть голову; повести головой вбок (опционально)
Абсолютная пауза Поправить прическу; поправить одежду; продолжение жеста рук, аккомпанирующего предыдущую фразу, например: потирать руки; протянуть руку к собеседнику; ритмичные удары кулака по ладони; обхватить ладонью кулак Посмотреть на собеседника; потупиться; опустить глаза Опустить голову (опционально)
Самокоррекции собственно коррекция продолжение жеста рук, аккомпанирующего предыдущую фразу Закатывать глаза; прикрывать глаза; отводить взгляд в сторону Мотать головой; трясти головой; кивать; повести головой вбок
ретро спективная коррекция трясти руками; махать руками; рассекать воздух ритмичными движениями ладони
Удлинение отдельных звуков Отсуствие жестов либо продолжение жеста рук, аккомпанирующего предыдущую фразу Водить глазами из стороны в сторону Запрокинуть голову; вытягивать подбородок
Рассмотренные выше типы речевых сбоев не держек вербального уровня служат мануальный
ограничиваются только внутренним уровнем орга- (жесты рук), окуломоторный (взгляд) и целографи-
низации, но тесно связаны с внешними обстоя- ческий (жесты головы). В зависимости от типа ре-
тельствами, реакциями собеседников. Все вербаль- чевых сбоев были зафиксированы особо актуали-
ные и невербальные компоненты в совокупности зированные жестовые цепочки. Возможность выде-
образуют сложный комплекс, характеризующий лить подобные паттерны также является подтвер-
человеческое поведение при диалогическом взаи- ждением высказанной учеными идеи о воспроизво-
модействии. димости жестов. Стратегии компенсации речевых
сбоев отличаются проявлением ритмичности и ин-Заключение тенсивности жестов в разных каналах (модусах) Посредством проаннотированной эмпириче- коммуникации. Установлено, что при отсутствии ской базы выявлены некоторые закономерности намерения продолжать вербализацию начатого от-устройства вербального и невербального поведе- резка речи наблюдается пассивность вербального и ния коммуникантов в процессе нарушения бегло- невербального компонентов и, как следствие, прости речи. Основными каналами компенсации за- исходит смена коммуникативного хода.
Список источников
1. Napier J. Hands. US: Princeton University Press, 1993. 200 p.
2. Подлесская В. И., Кирбик А. А. Самоисправления говорящего и другие типы речевых сбоев как объект аннотирования в корпусах устной речи // Научно-техническая информация. Серия 2: Информационные процессы и системы. 2007. № 2. С. 2-23.
3. Ахутина Т. В. Порождение речи. Нейролингвистический анализ синтаксиса. М.: Языки славянской культуры, 1989. 424 с.
4. Dell G. A Spreading-activation Theory of Retrieval in Sentence production // Psychological Review. 1986. Vol. 93. P. 283-321.
5. Красиков Ю. В. Теория речевых ошибок (на материале ошибок наборщика). М.: Наука, 1980. 124 с.
6. Levelt W. J. M. Monitoring and Self-repair in Speech // Cognition. 1983. Vol. 14. Р. 41-104.
7. Леонтьев А. А. Психолингвистические единицы и порождение речевого высказывания. М.: Наука, 2003. 250 с.
8. Postma A. Detection of Errors during Speech Production: A Review of Speech Monitoring Models // Cognition. 2000. Vol. 77. P. 97-131.
9. Eisler F. G. Psycholinguistics: Experiments in Spontaneous Speech. Academic Press Inc., 1968. 169 p.
10. Kendon A. Origins of Modern Gesture Studies // Gesture and the Dynamic Dimension of Language / eds. S. Duncan, J. Cassell, E. T. Levy. 2007. P. 1-11.
11. Calbris G. Elements of Meaning in Gesture. Amsterdam: Philadelphia (PA), 2011. 378 p.
12. Loehr D. P. Temporal, Structural and Pragmatic Synchrony between Intonation and Gesture // Laboratory Phonology. 2012. Vol. 3 (1). P. 71-89.
13. Graf H. P. et al. Visual prosody: Facial Movements Accompanying Speech // Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition. 2002. P. 396-401.
14. Fung H., Mok P. Temporal Coordination between Focus Prosody and Pointing Gestures in Cantonese // Journal of Phonetics, 2018. Vol. 71. P. 113-125.
15. Korotaev N. A. et al. Disfluencies in Russian Spoken Monologues: A Distributional Analysis // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference «Dialogue 2020». 2020. P. 454-466.
16. Watzlawick P., Beavin J. H., Jackson Don D. Pragmatics of Human Communication. A Study of Interactional Patterns, Pathologies and Paradoxes. London: Faber and Faber, 1968. 296 p.
17. Леонов И. В. Паттерны культурно-исторического процесса: парадигмально-тематический анализ: автореф. дис. ... д-ра культурологии. СПб., 2015. 41 с.
18. Chistova E. V. Interactivity of simultaneous interpreters as actors of a cognitive event // J. Sib. Fed. Univ. Humanit. Soc. Sci. 2020. Vol. 13 (3). P. 375-384.
19. Колмогорова А. В., Чистова Е. В. Когнитивный механизм порождения креативных решений в переводческой деятельности // Вестник Волгоградского государственного университета. Серия 2: Языкознание. 2020. № 3. С. 59-71.
20. Колмогорова А. В. Languaging: язык в точке пересечения коммуникации и когниции // Когнитивные исследования языка. 2017. № 29. С. 95-103.
21. Adda G. et al. Speech Overlap and Interplay with Disfluencies in Political Interviews. 2007. P. 41-46.
References
1. Napier J. Hands. US.: Princeton University Press, 1993. 200 p.
2. Podlesskaya V. I., Kirbik A.A. Samoispravleniya govoryashchego i drugiye tipy rechevykh sboyev kak ob''yekt annotirovaniya v korpusakh ustnoy rechi [Speaker's self-corrections and other types of speech disfluencies as an object of annotation in spoken
corpora]. Nauchno-tekhnicheskaya informatsiya. Seriya 2: Informatsionnyye protsessy i sistemy - Scientific and technical information. Series 2: Information Processes and Systems, 2007, no. 2, pp. 2-23 (in Russian).
3. Akhutina T. V. Porozhdeniye rechi. Neyrolingvisticheskiy analiz sintaksisa [Generation of speech. Neurolinguistic analysis of syntax]. Moscow, Yazyki Slavyanskoy kul'tury Publ., 1989. 424 p. (in Russian).
4. Dell G. A. Spreading-activation Theory of Retrieval in Sentence production. Psychological Review, 1986, vol. 93, pp. 283-321.
5. Krasikov Yu. V. Teoriya rechevykh oshibok (na materiale oshibok naborshchika) [Theory of speech errors (on the typesetter's errors material)]. Moscow, Nauka Publ., 1980. 124 p. (in Russian).
6. Levelt W. J. M. Monitoring and Self-repair in Speech. Cognition. 1983. Vol. 14. Р. 41-104.
7. Leont'ev A. A. Psikholingvisticheskiye edinitsy i porozhdeniye rechevogo vyskazyvaniya [Psycholinguistic units and the generation of speech utterance]. Moscow, Nauka Publ., 2003. 250 p. (in Russian).
8. Postma A. Detection of Errors during Speech Production: A Review of Speech Monitoring Models. Cognition, 2000, vol. 77, pp. 97-131.
9. Eisler F. G. Psycholinguistics: Experiments in Spontaneous Speech. Academic Press Inc., 1968. 169 p.
10. Kendon A. Origins of Modern Gesture Studies. Gesture and the Dynamic Dimension of Language. Eds. S. Duncan, J. Cassell, Elena T. Levy. 2007. Pp. 1-11.
11. Calbris G. Elements of Meaning in Gesture. Amsterdam; Philadelphia (PA), 2011. 378 p.
12. Loehr D. P. Temporal, Structural and Pragmatic Synchrony between Intonation and Gesture. Laboratory Phonology, 2012, vol. 3 (1), pp. 71-89.
13. Graf H. P. et al. Visual prosody: Facial Movements Accompanying Speech. Proceedings of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, 2002, pp. 396-401.
14. Fung H., Mok P. Temporal Coordination between Focus Prosody and Pointing Gestures in Cantonese. Journal of Phonetics, 2018, vol. 71, pp. 113-125.
15. Korotayev N. A. et al. Disfluencies in Russian Spoken Monologues: A Distributional Analysis. Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference "Dialogue 2020", 2020. Pp. 454-466.
16. Watzlawick P., Beavin J. H., Jackson Don D. Pragmatics of Human Communication. A Study of Interactional Patterns, Pathologies and Paradoxes. London, Faber and Faber, 1968. 296 p.
17. Leonov I. V. Patterny kul'turno-istoricheskogo protsessa: paradigmal'no-tematicheskiy analiz. Avtoref. dis. dokt. kul'turologii [Patterns of the cultural-historical process: paradigm-thematic analysis. Abstract of thesis. doc. cultural studies]. Saint Petersburg, 2015. 41 p. (in Russian).
18. Chistova E. V. Interactivity of simultaneous interpreters as actors of a cognitive event. J. Sib. Fed. Univ. Humanit. Soc. Sci., 2020, vol. 13 (3), pp. 375-384.
19. Kolmogorova A. V., Chistova E. V. Kognitivnyy mekhanizm porozhdeniya kreativnykh resheniy v perevodcheskoy deyatel'nosti [Cognitive Basis of Making Creative Decisions in Translation Activities]. Vestnik Volgogradskogo gosudarstvennogo universiteta - Science Journal of Volgograd State University, 2020, no. 3, pp. 59-71 (in Russian).
20. Kolmogorova A. V. Languaging: yazyk v tochke peresecheniya kommunikatsii i kognitsii [Languaging: Language at the intersection of communication and cognition]. Kognitivnyye issledovaniyayazyka - Cognitive Research Studies, 2017, no. 29, pp. 95-103 (in Russian).
21. Adda G. et al. Speech Overlap and Interplay with Disfluencies in Political Interviews, 2007. Pp. 41-46. Информация об авторе
Ухоботова С. В., магистрант, Сибирский федеральный университет (пр. Свободный, 82а, Красноярск, Россия, 660041). Information about the author
Ukhobotova S. V., undergraduate student, Siberian Federal University (pr. Svobodnyy, 82a, Krasnoyarsk, Russian Federation, 660041).
Статья поступила в редакцию 26.07.2022; принята к публикации 07.12.2022 The article was submitted 26.07.2022; accepted for publication 07.12.2022
