CC BY
257
© А.А. Петрова, 2008
УДК 81.27 ББК 81.001.6
МУЛЬТИМОДАЛЬНЫЕ АСПЕКТЫ ИССЛЕДОВАНИЯ ИНТЕРАКЦИИ
А.А. Петрова
Статья рассматривает необходимость введения в научный обиход понятия мультимодальной интеракции, которая представляет собой следующий этап развития метода конверзациональ-ного анализа коммуникации. Мультимодальная интеракция предполагает исследование уровней модальностей, а не ее видов.
Ключевые слова: мультимодальная интеракция, структура, видеоанализ, коммуникация.
Под термином и направлением исследования «мультимодальная коммуникация», активно развивающимся в западных лингвистических концепциях в последнее десятилетие [4; 7-9; 12; 14], понимается несколько иной теоретико-аналитический подход к трактовке процесса интеракции. Во многом этому способствовал более совершенный метод в сборе анализируемого материала, который подразумевает обязательное применение не только аудио-, но и видеосредств. Последние способны наглядно демонстрировать всю сложность процесса социального общения, ту, которая в повседневной жизни почти не ощущается, а принимается как само собой разумеющееся.
Практически до настоящего момента не существует общепринятого определения данного направления, есть только отдельные исследования и подразделения, занимающиеся его концептуально-теоретическим обоснованием, к таковым, например, относится Институт немецкого языка (IDS) г. Мангейма, и в частности его отделение прагматики. Тем не менее ощущение того, что обычная спонтанная диалогическая речь, будь то бытовая коммуникация или институциональный дискурс, не всегда придерживается приписываемых ей рамок очередности обмена мнением, обнаруживалось уже достаточно давно при иссле-
довании устных форм трансакций. Достаточно назвать отечественные исследования Саратовской лингвистической школы на материале русского языка под руководством проф.
О.Б. Сиротининой.
Западная лингвистика, в частности вышеупомянутый Институт немецкого языка [а сейчас подобное уже принимается и отечественными языковедами, в том числе и ког-нитологами (например, А.А. Кибриком)], относится к диалогической форме общения серьезно и специально для этого разрабатывает транскрипты аудио- и видеозаписей, почти точно передающие записанные диалогические и монологические высказывания информантов и наглядно демонстрирующие многочисленные «перекрытия - overlap» или нарушения очередности в диалоге, выражающиеся в том, что: 1) одновременно может говорить несколько коммуникантов, нарушая при этом минимальное диалогическое единство (далее -МДЕ) «вопрос - ответ»; 2) одновременно может осуществляться вербальная и невербальная коммуникация, например, один участник интеракции говорит, другой в это же время кинетически принимает участие в беседе, именно таким образом реагируя на реплики собеседника и совершая, таким образом, когнитивную обработку поступающей информации.
Отметим, что проблема сегментации устного дискурса и ее соотношения с когнитивной системой говорящего стала предметом обсуждения и в отечественной психолин-
гвистике и когнитологии. Группа ученых во главе с А.А. Кибриком полагает, что дискурс / устная речь порождается говорящим не в виде плавного потока, а в виде последовательности квантов, пульсаций, толчков, которые обозначаются как элементарные дискурсивные единицы, которые и организуются в более крупные иерархические объединения в соответствии с коммуникативными намерениями говорящих. Минимальный квант дискурса типично совпадает с предикацией, но выделяются случаи, когда элементарные дискурсивные единицы по объему менее одной предикации: вынесенный топик, парцелляция, разрыв, сильный фальстарт и т. д. [2, с. 107]. Так вот, в рамках проекта А.А. Кибрика также разрабатывается система транскрипции устного дискурса, которая позволяет регистрировать и восстанавливать главные динамические события, происходящие в когнитивной системе партнеров по коммуникации в процессе порождения интеракции.
Итак, обозначив проблему «интеракция -модальность - модальная интеракция», попытаемся представить теоретический обзор по данному направлению, взяв за основу изыскания Института немецкого языка г. Мангейма. R. Schmitt, который, собственно, и занимается разработкой концепта, представляет «мультимодальную коммуникацию» как процесс, нераздельно связанный с невербальными компонентами общения и, соответственно, состоящий из одновременного «содружества» многих модальностей, имеющих целью придать некое социальное значение конкретной ситуации. К таким модальностям относятся вербальность, просодия (фонация), ки-несика (мимика, жестика), проксемика (позы, положение коммуникантов относительно друг друга), при этом тело человека может быть и инструментом и одновременно центральным ресурсом всех указанных уровней модальностей [12, р. 31-34].
Модальность как функционально-семантическая категория выражает разные виды отношения высказывания к действительности, а также разные виды субъективной квалификации сообщаемого. Вообще же под модальностью понимается отношение, которое изначально присуще всем ее видам: субъективной, объективной и внутренней. Все три
типа модальности имеют различный вес в языковом высказывании. Однако во многих исследованиях (В.В. Виноградов, А.М. Пеш-ковский) подчеркивается условность противопоставления объективной и субъективной модальности. По мнению А.М. Пешковского, категория модальности выражает только одно отношение - говорящего к той связи, которая устанавливается им же между содержанием данного высказывания и действительностью, то есть «отношение к отношению». При таком подходе модальность изучается как комплексная и многоаспектная категория, активно взаимодействующая с целой системой других функционально-семантических категорий языка и тесно связанная с категориями прагматического уровня. С этих позиций в категории модальности усматривают отражение сложных взаимодействий между четырьмя факторами коммуникации: говорящим, собеседником, содержанием высказывания и действительностью [3, с. 301].
Итак, обращение к акту речения предполагает и обращение к моделям языковой способности. Именно диалог представляет собой пространство, в котором в наибольшей степени и наиболее естественным образом способны актуализироваться базисные для становления компонентов коммуникативной компетенции языковые категории: категории модальности и модуса. Признавая существование модально-центрической модели структуры коммуникативной компетенции, многие исследователи (В.В. Виноградов, В.В. Каза-ковская, А.В. Бондарко, Л.М. Михайлов,
О.Г. Почепцов, И.П. Сусов и др.) полагают, что модус и модальность - понятия не идентичные. Несмотря на то что отношения модуса и модальности построены на одинаковом принципе - ориентации на говорящего, эта ориентация оказывается разной: в сфере модуса она означает любое отношение говорящего к предмету речи, содержанию высказывания, собеседнику, форме речи, порядку, ходу мысли. Модальность же выражает только отношение говорящего к содержанию сообщаемого с точки зрения его реальности/нереальности. Применительно же к онтогенезу речи эти значения следует рассматривать еще и как своеобразное ядро процесса овладения ребенком начальными навыками диалога. Так, ос-
воение побудительных/констатирующих/вопросительных высказываний (ср. понятие «коммуникативная модальность»), происходящее в диалоге, опирается на объективно-модальные значения реальности/ирреальности. Освоение средств выражения согласия/несогласия и первичных способов обнаружения точки зрения в высказывании опирается на модусные, и в том числе на субъективно-модальные, значения [1, с. 134].
Каждый язык обладает целой системой конвенциональных, то есть регулярно используемых, языковых средств для передачи типичных модальных оценок. Это и специальная лексика (модальные слова и модальные частицы, модальные глаголы в их вторичном значении), полусвязанные (идеоматизирован-ные) синтаксические конструкции, и отдельные морфологические формы, такие как, например, футурум I и II в современном немецком языке. Функциональные возможности модусов для выражения точки зрения говорящего существенно различаются. Наиболее активны в функциональном отношении ментальный и речевой модусы. Ментальный модус - с выделяющимися внутри него сферами знания, мнения и оценки, памяти и т. п. - в наибольшей степени предназначен для выражения связи суждения (квалификации, номинации) с субъектом - его источником и является в данном случае доминирующим. Он же допускает и максимальный набор редуцированных вариантов, что характерно для спонтанной речи. Особенностью речевых модус-ных рамок является их взаимодействие с каждым из модусов (перцептивным, ментальным, волитивным, эмотивным), так как информация (результаты восприятия, мнение, оценка) должна быть воспроизведена и передана [1, с. 140]. Вот именно последний тезис очень близко подходит к изложению проблемы не о видах модальности, а об ее уровнях.
Нетрудно заметить, что, например, такие уровни, а не виды модальности, как кинесика, проксемика и т. д., будут иметь иные единицы описания и выражения субъективного, объективного и внутреннего отношения либо самого говорящего к сообщаемому, либо самого сообщаемого факта к действительности. Так, например, языковые средства передачи типичных модальных оценок, такие как специальная
лексика (модальные слова, частицы и т. д.), морфологические формы и синтаксические конструкции, не могут быть релевантны для проксемического уровня, но могут описательно передавать (или участвовать в передаче) сложную систему внутренних оценок и когнитивных процессов человека, участвующего в акте коммуникации.
Иными словами, необходимо различать уровни модальности и виды модальности.
Необходимо также учесть и то, что на каждом уровне модальности сфокусирован только для него характерный аспект поведения и способ выражения. Таким образом, можно предположить, что способы, методы и концепты исследования, разработанные для вербального уровня, не могут быть безоговорочно переносимы на другие модальные уровни.
Прежде чем более подробно рассмотреть мультимодальный метод исследования, представив его именно как последующее развитие конверзационального анализа, следует остановиться на самом появлении такого подхода.
Пожалуй, впервые термин «multimodal discourse analysis» появился в конце 80-90-х годов прошлого столетия в работах J. Allwood [4, р. 84] и M. Taylor [15, р. 76] применительно к исследованию коммуникации в сочетании с новыми техническими возможностями, предоставляемыми развитием науки и техники и их влиянием на человеческую коммуникацию. Однако само терминологическое сочетание «мультимодальная коммуникация» было замечено в начале 70-х годов прошлого века в работах A. Scheflen [10, р. 230], который, проводя context analysis и изучая сложную систему участия невербальных средств в диалоге на примере конфигураций тела человека, уже говорит о «modality of communication». Речь идет о том, что вербальный примат в таком ракурсе проблемы должен уступить место интегрированному концепту, учитывающему все уровни модальности в анализе актов интеракции.
Современные прагмалингвистические исследования коммуникации чаще всего проводятся либо на основе стилизованной речи персонажей художественных произведений, либо на основе аудиозаписей различных видов дискурса. Аналитически, теоретически
и концептуально данный вид анализа фокусировался именно на вербальной модальности интеракции.
Термин «conversation» вербально дефини-ровался, например, у E. Schegloff [11, р. 350] как «speech exchange systems», затем заменился позднее на «talk-in-interaction» с вербальной концентрацией на производстве интерактивных структур и далее на «turn-taking» с целью реконструкции структур и систем вербального обмена информацией именно в диалоге. Интересно, что исследователь замечает, что в «summons-answer sequences» «summons» может продуцироваться вербально, а «answer» обладать кинетической характеристикой, например отводить взгляд, изменять положение тела, дистанцию, и все это в качестве ответа на вопрос или реакции на стимул.
Так, J. Bergmann, понимая, что при исследовании диалогового взаимодействия ограничиваться только лишь вербальным уровнем невозможно, указывает: «...der Linguist -der Konversationsanalyse betreibt - habe immer im Kopf zu behalten, dass sich seine Analyze nicht in erster Linie mit Sprache, sondern mit Interaktion zu beschäftigen hat. Er muss sich in seiner Arbeit immer daran orientieren, dass die einzelne sprachliche Äußerung nur der “Gast” in einem Redezug ist» [5, s. 33].
Применение новых техник сбора материала и новых методов его обработки и, соответственно, вычленение новой мультимодальной перспективы изучения коммуникации приводит к появлению, наряду с вербальным уровнем, и новых предметов исследования. К таковым, например, относятся паузы, если их рассматривать в качестве релевантного интеракционального феномена. На основе аудиовизуальных данных паузы могут получать новый статус: не обозначая факт прерывания коммуникации, но обозначая «пространственную лакуну», заполняемую другой интерактивной деятельностью, например проксемической. В этом случае именно проксемика и будет, сменяя вер-бальность, являться новым или следующим анализируемым предметом.
Во многих случаях диалогичность воспринимается и понимается как поочередное участие в коммуникации, что, в принципе, относится к классическому осознанию общения:
один говорит, другой слушает, третий, соблюдая очередность, принимает участие в беседе. Однако спонтанное общение (различные его жанры, будь то разговор по душам или кооперативное обсуждение той или иной проблемы) изобилует ситуациями, когда участник отказывается принимать на себя роль вербального коммуниканта, берет вербальную паузу, но когнитивно соучаствует в интеракции, не выходя из нее, а вовлекая иные уровни модальности, ту же проксемику. При этом классическая схема «один говорит - другой слушает» нарушается таким образом, что один говорит, а другой в этот момент тоже «говорит», но по-иному, без участия вербальных средств.
Так, изучая видеозапись репетиции спектакля, R. Schmitt описывает следующую когнитивную работу, как он это называет, «.. .was er (Regisseur) alles tut (sein Minenspiel, das Zucken seiner Backenmuskulatur, seine kontinuierlich wechselnden Blicke von einem zum anderen, seine Positionsveränderungen, um bestimmte Details besser sehen zu können, seinen Blick in das vor ihm liegende Drehbuch usw.), während die Schauspieler ihre Texte sprechen und die Szene spielen...» [13, s. 25].
Подобный процесс получает название «overlap» и определяется в качестве временного отрезка, в котором основополагающая ориентация «one party talks at a time» нарушается и два или более участников коммуникации одновременно говорят [9, s. 706]. Подчеркивается также и то, что «overlaps» являются хотя и краткими фазами, но всегда составной частью в принципе любой «Шт^Ы^»-струк-туры. Это предполагает ряд вопросов, таких как, например: 1) за счет каких средств осуществляется статусное доминирование какого-либо партнера по интеракции; 2) каким образом «tum-taking»-структура преобразуется в симультанную «overlap»-структуру; 3) какие когнитивные процессы и как происходят у коммуниканта, находящегося в позиции вербальной паузы в диалоге.
Однако некоторые предварительные характеристики все же необходимо указать: 1) сравнивая вербальный «overlap» (когда происходит одновременное вербальное наложение реплик партнеров по коммуникации) и мультимодальный «overlap», исследователи
приходят к выводу, что первый обладает большим потенциалом помех в симультанном диалоге и меньшим интервалом длительности, то есть говорить долго и одновременно несколько человек не могут, подача и восприятие информации неизбежно нарушаются, что и приводит к прекращению общения. С другой стороны, мультимодальный «overlap» в симультанном диалоге может существовать более длительное время, исходя из следующего: при вербальном наложении двух и более участников общения звуковые волны говорящих в своей акустической составляющей, способствующей передаче информации, накладываются друг на друга и, соответственно, гасят друг друга, что препятствует восприятию последней (здесь можно также говорить о конкуренции внутри одной модальности, в данном случае сенсорной). При комбинации вербальных и невербальных средств их составляющие относятся к разным энергетическим областям и к разным формам интерактивного участия, и интерференции не происходит более длительное время.
Таким образом, предлагается выделять мультимодальный «overlap», или мультимодальное наложение, в качестве особого случая, или концептуальной формы (overlap-Konzept), симультанной вербальной активности в коммуникации. Нельзя также забывать и о том, что в любом диалоге основным принципом является принцип кооперации, который к тому же и ситуативно обусловлен.
Мультимодальный аспект исследования интеракции открывает много вопросов, которые еще ждут своего решения, и в частности следующие, исходящие из того, что, как и всякая интеракция, «turn-taking» имеет свой механизм или свод правил, связанный с распределением ролей и статусом в дискурсе: 1)кто в диалоге распределяет роли или присваивает статус легитимного оратора; 2) какие формы участия в дискурсе выбирает нелегитимный оратор, в чем это выражается и меняются ли модели коммуникации в этом случае.
Исследуя мультимодальную интеракцию в риторическом аспекте прагматики выделяют некие импликатуры и способы действия (речевого и неречевого) партнеров по коммуникации в отношении статусно-ролевого до-
минирования, когда, например, один участник является «легитимным оратором» и ему принадлежит ведущая роль в развертывании темы, другой же использует тактики «форсирования» и «инсценирования» как специфических и в то же время необходимых составляющих кооперативного диалога, способствуя, таким образом, в одном случае, перехватыванию инициативы, в другом - созданию определенной интерактивной структуры или порядка посредством введения принципа экспансии или подчеркнутого невербального нарастания участия в коммуникации.
Так, под «форсированием» понимается способ поведения партнера по коммуникации, который имеет цель противостоять другому в диалоге и характеризуется определенной жесткостью, напористостью, или, в немецких терминах, «verschärfte Gangart» (который может быть выражен одновременно несколькими модальными уровнями: вербальным и невербальным). «Im Kern bedeutet Forcieren die gesteigerte Selbstbestimmung eines Sprechers bei gleichzeitiger gesteigerter Fremdbestimmung des anderen» [6, s. 22].
«Инсценирование» представляет собой, по мнению R. Schmitt, интерактивный ресурс для обработки специфических проблем в интеракции и является также когнитивной ориентацией в интерактивной ситуации, выражающейся специфическими средствами или модальными уровнями (кинесико-про-ксемическими средствами), такими как, например, «er (der Sprecher) stützt den Kopf in eine Hand, sitzt dabei etwas abgewandt, lässt seinen Blick an einem in der Ferne liegenden Punkt schweifeln und reagiert in dieser Phase nicht auf eventuelle Ansprache seines Gegenübers» [13, s. 49].
При анализе видеозаписей кооперативных бесед тем же R. Schmitt было замечено, что оба способа такого дискурсивного поведения с отказом от вербальности способны увеличивать длительность симультанной модальной коммуникации более чем до 30 секунд и без ущерба для интеракции, что в обычной вербальной ситуации довольно трудно осуществляется и приводит, как правило, к помехам в принятии и понимании информации и в общем - к прекращению общения.
В целом для «оуег1ар»-концепции с точки зрения аспектов коммуникации среди прочего характерно следующее:
- учет позиции «one speaker at a time»;
-эмпирическая синхронность по меньшей мере двух или более вербальных сообщений;
- интерактивно-структурное соотношение сообщений, находящихся в положении «overlap»;
- ориентация на отказ от длительного существования в условиях диалога партнеров по коммуникации, находящихся в ситуации «overlap», которое ведет к ограниченной длительности ситуации перекрывания;
- учет потенциала помех, появляющихся или способных к появлению в ситуации «overlap».
Как показывает предварительный анализ видеозаписей спонтанных диалогов немецкоязычных партнеров по коммуникации, мультимодальная интеракция с моментами «overlap» характерна и для ранних онтогенетических стадий становления языковых и коммуникативных компетенций дошкольника, например в паре «взрослый - ребенок». Это связано с приматом невербального поведения на ранней стадии онтогенеза. Невербальное поведение на всех возрастных этапах развития личности выполняет определенную когнитивно-регуляторную функцию, помогает создать образ партнера по общению. При этом психологический анализ невербального поведения через отнесение его к интеллектуальной, эмоциональной сфере используется практически с одинаковой частотой во всех возрастах, а «психологические значения»: отношения, качества личности, социальная роль, статус -ощутимо появляются в 14-15 лет и далее.
Подводя итог изложенному, выделим те главные моменты, которые впервые отражаются в данной статье.
1. Спонтанная устная интеракция представляет собой сложный процесс обмена информацией, который выражается в том, что отдельные ее кванты или пучки (в терминах А.А. Кибрика) способны передаваться разными средствами - и лингвистическими, и нелингвистическими. Учитывая тот факт, что во всех случаях трансакции речь идет
о модальных оценках и отношениях партнеров по коммуникации ко всему событию в целом, считаем уместным ввести понятие модальных уровней коммуникации, или модальностей, к которым относятся помимо вербальности и просодия, и кинесика, и про-ксемика; единицы данных уровней способны заменять вербальную коммуникацию в конкретном речевом событии без ущерба для последнего или выступать одновременно полноправным информационным каналом в речевом воздействии.
2. Основная динамическая модель общения, которая составляет ядро диалога и обозначается традиционно как МДЕ, которое и предполагает схему поэтапной вербальной подачи и поэтапного восприятия информации, иначе стимул ^) ^ реакция ^), претерпевает некие видоизменения, выражающиеся в том, что идея или тема способна передаваться сразу несколькими модальностями, причем одновременно, то есть речь идет об одновременном «говорении» нескольких коммуникантов. Таким образом, принцип сукцессивности, лежащий в основе МДЕ, заменяется на принцип симультанно-сти. Симультанная модель интеракции более устойчива к помехам, появляющимся в результате общения и ведущим часто к его прерыванию.
3. Симультанная модель интеракции характерна для ранних этапов онтогенеза и, по-видимому, является первоначальной моделью общения взрослого и ребенка, поскольку взрослый партнер по коммуникации именно обучает ребенка по мере его взросления правилам очередности в диалоге.
Итак, подчеркнем, что проблема «мультимодальной интеракции», безусловно, существует, представляет собой реалию человеческого общения и требует более пристального внимания и дальнейшей теоретической и практической разработки.
СПИСОК ЛИТЕРАТУРЫ
1. Казаковская, В. В. Вопросно-ответные единства в диалоге «взрослый - ребенок» / В. В. Казаковская ; отв. ред. А. В. Бондарко, М. Д. Воейкова. -СПб. : Наука, 2006. - 455 с.
2. Кибрик, А. А. Проблема сегментации устного дискурса и когнитивная система говорящего / А. А. Кибрик [и др.] // Первая российская конференция по когнитивной науке : тез. докл. - Казань : КГУ 2004.- С. 107-108.
3. Лингвистический энциклопедический словарь / гл. ред. В. В. Ярцева. - М. : Сов. энцикл., 1990. -684 с.
4. Allwood, J. Cooperation and Flexibility in Multimodal Communication / J. Allwood // Gothenburg Papers in Theoretical Linguistics. - Vol. 84. -Göteborg, 1999.
5. Bergmann, J. Schweigephasen im Gespräch. Aspekte ihrer interaktiven Organisation / J. Bergmann // Beiträge zu einer empirischen Sprachsoziologie / hrsg. Hans-Georg Soeffner. -Tübingen : Narr, 1981. - S. 143-184.
6. Kallmeyer ,W. Forcieren oder: Die verschärfte Gangart. Zur Analyse von Kooperationsformen im Gespräch / W. Kallmeyer, R. Schmitt // Gesprächsrhetorik / hrsg. Werner Kallmeyer. - Tübingen : Narr, 1996. -S. 19-118.
7. Norris, S. Analyzing Multimodal Interaction: A Methodological Framework / S. Norris. - L. : Routledge, 2004.
8. O’Holloran, K. Multimodal Discourse Analysis: Systematic-Functional Perspectives / K. O’Holloran. -L. : Continuum, 2004.
9. Sacks, H. A Simplest Systematics for the Organization of Turn-Taking for Conversation / H. Sacks, E. Schegloff, G. Jefferson // Language. -1974. - J№ 50. - Р 696-735.
10. Scheflen, A. Body Language and Social Order: Communication as Behavioral Control / A. Scheflen. -Englewood Cliffs, N. J. : Prentice-Hall, 1972.
11. Schegloff, E. Overlapping Talk and the Organization of Turn-Taking for Conversation / E. Schegloff // Language in Society. - 2000. -Vol. 29. - Р. 1-63.
12. Schmitt, R. Bericht uber das 1. Arbeitstreffen «Multimodale Kommunikation» / R. Schmitt // Sprachreport. - 2004. - N° 1. - S. 31-34.
13. Schmitt, R. Zur multimodalen Struktur von turn-taking / R. Schmitt. - Режим доступа: http:// www.gesprachsforschung-ozs.de.
14. Selting, M. Argumente foer die Entwicklung einer «interaktionalen Linguistik» / M. Selting, E. Couper-Kuhlen // Gespraechforschung. -2000. - J№ 1. - S. 76-95.
15. Taylor, M. The Structure of Multimodal Dialogue / M. Taylor. - Amsterdam : Elsevier, 1989.
MULTIMODAL ASPECTS OF INTERACTION ANALYSIS
А.А. Petrova
The article introduces the notion of multimodal interaction that is viewed as further perspective development of the classical method of conversation analysis. Multimodal interaction implies the study of modality levels but not its modifications.
Key words: multimodal interaction, turn-taking-organization, overlap, video analysis.
