CC BY
53Дж. Бейтман, Дж. Уилдфер, Т. Хиппала
МУЛЬТИМОДАЛЬНОСТЬ. БАЗОВЫЕ ПРИНЦИПЫ, СПОСОБЫ ИССЛЕДОВАНИЯ И МЕТОДЫ АНАЛИЗА. ПРОБЛЕМНО-ОРИЕНТИРОВАННОЕ ВВЕДЕНИЕ
(Реферат)
Bateman J., Wildfeuer J., Hiippala T.
Multimodality: Foundations, Research and Analysis - A Problem-Oriented Introduction. - Berlin; Boston: Walter de Gruyter, 2017. - 416 p.
Книга «Мультимодальность» вышла в 2017 г. Ее авторы - Джон Бейтман и Джанина Уилдфер из Бременского университета (Германия), а также Туомо Хиппала из Университета Ювяскюля (Финляндия). Книга состоит из трех разделов, каждый из которых содержит в себе отдельный аспект исследования мультимодальных ситуаций. Первый раздел полностью посвящен вопросам, связанным с ключевыми свойствами мультимо-дальности, разнообразием ее проявлений и исследовательским подходом, используемым авторами. Во втором разделе мы можем найти подробный разбор всевозможных методов, применяемых при анализе мультимодаль-ности, а также рекомендации по проведению собственного исследования, посвященного ей. В третьем разделе подробно обсуждаются примеры коммуникативных ситуаций в контексте их изучения в рамках нескольких выделенных авторами сфер исследования мультимодальности.
Авторы книги рассматривают понятие модуса как промежуточного механизма, который соединяет отдельные дисциплины и исследовательские вопросы и который обычно имеет отношение к множественным модусам и их сочетаниям, а также к детализированному внутреннему содержанию этих модусов. Мультимодальность, в свою очередь, зависит от того, как модусы определены и как они соотносятся друг с другом.
Мультимодальность определяется авторами как такой вид коммуникативных ситуаций (в самом широком их понимании), который включает различные семиотические модусы и нацелен на повышенную эффективность коммуникации. В таком случае используется целый ряд каналов, по
92
которым передается информация. Например, в новостном сюжете показывается диктор, комментирующий выведенное тут же видео с места событий, а внизу экрана помещена бегущая строка с текстом новости. Иллюстрацией также могут служить переписка в мессенджерах, где при общении могут использоваться как напечатанный текст, так и эмодзи, голосовые сообщения, а также изображения и видео. При чтении книги мы можем встретить в ней иллюстрации, графики и диаграммы. Даже обычная беседа на досуге обладает свойством мультимодальности. Ведь при разговоре будут использованы не только речь, но и жесты, положение тела, а также мимика. Мультимодальные коммуникативные ситуации - повсюду, и довольно сложно в современном мире встретить использование только одного канала коммуникации. В реальности можно наблюдать многочисленные примеры мультимодальности, которая заключается в сочетании различных способов коммуникации и создания смыслов. Необычные комбинации модусов используются уже довольно давно. Однако с появлением новых технологий их распространение достигло огромных масштабов.
Феномен мультимодальности не является чем-то новым. Для людей во все времена было характерно использование в коммуникации различных каналов и средств. Однако в какой-то момент люди пришли к идее обособлять различные модусы для отдельного рассмотрения. Некоторое время в западной культуре мономодальность была предпочтительна. Наиболее «серьезные» жанры литературы (романы, академические трактаты, официальные документы и отчеты и т.п.) совсем не содержали иллюстраций и были в значительной степени унифицированы с точки зрения внешнего вида вне зависимости от их типа и содержания. В концертных перфомансах все музыканты были одеты одинаково, и только дирижерам и солистам было позволено хоть немного внешне выделяться. В наши дни, напротив, муль-тимодальность все больше преобладает во всех сферах жизни.
Исследование мультимодальности происходит обособленно в рамках отдельных дисциплин и под разными углами зрения. Таким образом, отдельным коммуникативным практикам уделяется больше внимания, чем их комбинациям. Авторы отмечают, что одного лишь понимания того, что разные модусы, используемые для обмена информацией, тесно связаны между собой, недостаточно. Требуется выработать более четкое понимание того, что значит «мульти-» в «мультимодальности». Цель книги Бэйт-мана, Уилдфер и Хиппала заключается как раз в том, чтобы выяснить, что случается, когда различные семиотические модусы сочетаются в процессе «производства смыслов». Такой исследовательский подход претендует на то, чтобы обозначить сходства и различия механизмов и процессов, вовлеченных в тот или иной способ коммуникации.
Кроме того, в книге большое внимание уделяется самому исследовательскому подходу, предполагающему рассмотрение мультимодальности на дотеоретической стадии анализа. Авторы предлагают, прежде чем проводить мультимодальный анализ, изучить контекст коммуникативной си-
93
туации и ответить на четыре базовых вопроса: от кого исходит информация, кто является реципиентом, при каких обстоятельствах передается информация, т.е. какое коммуникативное «полотно» (canvas) используют акторы, и какова длительность коммуникации.
В ходе анализа мультимодальности возникает множество вопросов: как следует определить предмет исследования, как его изучать, а также -каким образом выделить объект исследования. Зачастую определяющим становится сама постановка исследовательского вопроса, а не желание изучить сущностные характеристики мультимодальных сочетаний. Для большей эффективности в проведении исследования авторы предлагают использовать различные виды материалов для изучения (от межличностного общения до Интернет-сайтов).
Авторы создали классификацию для коммуникативных ситуаций и коммуникативных полотен, опираясь на которую, они обозначили пять сфер, доступных для изучения мультимодальности. В основу данного инструмента анализа легли несколько критериев, согласно которым разграничиваются типы коммуникативных ситуаций и задействованных в них полотен.
Коммуникативные ситуации могут быть подразделены на четыре группы в зависимости от способа, с помощью которого воспринимается информация внутри них. Но прежде чем перейти к этой типологии, необходимо обсудить термины, используемые авторами для разделения коммуникативных ситуаций подобным образом. Во-первых, в работе используется понятие «эргодический». Под ним подразумевается такая характеристика текста / видео / компьютерной игры / изображения, которая подразумевает соучастие читателя / зрителя / игрока / пользователя в создании смысла. Также предлагается критерий «мутабельности» (изменяемости) текста, отличный по своей сути от другого критерия - темпорального, делящего коммуникативные средства передачи информации на статичные и динамичные. Для того чтобы понять смысл, закладываемый в понятие «мутабельности», приведем несколько примеров. Комиксы с возможностью заполнения мест для мыслей, реплик персонажей или рассказчика являются мутабельными (так как читатель выступает в роли соавтора), но статичными (изображения - сами по себе не изменяются во времени), а фильм, в котором зритель может выбирать из уже отснятых вариантов сюжетных поворотов, - динамичный (со временем происходит смена кадров), но немутабельный (ввиду того что «текст» не изменяется, несмотря на то что зритель выбирает, в какой последовательности он будет его воспринимать).
Итак, приведем четыре типа коммуникативных ситуаций, выделяемых авторами: линейные (к ним можно причислить простой неизменный текст, который требуется только лишь прочесть, т.е. подразумевается линейная последовательность восприятия символов), микроэргодические (перед потребителем смысла появляется выбор, какую информацию воспринять прежде всего и каким образом скомпоновать элементы коммуни-
94
кативного сообщения, в зависимости от чего смысл, появляющийся в результате восприятия и интерпретации потребителем информации, будет видоизменен), немутабельные эргодические (к ним можно причислить все микроэргодические формы коммуникации, которые подразумевают сложную организацию изначально заданных «смысловых узлов», составляющих «гипертекст», с которым и представляется необходимым ознакомиться зрителю или читателю) и мутабельные эргодические (в рамках данного типа читатель / зритель волен менять как содержание, так и организацию «текста»).
Рассмотрим также признаки, по которым определяется тип полотна коммуникативной ситуации:
1) динамический или статичный характер полотна (т.е. происходят ли изменения в изображении вне зависимости от действий воспринимающего информацию или же нет);
2) 2Б- или 3Б-вид изображения (причем нужно понимать, что мы рассматриваем именно полотно, используемое в коммуникации, а не тот смысл, что в нем заложен; иными словами, изображение, передающее виды различных ландшафтов и пейзажей, не становится трехмерным, а остается плоским);
3) длительность существования (например, устная речь существует только в момент речи, в то время как статья в печатной газете может существовать намного дольше, к ней можно вернуться, перечитать, а такая возможность существенно влияет на восприятие информации, заключенной в ней);
4) уровень интерактивности, или же степень вовлеченности потребителя информации по отношению к полотну (существует различие в ролях непосредственного участника и наблюдателя, иначе говоря, можно различать «взгляд изнутри» и «извне» коммуникативного полотна).
Следует отметить также, что не все сочетания вышеуказанных характеристик возможны; к примеру, мы не можем занимать позицию участника, пребывающего внутри коммуникативного «полотна», если оно является плоским.
Авторами книги обозначаются пять сфер для исследования мульти-модальности, которые затем подробно анализируются в третьем разделе:
- мультимодальные коммуникативные ситуации, развертывающиеся во времени и не следующие определенному сценарию (например, межличностное взаимодействие. В некоем роде базовая ситуация, лежащая в основе человеческого общения и создания смыслов);
- мультимодальные коммуникативные ситуации, развертывающиеся во времени и полностью или частично следующие определенному сценарию (музыкальное, танцевальное, театральное произведение). Представление ради представления. Требует рефлексии и саморефлексии, а также заботы о том, каким именно образом и с помощью каких средств произойдет коммуникация);
95
- мультимодальные коммуникативные ситуации, использующие статичные «полотна», которые предполагают развертывание в пространстве и наличие материального артефакта в качестве носителя информации (напечатанные публикации, веб-страницы, учебники и остальные 2Б-полотна, такие как графические новеллы и комиксы. Следует помнить, что различные семиотические модусы раскрывают пространственную структуру в разной степени, поэтому теории, предписывающие окончательные смысловые значения определенным областям этой структуры, быстро рушатся, когда сталкиваются с данными, не вписывающимися в модель);
- мультимодальные коммуникативные ситуации, использующие динамичные полотна, которые предполагают развертывание в пространстве и наличие материального артефакта в качестве носителя информации, а также включающие в себя темпоральный аспект (презентации с аудиовизуальным сопровождением);
- мультимодальные коммуникативные ситуации, развертывающиеся и во времени, и в пространстве и предполагающие действия и реакции (веб-страницы, тексты в цифровом формате 2Б в социальных сетях, виртуальная или дополненная реальность в 3Б и игры).
В то же время могут возникать и «перекрестные» сферы для изучения. В частности, интересен переход от одной области к другой, в процессе которого их характеристики переплетаются между собой.
Во втором разделе Бейтман, Уилдфер и Хиппала переходят к анализу конкретных методов мультимодального исследования и дают подробную инструкцию для желающих провести такую работу. Авторы подчеркивают, что изучение мультимодальности в рамках отдельных дисциплин ограничено рассматриваемыми в них аспектами и сенсорными модальностями. Именно поэтому необходимо владеть базовыми инструментами исследования всех дисциплин. Согласно точке зрения, представленной в книге, изучение мультимодальности должно предполагать междисциплинарный подход, что направлено на предотвращение ее неверного толкования и формирования необоснованных выводов. «Мультимодальный перевод», этнографические исследования мультимодальных практик, моделирование мультимодального создания смыслов, экспериментальные и другие методы должны быть использованы при исследовании мультимодальности, и ни одним из них не следует пренебрегать, считают авторы. Кроме того, статистический анализ также будет весьма кстати для лучшего понимания проблемы при проведении эмпирических исследований. Очень полезной в этом смысле может быть компьютерная обработка данных.
В ходе исследования мультимодальности возникает множество сложностей. Бейтман, Уилдфер и Хиппала выделяют следующие «ловушки», в которые может попасть исследователь. Во-первых, подчеркивается необходимость уйти от чрезмерного описания того, что должно быть проанализировано, и сфокусироваться именно на анализе изучаемого объекта. Иначе неизбежна «описательная ловушка». Во-вторых, следует избегать
96
ситуации, при которой в случае отбрасывания всех специальных терминов результаты не несут существенных потерь в своем содержании. В противном случае исследователь обнаружит себя в «ловушке псевдотерминов». В-третьих, есть вероятность «зациклиться» на желаемых и / или предполагаемых результатах. При подобном раскладе возможны подмена понятий и подгонка данных под нужные выводы. Такая ошибка сводит к нулю полезность затраченного труда. Кроме того, авторы книги обращают внимание на такую проблему, как «синдромом переписывания». Проявляется этот «синдром», когда исследователь предпринимает попытку переформулировать уже существующие результаты на особый манер, что зачастую предполагает «перевод» из языка одного подхода с язык другого подхода. Авторы книги отмечают, что сам по себе такой перевод не может считаться результатом, хотя иногда он и необходим, для того чтобы объяснить, как именно полученные результаты способствуют лучшему пониманию изучаемого феномена. Кроме того, авторы рекомендуют исследователям осваивать разные научные языки, а не стремиться к формированию общего вокабуляра.
В заключение отметим, что в работе описаны основы, необходимые для междисциплинарного исследования мультимодальности во всех ее проявлениях, а также приведены яркие иллюстрации применения представленного подхода. В отличие от многих книг на данную тематику данная работа не просто предлагает читателям готовые «инструменты» или теоретические модели, которые они могли бы применить для изучения реальных объектов. Важнейшей целью работы, по мнению Бейтмана и его соавторов, является формирование навыков создания новых «инструментов». Ведь зачастую сложно бывает поместить все существующие феномены и явления в узкие рамки готовых методов, предлагаемых в пособиях. Таким образом, рассмотренный материал, несомненно, дает большой простор для изучения мультимодальных ситуаций. Всё вышеизложенное может быть расценено как первая в своем роде довольно успешная попытка представить всеобъемлющий по своему охвату подход к изучению муль-тимодальности во всем ее многообразии.
Дёгтева И. С.
97
