CC BY
6DOI: 10.31249/metodquarterly/02.02.12
Д.А. Свирчевский1
Мультимодальный подход Г. Кресса и Т. ван Левена: чтение визуальных образов
Реферат книги: Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design (3rd ed.). - L.; N.Y.: Routledge, 2021. - 310 p.
Ключевые слова: мультимодальность; семиотика; методология; анализ изображений; анализ визуальных образов; анализ мультимодальных ситуаций.
Для цитирования: Свирчевский Д.А. Мультимодальный подход Г. Кресса и Т. ван Левена: чтение визуальных образов (реферат) // МЕТОД : московский ежеквартальник трудов из обществоведческих дисциплин: ежеквартал. науч. изд. / под ред. М.В. Ильина ; ИНИОН РАН, центр перспект. методологий соц.-гуманит. исследований. - М., 2022. - Вып. 12. - Т. 2, № 2. - С. 159-175. Реф. книги Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design (3rd ed.). - L., N.Y.: Routledge, 2021. - 310 p.
В 2021 г. вышло третье издание книги «Reading Images: The Grammar of Visual Design», одной из самых известных работ Гюнтера Кресса и Тео ван Левена. В ней авторы излагают свое видение «грамматики» изображений и предлагают способы, которые могут быть использованы при анализе изображений самого разного порядка. Беря за основу семиотическую теорию Майкла Халлидея [Halliday, 1978], авторы предлагают развернутый инструментарий способов аналитической работы с мультимодальными изображениями.
Мультимодальные исследования Г. Кресса и Т. ван Левена
Гюнтер Кресс (1940-2019) был профессором Института образования Университетского колледжа Лондона. Кресс считается одним из наиболее выдающихся лингвистов, посвятивших себя социальной семиотике и мультимодальности. Его труды заложили основу этих исследовательских направлений. В числе наиболее выдающихся работ Кресса можно назвать «Language as Ideology» [Hodge, Kress, 1993], «Social Semiotics» [Hodge, Kress, 1988], «Early Spelling» [Kress, 2000], «Learning to Write» [Kress,
1 Свирчевский Дмитрий Алексеевич, студент Национального исследовательского университета Высшая школа экономики (Москва), e-mail: dasvirchevskiy@edu.hse.ru
159
1994], «Multimodality: A Social Semiotic Approach to Contemporary Communication» [Kress, 2010].
Тео ван Левен - профессор Университета Южной Дании, также внесший значительный вклад в развитие мультимодальности и социальной семиотики. Среди наиболее известных публикаций ван Левена можно упомянуть такие труды, как «Multimodal Discourse: The Modes and Media of Contemporary Communication» [Kress, van Leeuwen, 2001], «Speech, Music, Sound» [van Leeuwen, 1999], «Introducing Social Semiotics and Discourse and Practice: New Tools for Critical Discourse Analysis» [van Leeuwen, 2008].
Рассматриваемое в данном реферате третье издание «Reading Images» вышло уже после смерти Гюнтера Кресса, хотя он и успел поучаствовать в его подготовке. Таким образом, книга оказалась завершающим элементом в многолетней совместной работе авторского дуэта Кресса и ван Левена в сфере исследований мультимодальности.
Термин мультимодальность используется для обозначения характерной черты коммуникативных ситуаций, которые основываются на комбинировании различных форм коммуникации (модусов). Например, о мульти-модальности идет речь, когда мы обращаем внимание на то, что в книге для формирования сообщения используются и письменный язык, и картинки, и диаграммы, и композиция страницы, а в телевизионной программе - используется комбинация разговорного языка, изображения и текста. Даже разговор в кафе может быть описан как мультимодальная ситуация, в которой сочетаются разные физические возможности и позы [Kress, 2010, p. 7]. В нашей жизни мы постоянно находимся в мультимодальных ситуациях, однако мультимодальные исследования появились сравнительно недавно, их корни можно увидеть, например, в работах Майкла Халлидея 1960-х годов [Jewitt, Bezemer, O'Halloran, 2016, p. 8].
В настоящее время интерес к мультимодальным исследованиям находится на подъеме, поэтому закономерно, что Кресс и ван Левен решили подготовить переиздание своей работы, которая уже успела стать классикой.
Чтение визуальных образов
Заглавие книги можно перевести на русский так - «Чтение образов: грамматика визуального дизайна». Книга состоит из восьми глав. В первой из них авторы задают общую концептуальную рамку своей работы, а также обрисовывают изменения, которые уже произошли и продолжают происходить во взаимоотношениях языка и текста. Вторая и третья главы посвящены описанию семиотических средств, которые могут быть использованы при выстраивании отношений между представленными на изображении элементами. Четвертая и пятая главы посвящены отношениям, возникающим между зрителем и изображением. В шестой главе авторы обсуждают композиционные приемы, используемые при создании изображений.
160
В седьмой главе они говорят о значимости материальной реализации изображений, а в восьмой обсуждают вопросы применимости приведенных ранее закономерностей к трехмерным и движущимся изображениям.
Данную книгу авторы посвятили тому, как «визуальная грамматика», по аналогии с грамматикой языка, описывает, как изображаемые предметы соединяются друг с другом в различных визуальных «высказываниях». Не являясь первыми исследователями языка изображений, авторы настаивают на том, что, хотя до них визуальная «грамматика» рассматривалась с точки зрения многих подходов, например истории искусств, формального описания композиции или физиологии восприятия, они первые, кто уделил систематическое внимание изучению закономерностей в том, как комбинируются элементы изображения, т.е. смыслу композиции.
Авторы указывают на то, что в основе их исследования лежат наработки социальной семиотики1 [Hodge, Kress, 1988], а сама книга посвящена знакам, и в частности тому, как знаки производятся. В то же время, в отличие от традиционной семиотики, авторы считают, что отношение означающего и означаемого в знаке всегда является мотивированным и конвенциональным (motivated and conventional). Несмотря на важность и постоянное присутствие социального как в историческом формировании семиотических ресурсов, так и в социальной истории отдельного агента, именно преобразующие действия индивидов в соответствии с контурами социальных данностей постоянно меняют ресурсы и делают возможным самореализацию социальных субъектов.
В новом издании книги по сравнению с предыдущим произошло несколько изменений. Поскольку социальная сфера находится в постоянной трансформации, на уровне непосредственного использования семиотических ресурсов произошли изменения, и, хотя общие паттерны модальности изображения, описанные в предыдущих изданиях, зачастую сохраняются неизменными, аспекты их использования меняются. Поэтому авторы включили более новые примеры, иллюстрирующие применение описанных ранее паттернов на новом материале. Кроме того, авторы убрали девятую главу, являвшуюся постскриптумом.
Глава 1.
Ландшафт семиотики: язык и визуальная коммуникация
На семиотические модусы оказывают влияние история и культура обществ, в которых они существуют, поэтому их необходимо рассматри-
1 Подробнее о социальной семиотике см.: Ильин М.В., Фомин И.В. Социальная семиотика: комплексное изучение функциональных и смысловых сторон общественных процессов и явлений // МЕТОД: Московский ежегодник трудов из обществоведческих дисциплин. - М., 2018. С. 399-403.
161
вать в контексте их истории и окружающей среды. Авторы выделяют «старую» и «новую» визуальную грамотность. Для первой характерно использование изображений в качестве подчиненных тексту: изображения рассматриваются лишь как копии реальности. Второй форме свойственно сосуществование текстовой и визуальной репрезентации, которые уже не стремятся быть более или менее точными копиями реальности.
Изменения постепенно происходят и с тем, в каких отношениях находятся по отношению друг к другу речь и текст. В Средние века чтение было встроено в контекст речи, в эпоху Ренессанса чтение стало беззвучным отношением между текстом и читателем, а в настоящее время наблюдается тенденция к возвращению чтению статуса части групповых взаимодействий. Так, современные библиотеки зачастую представляют не пространство для уединенного штудирования текстов, а место для неформальной и иногда шумной групповой работы. Роль чтения и речи в общении меняется, эти формы коммуникации становятся мультимодальными.
Также в данной главе авторы упоминают о том, что в основе их книги лежит определенная семиотическая теория, созданная Майклом Халли-деем. Они настаивают на том, что их подход не является лингвистическим, поскольку Халлидей и его последователи рассматривали грамматические знаки как ресурсы для реализации интерпретации опыта и форм социального взаимодействия. Авторы указывают, что они изучают общение, а его основа - социальная база: смыслы, выражаемые людьми, являются в первую очередь социальными смыслами. В то же время авторы не отрицают значимость существования индивидуальных различий в способах построения текстов, продуцируемых участниками негомогенных обществ, когда в мультимодальном тексте, во-первых, изображение может нести один смысл, а печатный текст - другой, а во-вторых, эти смыслы могут по-разному восприниматься разными людьми.
Глава 2.
Нарративные репрезентации: конструирование знаков социального действия
В ней авторы вводят ряд терминов, которые описывают процесс действия, запечатленный на изображении. Актор - это участник, из которого исходит вектор или который сам является частью вектора. Зачастую акторы являются наиболее заметными на изображении благодаря размеру, положению в композиции, насыщенности цвета и резкости фокуса. Если на изображении один участник, обычно он является действующим лицом. Такую структуру авторы называют нетранзакционной (поп-й"ап8ас1;юпа1) по аналогии с непереходными глаголами в английском языке, которые не используются с дополнениями.
162
В других случаях есть только вектор и цель, а актор отсутствует. Цель -это участник, на которого направлен вектор, на которого направлено действие. Для обозначения действий, которые включают только цель, авторы предлагают использовать термин событие. Событие - это когда что-то происходит с кем-то, но мы не знаем, кто или что производит действие.
Транзакционная (transactional) визуальная структура - структура, в которой есть двое участников. В данной структуре один из участников может быть актором, а другой - целью, или каждый участник может функционировать то как актор, то как цель. Во втором случае может быть не всегда понятно, существует ли некая последовательность в двунаправленных транзакциях или же они происходят одновременно, т.е. у нас, опять же, есть открытое пространство для интерпретаций. Чтобы указать на двойственную роль участников в подобных структурах, авторы условливаются называть их взаимодействующими.
Если вектор формируется при помощи направления взгляда одного или нескольких участников, авторы называют такую структуру изображения реакционной (reactional), и в данном случае вместо акторов будут реагирующие (reactors), а вместо целей - феномены (phenomena). Реагирующим обязательно должен быть человек, а феномен формируется либо при помощи другого участника, на которого реагирующий смотрит, либо при помощи встроенной структуры, например, транзакционной.
Так же как действия, реакции могут быть транзакционными и не-транзакционными. В последнем случае на изображении нет феномена, а зрителю самому нужно представить, на кого или на что направлен взгляд реагирующего. Такой прием создает у того, кто смотрит на фотографию, сильное чувство эмпатии по отношению к тем, кто на ней изображен.
Особый род вектора - выноска, которая соединяет рисунки говорящих с их речью. Выноски существовали задолго до появления комиксов, хотя и ассоциируются именно с ними. Если выноска отображает процесс речи, то авторы выделяют говорящего и высказывание, которое находится внутри выноски. Если же на выноске представлен мыслительный процесс (в этом случае она имеет контуры в виде облака), авторы считают, что в такой ситуации есть думающий (Senser) и феномен, т.е. мысли, заключенные в выноску.
Глава 3.
Концептуальные репрезентации: создание социальных конструктов
В этой главе авторы переходят от нарративных структур к концептуальным. Они выделяют три основных вида таких структур. Классификационные структуры создают гипонимические отношения между участниками, аналитические структуры создают меронимические отноше-
163
ния между участниками, а символические структуры «определяют» участников визуально с точки зрения того, кем или чем они являются и что они означают.
В классификационных структурах по крайней мере один набор участников будет играть роль подчиненного по отношению по крайней мере к одному вышестоящему участнику. Если структура оставляет зрителю возможность самому догадываться о сходствах между подчиненными участниками или называть только всеохватывающую категорию в сопроводительном тексте, такую структуру они решают называть скрытой таксономией. Для скрытых таксономий важно, что совместная классификация подчиненных участников реализуется не с помощью конкретного элемента, такого как вектор, а с помощью конфигурации, особенно симметричной композиции.
Существуют также явные таксономии. Они включают вышестоящего участника либо как «заголовок», либо как элемент верхнего уровня древовидной структуры, от которого отходят все другие элементы. Обычно элементы в явных таксономиях связаны по цепочке, так что промежуточные участки будут доминировать над одними участками и подчиняться другим.
Обсуждая аналитические структуры, авторы отмечают, что данные структуры представляют участников как части целого. Аналитические структуры отображают носителя (Carrier), т.е. целое, и любое количество притяжательных атрибутов (Possessive Attributes), т.е. частей. Внешне аналитические структуры могут быть распознаны благодаря отсутствию признаков, характерных для других структур: у них нет вектора, композиционной симметрии или древовидной структуры, или нет того, что ниже авторы называют символическими атрибутами (Symbolic Attributes). Аналитические структуры делают то, что лучше всего получается у изображений, они показывают: «это есть». В пример авторы приводят карту Австралии, на которой отображены примерные ареалы проживания коренных народов этого континента. В данном случае носителем является Австралия, а притяжательными атрибутами - ее коренные народы.
Авторы выделяют собранные (assembled) и разъединенные (disconnected) аналитические структуры. В первом случае притяжательные атрибуты вместе составляют носителя, в то же время сохраняя свои отличительные черты. В разъединенных аналитических структурах мы можем наблюдать притяжательные атрибуты носителя, но не самого носителя, т.е. только части, которые не образуют целое. В качестве примера разъединенной аналитической структуры они приводят рисунок выкройки, на котором изображены части будущей одежды, пока не представляющие единое целое.
Если притяжательные атрибуты не были собраны воедино, но все же показывают, как они составляют носителя, они называются взорванными (exploded) аналитическими структурами. Как пример авторы показывают
164
карту Австралии, на которой материк разделен на несколько сегментов по определенным признакам.
Связанные (connected) аналитические структуры характеризуются размещением носителя в центре пространства, а притяжательные атрибуты расположены вокруг этого центра и связаны с ним невекторными линиями. Так, связанной аналитической структурой является звездчатая диаграмма, структуру которой повторяют, например, ментальные карты.
Также аналитические структуры могут быть исчерпывающими (exhaustive) и открытыми (inclusive). Аналитическая структура является исчерпывающей, если притяжательные атрибуты занимают все пространство носителя. Так, упоминавшаяся выше карта Австралии с отмеченными на ней территориями аборигенных племен являет собой пример исчерпывающей аналитической структуры, поскольку выделенные ареалы проживания коренных народов занимают всю территорию материка, т.е. носителя. В открытых аналитических структурах притяжательные атрибуты занимают не все пространство носителя, оставляя его часть пустым, неуточ-ненным. Подобные структуры несут возможность частичного включения и исключения, что характеризует, например, диаграмму Венна.
Временные аналитические структуры предполагают наличие на изображении реальной или воображаемой временной шкалы, на которой располагаются участники. Однако эти линии не являются векторными, они не представляют историю как поток, вместо этого они разбивают ее на последовательные стадии с фиксированными и стабильными характеристиками, этапы, которые можно рассматривать, как будто они являются объектами.
Топографические аналитические структуры характеризуются точным представлением относительного расстояния и местоположения притяжательных атрибутов. В то же время топологические аналитические структуры представляют только «логические» отношения между участниками, т.е. способ, которым они связаны друг с другом. Так, топологической аналитической структурой может быть электрическая схема.
Также авторы описывают символические аналитические структуры. Символические атрибутивные структуры характеризуются изображением двух участников: носителя, значение или идентичность которого установлены в отношениях, и символического атрибута, который представляет собой участника, воплощающего значение или идентичность, и предоставляет, передает их носителю. Распознать символический атрибут на изображении можно по следующим его признакам: он хорошо заметен благодаря использованию композиционных средств, на него могут указывать с помощью жеста, он выглядит неестественно и традиционно ассоциируется с символизмом.
Помимо символических атрибутивных структур существуют символические суггестивные (suggestive) структуры. В отличие от предыдущего типа структур, в них только один участник - носитель. Детали на подобных изображениях размываются и преуменьшаются ради создания
165
«настроения» и «атмосферы». Символические суггестивные структуры представляют не конкретный изображенный момент, а обобщенную сущность, передают смысл и идентичность как исходящих изнутри носителя.
Сами символы бывают двух типов: явные (open) и скрытые (disguised). Явные символы заметны даже зрителям, не понимающим их значения. Такие символы отчетливо выделяются на изображении и выглядят как что-то, изначально созданное для того, чтобы быть интерпретированным как символ. Скрытые символы на первый взгляд не кажутся неестественными или преувеличенными и обнаруживаются только при ближайшем рассмотрении изображения, когда оказывается, что не все в нем стоит понимать буквально.
В конце главы авторы говорят о том, что визуальная репрезентация может быть гораздо более сложной, чем предложение, оформленное языковыми средствами, поскольку у письменности есть линейность, при которой мы вскоре достигаем предела возможностей по обработке фрагментов линейной информации. В то же время гораздо более сложная визуальная структура может восприниматься с первого взгляда.
Глава 4.
Репрезентация и взаимодействие: конструирование позиции зрителя
Глава книги начинается с указания авторов на то, что визуальный модус может создавать и поддерживать отношения не только между участниками на изображении, но и между создателями изображений и теми, кто на изображения смотрит. В данном случае взаимодействуют две группы участников: интерактивные участники, т.е. те, кто смотрит на изображения или создает их, и изображенные участники, как то люди, места и вещи, показанные на изображениях.
Изображения, с которых на зрителя смотрит взгляд, принципиально отличаются от изображений, не обладающих этой чертой. Вектор, созданный взглядом представленного участника, соединяет его со зрителем. Дополнительный вектор может быть создан при помощи жеста, когда изображенный участник указывает на зрителя. Взгляд, направленный на зрителя, создает форму прямого обращения к нему и требует, чтобы зритель вступил с представленным участником в воображаемые отношения. Характер этих отношений определяется выражением лица, смотрящего на зрителя с изображения.
Если же изображение не содержит человеческих или квазичеловеческих участников, которые смотрят прямо на зрителя, то такое изображение называется предложением (offer). В данном случае зрителю отводится роль невидимого наблюдателя, а изображение «предлагает» ему изображенных участников в качестве элементов информации, как будто они расположены на витрине магазина.
166
Помимо выбора характера взгляда изображенных участников, создатели изображения также должны решить, на какой дистанции от зрителя участники будут располагаться. Выбор стоит между тем, представить их крупным, средним или дальним планом, чтобы определить, в каких отношениях будут находиться участники со зрителями, конструируя социальную дистанцию, отделяющую изображенных участников от зрителя. Чем ближе изображенные участники к зрителю, тем более личные отношения возникают между ними.
Кроме того, создание изображения предполагает выбор угла зрения -перспективы. В западных культурах существует два типа изображений: с (центральной) перспективой, которые авторы называются субъективными, и без нее, в терминологии авторов - объективные. В субъективных изображениях зритель может увидеть только то, что видно с определенной точки зрения, тогда как в объективных изображениях раскрывается все, что нужно знать (или что было сочтено таковым) об изображенных участниках, даже если при этом нарушаются законы натуралистического изображения или законы природы.
Выбор угла съемки в горизонтальной плоскости влияет на то, как мы соотносим себя с объектами, помещенными в кадр. Если при фотографировании было выбрано положение, когда фотоаппарат направлен прямо на объекты съемки, образуется фронтальный угол (frontal angle), при котором мы становимся соучастниками того, что происходит на изображении, нам начинает казаться, что то, что мы видим, является частью нашего мира. Если же угол съемки непрямой, наклонный (oblique angle), т.е. камера в горизонтальной плоскости была размещена под углом к объектам съемки, то мы чувствуем, что изображенная картина не является часть нашего мира, а существует как часть их мира, с которым мы в данный момент не взаимодействуем, при этом изображенные люди будут скорее восприниматься как незнакомцы, чужаки.
Не менее важен выбор угла съемки по вертикали. Если выбран высокий угол съемки, объекты в кадре выглядят маленькими и незначительными. Когда изображенные участники представлены таким образом, нас заставляют смотреть на них свысока, они как бы лежат у ног зрителя. В том случае, если на изображении применен низкий угол съемки, изображенные участники кажутся внушительными и важными. Смотря на зрителя свысока, они обладают символической властью над ним.
Другой вид изображений - объективные (objective). К ним относятся научные или технологические изображения, такие как диаграммы и карты. В них используется или перпендикулярный угол сверху вниз, или фронтальный угол. Однако эти углы неодинаково объективны. Фронтальный угол является углом максимального увлечения и ориентирован к действию, тогда как вид сверху - это позиция отстраненного наблюдателя, который созерцает мир у своих ног.
167
Глава 5.
Модальность и достоверность: конструирование моделей реальности
В главе авторы обсуждают, какие визуальные знаки присущи изображениям, которым мы склонны доверять. Обращаясь к лингвистической теории, разрабатываемой Халлидеем и его последователями, авторы отмечают, что в ней термин модальность (modality, не путать с mode («модус»)) относится к значению истинности (truth value) лингвистически реализованных утверждений о мире, причем модальность - это вопрос не об абсолютной истине, а о том, насколько истинным представляется данное утверждение. Авторы указывают на то, что концепт модальности применим как к письменным текстам, так и к изображениям, поскольку на них так же более или менее реалистично изображаются люди, места и вещи. Суждения модальности носят социальный характер и зависят от того, что считается истинным и реальным в социальной группе, для которой в первую очередь предназначено изображение.
Однако в отличие от лингвистической истины, которая основывается на вероятности («может», «будет», «должно») и частотности («иногда», «часто», «всегда»), визуальная истина основана на идее реализма, который оценивается по свидетельствам того, что можно увидеть. Критерий истины «реальность» отличается от критериев истины «вероятность» и «частота», поэтому авторы предлагают говорить о достоверности (validity), а не о модальности, как это было в предыдущих изданиях книги.
Авторы говорят о нескольких шкалах, по которым можно судить о достоверности изображения. Относительно цвета это будут шкалы его насыщенности, дифференциации и модуляции. Шкала насыщенности цвета, простирающаяся от черно-белой до полноцветной насыщенности, предполагает, что снижение цветности увеличивает абстрактную достоверность, снижая достоверность натуралистическую. Шкала дифференциации цвета распростерлась от монохромной цветовой гаммы до максимально разнообразной. Шкала цветовой модуляции переходит от простого немодулиро-ванного цвета к полностью модулированному. Цвет модулирован, когда он неравномерный, например на бледной коже видны голубые вены. Не-модулированные цвета использовали многие художники, например Матисс, однако в изображениях с немодулированным цветом натуралистическое сходство с реальностью теряется. В то же время повышается абстрактная достоверность, изображение становится реальным за счет появления более глубоких смыслов. Точка максимальной достоверности не совпадает ни с одним из концов названных выше шкал, а находится где-то между ними.
Помимо цвета существуют и другие шкалы достоверности. Контек-стуализация - шкала, простирающаяся от отсутствия заднего плана до его полной детализации. Также авторы говорят о такой шкале, как представ-
168
ление деталей, которая на одном полюсе представляет максимальное абстрагирование, а на другом - наибольшее представление деталей. Глубина -шкала, простирающаяся от отсутствия глубины до максимально глубокой перспективы. Существует также шкала освещения, которая переходит от отсутствия света и тени к их наиболее полной игре. Последняя называемая авторами шкала - яркость - ранжируется от максимального количества различных степеней яркости до двух степеней: черного и белого, или темно-серого и светло-серого, или двух значений яркости одного и того же цвета.
Авторы выделяют четыре ориентации кодирования, применимых к различным контекстам, в которых тексты создаются определенными социальными группами. Ориентация на технологическое кодирование основана на прагматическом критерии, т.е. на полезности визуальных представлений для научных или технических задач. Ориентация на сенсорное кодирование основана на ощущениях и используется в контекстах, в которых доминирует получение удовольствия: в рекламе, моде и т.д. Ориентация на абстрактное кодирование зиждется на концептуальном критерии, в котором достоверность представлений тем выше, чем больше изображение сводит конкретное к общему, а детальное представление - к представлению существенных качеств. Данная ориентация используется в науке и высоком искусстве. Ориентация на натуралистическое кодирование базируется на восприятии и остается доминирующей в западном обществе и везде, где западные медиа имеют влияние.
Авторы отмечают, что проблема достоверности особенно сложна в современном искусстве, поскольку оно, в отличие от фотографии, приверженной критериям реализма, во многом нацелено на преодоление реальности. По мнению авторов, считается что-либо достоверным или нет, зависит от социальной группы: то, что одна группа считает заслуживающим доверия, другая может не считать таковым. Достоверность - то, что мы считаем истинным или ложным, в этом и заключается часть силы искусства.
Глава 6.
Значение композиции
В этой главе книги авторы говорят о роли композиции в изображении. Они называют три принципа композиции: ценность информации (information value), обрамление (framing) и салиентность (salience). Эти принципы применимы как к отдельным изображениям, так и к составным визуальным эффектам, которые могут сочетать надпись, изображение и другие графические элементы. Анализируя мультимодальные тексты, авторы предлагают рассматривать их составные части как взаимодополняющие и влияющие друг на друга.
169
Говоря о ценности информации, расположенной в левой и правой частях мультимодального текста, авторы отмечают, что правая сторона -это сторона, которая отводится для нового сообщения (message). На ней помещается, например, приглашение идентифицировать себя с образцом для подражания на развороте журнала, специальное предложение в онлайн-магазине или информация для запоминания в учебнике. Левая сторона - сторона уже данного, поскольку предполагается, что читатель знает что-то об изображенном на ней. Эта сторона является стороной прошлого, тогда как правая - стороной настоящего или будущего. Каждый новый элемент информации, однажды усвоенный, становится данным для информации, следующей за ним. В то же время авторы отмечают, что в культурах, которые пишут справа налево, данное может находиться справа, а новое - слева.
Также отличается информационная ценность элементов, расположенных по вертикальной оси. Если между верхом изображения и его низом существует противопоставление, когда одни элементы композиции размещены вверху, а контрастирующие им - внизу, то размещенное сверху является идеальным (Ideal), а расположенное снизу - реальным (Real). Идеальное -это идеализированная и обобщенная суть информации, ему противопоставляется реальное, являющееся реальностью в том смысле, что оно предоставляет более конкретную, практическую и приземленную информацию, дает больше деталей. Если сверху расположен текст, а снизу изображение -значит текст играет ведущую роль, а изображение - подчиненную.
Второй важнейший элемент композиции - обрамление. Чем оно сильнее у элемента, тем более он отделен от своего окружения. Отсутствие обрамления подчеркивает групповую идентичность. Обрамление может быть реализовано при помощи различных способов, будь то рамки, расстояние между элементами или визуальный контраст. Но обрамление может быть преодолено, если пространство одного элемента перекрывает пространство другого. Чем больше элементов композиции связаны, тем более они представлены как единая единица информации.
Салиентность в пространственно организованных текстах определяется на основе визуальных сигналов. Зрители интуитивно способны судить о «весе» различных элементов композиции, и чем больше «вес» элемента, тем больше его значимость. Линейные тексты являются синтагматическими, в них значение отдельных элементов может быть менее строго «закодировано», тогда как в парадигматических нелинейных текстах больше смысла вкладывается в отдельные элементы композиции, в них определение последовательности и связи остается за читателем.
170
Глава 7.
Материальное производство как семиотический ресурс
В данной главе авторы предлагают рассматривать материальную составляющую текста, т.е. его физическое воплощение, как важную часть создания текста. Они выделяют три основных вида производственных технологий, границы между которыми не являются четкими и могут подвергаться дальнейшей преобразующей семиотической работе. Первый вид - технологии, в которых все аспекты изображения создаются человеческой рукой при помощи ручных инструментов (стамеска, кисти, карандаши). Вторым видом являются технологии записи, позволяющие создавать аналоговое представление того, что они представляют (аудиокассеты, фотографии и пленки). Третий вид составляют технологии, позволяющие производить синтезированные в цифровом виде представления, к которым тем не менее также прикасается рука человека. Современный переход от записи к синтезирующим технологиям означает, что вместе с записью ушла старая техника репрезентации, вместо старого натурализованного отношения идентичности между репрезентацией и референцией установилось отношение между репрезентацией и значением.
Данная классификация построена на способе создания изображений, однако не менее важно, какую модальность используют при восприятии и распространении (modes of reception and distribution) изображений. Некоторые поверхности, например экраны кинотеатра или стены, подходят для всеобщего восприятия, а другие, такие как книги или экран компьютера, -для личного. Медиа играют решающую роль в устранении разделения на частное и общественное, которое было характерной чертой индустриального общества, и в фрагментации массового общества на нишевые группы, основанные на «установках» и моделях потребления. Сейчас, в отличие от предыдущих периодов, поверхность, на которой просматривается текст, не всегда совпадает с той, на которой он был написан.
Говоря о значении материальности, авторы отмечают, что знаки чем-то мотивированы, поэтому, например, статуи, воздвигнутые в память о героических фигурах, сделаны из долговечных материалов, пригодных для обозначения постоянства, а определенные камни и цветы становятся символами любви из-за их редкости или формы, цвета, аромата. Материальное производство включает в себя взаимосвязанные семиотические ресурсы субстанций и орудий производства. Каждый из этих ресурсов имеет свои собственные семиотические эффекты, а во взаимодействии они создают сложные смысловые эффекты.
Еще одним семиотическим ресурсом является цвет. Вслед за Халлидеем авторы выделяют три функции коммуникативной системы: идеационную, т.е. функцию конструирования представлений о мире; межличностную, которая состоит в осуществлении взаимодействий, характеризующихся конкретными социальными целями или отношениями, и текстовую, функцию упорядочи-
171
вания коммуникативных актов в коммуникативные события или тексты. Существует два источника придания значения цвету: ассоциация, вопрос о том, где мы видели этот цвет раньше; и отличительные особенности цвета, материальные характеристики, которые определяют цвета. Авторы предлагают несколько шкал, по которым может быть определен каждый конкретный пример цвета.
Шкала ценности (value) - серая шкала от наиболее светлого (белого) к наиболее темному (черному) цвету. Шкала насыщенности (saturation) отвечает за то, насколько цвет насыщен, и простирается от наиболее интенсивно насыщенных цветов до самых блеклых оттенков и полного обесцвечивания. Чистота (purity) - шкала от наиболее чистого до наиболее смешанного цвета. Обычно цвета используются с одиночными названиями (синий, зеленый), однако существуют гибридные, смешанные цвета, которые зачастую называются составным названием. Модуляция (modulation) представляет цвета от полностью модулированного, богато текстуриро-ванного разными оттенками, как на картинах Сезанна, до самого плоского цвета, каким он бывает в комиксах. Шкала прозрачности (transparency) показывает, насколько цвет прозрачен, варьируясь от полностью прозрачного цвета до совсем непрозрачного. Светимость (luminosity) - шкала сияния цвета, которая показывает его способность светиться изнутри. Шкала дифференциации (differentiation) простирается от монохромного изображения до использования на нем максимальной цветовой палитры. Тон (hue) - шкала от синего до красного.
Глава 8.
Третье измерение
В восьмой главе авторы говорят о том, насколько могут быть применимы предыдущие рассуждения по отношению к трехмерным и движущимся изображениям. Хотя по большей части семиотические принципы, описанные во второй и третьей главах, применимы к трехмерным объектам, есть и некоторые значимые различия. Во-первых, трехмерные объекты могут быть распложены так, что они видимы только с одной точки или же они могут быть видимы с разных точек, что допускает возможность наличия более одного прочтения объекта. Во-вторых, мы можем по-разному взаимодействовать с трехмерными объектами: возможны отношения, предполагающие только «чтение» зрителем объекта; отношения взаимодействия между пользователем и объектом (например, пить из чашки); концептуальные отношения, созданные пользователем (например, создать синтагму из нескольких разных чашек). В-третьих, внешние условия могут блокировать возможность зрителя взаимодействовать с объектом или рассматривать его с разных сторон, даже если объект обладает к этому потенциалом.
172
В движущихся же изображениях существует своя специфика. Связь между актором и целью может быть показана как при помощи одного кадра, в котором присутствуют и актор, и цель, так и в двух последовательных кадрах, на первом из которых показан актор, а на втором - цель, или наоборот. Кроме того, в отличие от неподвижных изображений, движущиеся изображения могут отображать события, в которых нет ни актора, ни цели. Например, кадры мерцающего света на колышущейся воде создают ощущение чистого процесса, в котором трудно отделить процесс от участников. Помимо этого наряду с нарративными процессами движущиеся изображения могут представлять процессы концептуальные, когда в атрибутах участников происходят изменения цвета, размера или формы. Наконец, у движущегося изображения нет нужны в использовании выносок, поскольку оно может представлять диалог непосредственно через речь.
Как было показано в четвертой главе, положение камеры может создавать символические отношения между зрителями и участниками изображения. В движущемся изображении эти отношения динамичны. Также становится динамичным разделение на требование и предложение, исходящее к зрителю от участников изображения.
К концепции достоверности, о которой говорилось в пятой главе, в случае с динамичными изображениями необходимо добавить фактор движения. Анимированные изображения могут представлять движение с разной степенью реалистичности или абстракции, и это повлияет на суждения о достоверности. Элементы композиции, рассмотренные в шестой главе, тоже применимы к движущимся изображением, они также становятся динамичными. То, что изначально представало как данность, на наших глазах может стать новым, а незаметные участники стать заметными, попав в фокус.
Заключение
Первое издание «Чтения образов» вышло еще в 1996 г., и за эти годы книга успела стать одним из основополагающих методологических трудов в сфере мультимодальных исследований и социальной семиотики. Публикация уже третьего издания этой работы является ярким тому подтверждением.
Книга позволяет прикоснуться к большому спектру инструментов, которые могут быть успешно применены для анализа самых разных видов изображений в разных дисциплинах. Важно отметить, что представленный инструментарий позволяет анализировать не только изображения, но и более широкий пул мультимодальных ситуаций, окружающий нас.
Выход нового издания «Чтения образов» дает отличный повод вернуться к этой книге тем, кто уже встречался с нею ранее, и имеет все шан-
173
сы привлечь внимание тех, кто только начинает знакомство с проблемами семиотической методологии и анализа мультимодальных дискурсов.
Список литературы
Ильин М.В., Фомин И.В. Социальная семиотика: комплексное изучение функциональных и смысловых сторон общественных процессов и явлений // МЕТОД: Московский ежегодник трудов из обществоведческих дисциплин. - М., 2018. - С. 399-403. Bateman J., Wildfeuer J., Hiippala T. Multimodality. - Berlin: De Gruyter Mouton, 2017. - viii,
416 p. https://doi.org/10.1515/9783110479898 Halliday М.А.К. Language as a Social Semiotic: The Social Interpretation of Language and
Meaning. - L.: Arnold, 1978. - 256 p. Hodge R., Kress G. Language as ideology (2nd ed.). - L.; N.Y.: Routledge, 1993. - 230 p. Hodge R., Kress G. Social Semiotics. - Ithaca: Cornell University Press, 1988. - 285 p. Jewitt C., Bezemer J., O'Halloran K. Introducing Multimodality. - L.; N.Y.: Routledge, 2016. -
232 p. https://doi.org/10.4324/9781315638027 Kress G. Early Spelling. - L.; N.Y.: Routledge, 2000. - 256 p. Kress G. Learning to Write (2nd ed.). - L.; N.Y.: Routledge, 1994. - 268 p. Kress G. Multimodality: A Social Semiotic Approach to Contemporary Communication. - L.; N.Y.: Routledge, 2010.
Kress G., van Leeuwen T. Multimodal Discourse: The Modes and Media of Contemporary Communication. - L.: Arnold, 2001. - vii, 142 p. Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design (3rd ed.). - L.; N.Y.:
Routledge, 2021. - 310 p. Van Leeuwen T. Introducing Social Semiotics and Discourse and Practice: New Tools for Critical
Discourse Analysis. - N.Y.: Oxford University Press, 2008. - 172 p. Van Leeuwen T. Speech, Music, Sound. - Basingstoke, L.: Macmillan Press Ltd, 1999. - viii, 240 p. https://doi.org/10.1007/978-1-349-27700-1
D.A. Svirchevskii1 Multimodal approach of G. Kress and T. van leeuwen: reading of visual images
A summary of: Kress G. & van Leeuwen T. (2021). Reading Images: The Grammar of Visual Design (3rd ed.). Routledge.
Keywords: multimodality; semiotics; methods; analysis of images; analysis of visuar images; analysis of multimodal situations.
For citation: Svirchevskii D.A. (2022). Multimodal Approach of G. Kress and T. van Leeuwen: Reading of Visual Images. METHOD: Moscow Quarterly Journal of Social Studies, 2(2). 159-175. http://www.doi.org/10.91249/metodquarterly/02.02.12
1 Dmitrii Svirchevskii, National research university Higher school of economics (Moscow, Russia), e-mail: dasvirchevskiy@edu.hse.ru
174
References
Bateman J., Wildfeuer J. & Hiippala T. (2017). Multimodality. De Gruyter Mouton. https://doi.org/10.1515/9783110479898
Halliday MA.K (1978). Language as a Social Semiotic: The Social Interpretation of Language and Meaning. Arnold.
Hodge R. & Kress G. (1988). Social Semiotics. Cornell University Press.
Hodge R. & Kress G. (1993). Language as ideology (2nd ed.). Routledge.
Ilyin M., & Fomin I. (2018). Social semiotics: Complex study of functional and meaningful aspects of social processes and phenomena. METHOD: Moscow Yearbook of Social Studies, 399-403. (In Russ.)
Jewitt C., Bezemer J. & O'Halloran K. (2016). Introducing Multimodality. Routledge. https://doi.org/10.4324/9781315638027
Kress G. (1994). Learning to Write (2nd ed.). Routledge.
Kress G. (2000). Early Spelling. Routledge.
Kress G. (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Routledge.
Kress G. & van Leeuwen T. (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. Arnold.
Kress G. & van Leeuwen, T. (2021). Reading Images: The Grammar of Visual Design (3rd ed.). Routledge.
Van Leeuwen T. (1999). Speech, Music, Sound. Macmillan Press Ltd. https://doi.org/10.1007/978-1-349-27700-1
Van Leeuwen T. (2008). Introducing Social Semiotics and Discourse and Practice: New Tools for Critical Discourse Analysis. Oxford University Press.
175
