CC BY
67Г. Кресс
СОЦИАЛЬНАЯ СЕМИОТИКА И ВЫЗОВЫ МУЛЬТИМОДАЛЬНОСТИ1
Фрагмент2
Мир семиотики, который «мы» - поколение тех, кому около 40 или больше, - все еще воспринимаем нормальным, изменяется очень быстро, а в некоторых аспектах изменяется неузнаваемо (out of recognition). «Язык», со всей уверенностью считающийся (на «Западе») гарантом того, что определенно является человеческим, рациональным, необходимым для рефлексии, способным выразить любой аспект человеческого существования, оспаривается в этой занимавшейся им до сих пор центральной позиции другими средствами конструирования смыслов, другими средствами формирования идентичности. Соответствующий вызов известен под именем мультимодальности (multimodality). Данная статья освещает некоторые моменты, связанные с этим вызовом, и задает вопросы относительно того, какое значение и какие последствия могут иметь связанные с этим вызовом допущения.
Если в лингвистике отправной точкой для мышления или работы выступает «язык», понимаемый как речь или письмо, то в мультимодальности «материальные» ресурсы языка в своей многочисленности и своем разнообразии выходят далеко за пределы речи и письма. Слово материальные здесь используется в значении, отсылающем к тем феноменам, которые доступны средствам восприятия, (человеческому) сенсориуму.
Постоянно расширяющееся присутствие мультимодальных текстов в мире в целом уже имеет формирующее воздействие на «центральные» аспекты устной и письменной речи, так же как и на принципы композиции
1 Перевод с английского выполнен при финансовой поддержке РГНФ в рамках научного проекта № 16-23-20009 «Семиотика политического дискурса: трансдисциплинарный подход».
2 Полный текст см.: Кресс Г. Социальная семиотика и вызовы мультимодальности // Политическая наука. - М., 2016. - № 3: Политическая семиотика. - Р. 76-99.
418
более высокого уровня: будь то синтаксический (например, формы и типы предложений), текстуальный (интратекстуальные и экстратекстуальные единицы и явления, такие как разбивка на абзацы, организация текста, формы текстуального связывания (forms of cohesion / coherence)), голосовой или другие принципы (например, тон голоса, интонация, принципы и ресурсы создания смысла, помимо синтаксических и лексических).
Очевидно также воздействие мультимодальности на сферу смысла и коммуникации, и вместе с этим - на социальное значение речи и письма. Изменение в среде смысла и коммуникации будет сопровождаться широкой реконфигурацией места, занимаемого «языком», в социальном / культурном / семиотическом / эпистемологическом мирах: он довольно быстро утеряет свое нынешнее центральное место, которое будет замещено другими модусами (modes). Последствия этого для эпистемологии и онтологии в целом, а с ними и для каждого аспекта культуры, сейчас не могут быть по-настоящему оценены.
Указанные эффекты будут иметь далеко идущие последствия. Например, то, что до сих пор делалось с помощью речи или письма, будет делаться с помощью других семиотических средств. Понятие может быть объяснено уже не «словами», а изображением или жестами. То есть если раньше язык рассматривался как ресурс, который предлагает «метаязык» с его «метаформами», то теперь другие модусы берут на себя роль обеспечения «метаформами», специфичными для конкретных модусов. Все чаще мультимодальные знаковые композиции вытесняют привычные, в большинстве своем исключительно письменные тексты. Это уже, очевидно, относится к коммуникативным практикам и представлению информации в «новых медиа». Все это изменит наше настоящее, а также до сих пор традиционное и относительно безопасное ощущение того, для чего нам нужны речь и письмо. Все это разворошит, а потом и разрушит наше (все еще) присутствующее представление о центральном положении речи и письма в социально-семиотическом мире.
В этой турбулентной (социальной и) семиотической среде каждый элемент влияет на все другие. Это относится и к решающему фактору, не упоминавшемуся до сих пор: влиянию современных культурных технологий, вовлеченных в процесс производства смыслов и распространения смы-слов-как-текста (meaning-as-text). Говоря о «технологиях», я имею в виду целый ряд социально сконструированных культурных ресурсов, которые участвуют в создании значащих материалов (meaning materials); оказывают формирующее влияние в отношении производимых смыслов и участвуют в отображении (display) и распространении этих смыслов-как-текстов. Они являются, во-первых, технологиями представления (technologies of representation) - модусами (modes), используемыми при изготовлении значащих материалов (meaning materials); во-вторых - технологиями производства (technologies of production) как материальных ресурсов вроде ручек, бумаги, приборов (цифровых и не цифровых), так и нематериальных
419
семиотических ресурсов вроде жанров, фреймов, средств связывания (cohesive devices), дискурсов; в-третьих, они являются технологиями отображения / дистрибуции / распространения смыслов-как-сообщений (display / distribution / dissemination of meanings-as-messages), т.е. медиа в широком значении слова, как традиционными, так и новыми. Все это имеет особое влияние на процесс создания текстов-как-сообщений.
В социальных и гуманитарных науках мультимодальность - явление новое: ему пока еще не больше 20 лет. Тем не менее энергичное и полное энтузиазма распространение данной концепции означает, что уже существуют значительные различия как в понимании и использовании соответствующего термина, так и в эмпирическом взаимодействии с мультимодальностью.
Контуры мультимодальности в теории социальной семиотики
Не представляется возможным говорить «от имени» мультимодаль-ности, ведь не существует никакого согласованного определения мультимо-дальности как таковой. Во-первых, будь то в данной дискуссии или в других, в использовании термина мультимодальность часто имеют место неясность и неустойчивость: непонятно, что имеется в виду, - наименование самого явления во «внешнем» социально-семиотическом мире или название «подхода» - теории об исследованиях и практиках вокруг этого явления.
Во-вторых, наполнение термина и его использование зависят от интересов и потребностей практиков, исследователей или теоретиков. Отношение к термину мультимодальность и его использование в общей области гуманитарных и социальных наук варьируются в широком спектре: от того, что можно было бы охарактеризовать как «позицию здравого смысла» (common sense positions), к «позиции теории» (theory-based positions). Внутри этих позиций также наблюдаются существенные различия. Исследователи и теоретики, придерживающиеся позиции, основанной на здравом смысле, как правило, оставляют свои существующие теоретические рамки и допущения без изменений, разве что с какими-то «поверхностными» поправками на периферии. Те же, кто придерживается позиции, основанной на теории, как правило, интегрируют мультимодальность в теоретические рамки, которые используют. Проясню свою собственную позицию: она основывается на теории, сфера интересов которой сосредоточена вокруг проблем смысла (meaning), производства смыслов (meaning-making), производителей смыслов (meaning-makers) и агентивности (agency). Используемая мной теоретическая рамка - это социальная семиотика, для которой все эти вопросы находятся в фокусе.
«Позиция здравого смысла» может быть выражена такой репликой, как: «Знаете, я всегда занимался мультимодальностью» - со многими вариациями, например: «Мультимодальность была всегда; в этом нет ничего нового»; «Когда я читаю роман, я очень хорошо осознаю его мультимо-
420
дальность, скажем, в диапазоне метафор, в нем используемых»; «Конечно же, я обращаю внимание на образы, где бы они ни использовались»; или «Что заставляет вас думать, что язык и письмо больше не важны?» Лингвист может сказать раздраженно: «Разумеется, я отдаю себе отчет в том, что есть "тон голоса" и "выражение лица"; и да, я знаю, что это значит! Но экстралингвистические характеристики - не моя забота: на то они и экстралингвистические !» В рамках этих распространенных позиций, будь то в практической деятельности или в исследованиях, мультимодальность часто рассматривается как «добавление еще чего-то, чему стоит уделить внимание». «Добавление» ощущается как «увеличение рабочей нагрузки», «увеличение сложности исследовательских материалов» или как «рассеивание внимания, отвлечение от реальной направленности работы» и т.д. В ходе проведения исследований возражения могут возникнуть в форме: «Скажи мне, у кого есть время на расшифровку всего этого?»
«Позиция добавления» бьет мимо цели. Ведь как и во всех усилиях по теоретизированию, цель здесь состоит в том, чтобы наилучшим образом разобраться, каков «мир, попавший в кадр», и понять, как его можно описать. На самом общем уровне цель состоит в том, чтобы добиться всеобъемлющего преобразования взгляда на проблемную область и превратить этот новый взгляд в общепринятый базис научных исследований и практической деятельности.
На другом конце спектра представлены «позиции теории». Здесь мультимодальность (в «сильном смысле») рассматривается как составляющая интегрированная, когерентная область источников по вопросам, занимающим центральное место в соответствующей дисциплине и теории. Учитывая новизну мультимодальности, ни саму эту область с попытками ее теоретизирования, ни ее категории и сущности нельзя считать полностью изученными, описанными, установленными. Большинство ученых, работающих с мультимодальностью, понимают, что многие, если не все культурные ресурсы для представления, включенные в рамки мультимо-дальности, были ранее объектом продолжительного и пристального внимания в ряде других отдельных дисциплин. История искусства имеет дело с изображением; психология - с жестами; литературоведение - с письмом; киноведение - с движущимися изображениями, освещением, музыкой, звуковым сопровождением; антропология - с танцем. В каждом случае соответствующая дисциплина привнесла свои вопросы в изучение конкретного культурного ресурса - изображения или, скажем, движения - и разработала собственное понимание этого ресурса с точки зрения своих специфических вопросов. Часто несколько дисциплин уделяют внимание одному и тому же ресурсу, и не менее часто одна дисциплина уделяет внимание сразу нескольким ресурсам.
Мультимодальность - не теория; она очерчивает область социально-семиотического действия и взаимодействия - как с исследовательской, так и с прикладной точки зрения. Иными словами, мультимодальность назы-
421
вает и описывает область для работы, но она не является теорией. Тем не менее раз уж есть некоторая расширенная область рассмотрения, то есть и потребность в интегрирующей теоретической рамке, которая была бы полностью приспособлена для всех входящих в рассматриваемую область сущностей и позволяла бы их объяснять. И в то время как мультимодаль-ность фокусирует внимание на области рассмотрения, теория - ею может быть социальная семиотика - предоставляет категории и инструменты (их большую часть).
Все, кто работают с мультимодальностью (в качестве исследователей, теоретиков, практиков), работают в рамках своей конкретной дисциплины и ее теорий. Это обеспечивает, явно или нет, интегрированный подход к мультимодальности, а также к соответствующим дескриптивным и аналитическим инструментам (их большинству). Это может быть археология, теория музыки, психология, музееведение, педагогика. Конкретная дисциплина и теория совместно формируют виды вопросов, которые ставятся перед мультимодальностью или, наоборот, которые стало возможным поставить в широких рамках мультимодальности. Социальной семиотикой как всеохватывающей и интегрирующей теорией виды вопросов уже в основном сформированы - это вопросы о смысле и производстве смыслов, о ресурсах для производства смыслов и о социальных агентах как производителях смыслов, а также о характеристиках среды, в которой эти агенты действуют. Существенны при этом риторически ориентированные вопросы агентивности (agency) и аудиентивностей (audiences), а также вопросы о распределении власти.
Категории социальной семиотики отображают социальные интересы и потребности сообществ, члены которых выработали и оформили свои семиотические ресурсы, а также постоянно их (пере)оформляют. Они включают в себя как материальные средства, модусы (modes), так и нематериальные - концептуальные средства, категории, которые формируют социальный и культурный мир. Это категории для представления сущностей, действий и отношений; это жанры, фреймы, формы текстуального связывания (forms of cohesion); категории осмысления времени, пространства; виды реализма и фактуальности и т.д. В социальном семиотическом подходе к мультимодальности все модусы вместе с этими нематериальными семиотическими категориями составляют одну интегрированную область культурных и / или семиотических ресурсов сообщества.
На данной стадии разработки понятия мультимодальности важно поставить вопрос о том, какие теоретические допущения могут предоставить единый и согласованный подход к мультимодальности как «проекту».
Минимально таких допущений два или, может быть, три. Первое таково: «языка» самого по себе, будь то в качестве речи или в письменной форме, уже недостаточно в качестве «единственного», «центрального», «магистрального» пути доступа к основополагающим вопросам некоторых дисциплин. Второе допущение может быть следующим: все модусы в со-
422
вокупности составляют интегрированный ресурс, при этом каждый из модусов реализует специфические значимые характеристики своих аффор-дансов (affordances). Третье: если рассматриваются несколько модусов, независимо от используемой теории, все они должны быть теоретическим образом интегрированы на каком-то уровне общности.
«Мульти»- в слове мультимодальность предполагает, что существует целый ряд модусов, общедоступных для воспроизводства всеми членами сообщества. Многие (хотя и не все) модусы встречаются в широком диапазоне сообществ: таковы, например, письменность, жесты, изображения. С другой стороны, устная речь является модусом, недоступным для членов сообщества «с нарушениями речи».
Мультимодальность в социальном мире
Способы оформления материальных «вещей» в модусы будут различаться в соответствии с тем, каковы характерные для того или иного общества насущные и всех затрагивающие вопросы, практики, ценности, потребности, требующие средств артикуляции, а также в зависимости от того, какие аффордансы «присущи» материалу, из которого обществом cформированы модусы. Ценность семиотических ресурсов неизбежно будет варьироваться в зависимости от сообщества. Социальный / культурный / семиотический мир каждого сообщества зависит от того, как ценятся, воспитываются и развиваются те или иные средства восприятия. В семиотическом мире тех, кто не «имеет» «зрения», звуки и «слух» будут иметь совершенно иное положение, нежели в «зрячем» сообществе.
Разные сообщества «заселяют» свой социальный мир разными «именами». То, что требовало (требует) способа «быть проявленным», получает (может получить) имя или другое знаковое средство в определенном модусе (жест, изображение и т.п.). Такие потребности могут совпадать в различных сообществах, но это необязательно, и именно поэтому возникают «семиотические пробелы» (semiotic gaps) не только в устной и письменной речи, но и во всех модусах, используемых в сообществах. Случай модуса жестикуляции наиболее очевиден для большинства из нас. Не будучи французом, я осознаю проблему «жестикуляционных пробелов» в моем семиотическом репертуаре, когда нахожусь во Франции. В отношении жестикуляции, как во всех других случаях, будут иметь место взаимодополняемость и различность как между сообществами и внутри одного сообщества, так и между их культурными / модальными ресурсами. Лексические пробелы в речи или явные различия в жестикуляции
1 Аффорданс (от англ. affordance «возможность», от англ. afford «предоставлять, позволять себе») - побудительное, «приглашающее» качество объекта, показывающее способ использования этого объекта. Термин используется в психологии и дизайне. - Прим. пер.
423
указывают на социальные отношения, из-за которых не возникает запроса на появление соответствующих имен или, например, жестов. Того, в чем сообщество не нуждается, оно не производит.
Наличие нескольких модусов способствует взаимнодополняемости (complementarity) в дизайне модальных ансамблей: то, что является недостающим «здесь», в этом модусе, вероятно, будет присутствовать «там», в другом модусе. Два или три (или даже больше) модусов, используемых в сочетании друг с другом, могут совместно предоставлять средства для выражения того, что создатель сообщения хочет выразить.
Как уже было сказано, по разным причинам определенные модусы не могут существовать в некоторых сообществах. Многие сообщества по всему миру до сих пор не развили свой способ оставления следов на поверхности до модуса письма. А там, где этот способ был выработан, он, конечно же, был выработан очень по-разному. Это видно из существования глубоко различных систем письменности и разных задач, для решения которых этот материальный / семиотический ресурс использовался. Назначением письменности могла быть фиксация разных культурно значимых факторов - исторических, экономических, мифологических и др. Если модус отсутствует в данном сообществе, то причиной этого может быть то, что его присутствие не было важно для эффективного функционирования данного сообщества. Сообщества «с нарушениями речи» не могут развить модус устной речи; вместо этого они развили материальные аффордансы диапазона телесных средств производства знаков, используя в качестве средств артикуляции телесные и двигательные комбинации - жесты, мимику и т.д., получив в итоге семиотический модус высокой сложности: четырехмерный модус, сочетающий логику времени и пространства.
При коммуникации несколько модусов всегда используются вместе, образуя модальные ансамбли (ensembles of modes), в которых средства каждого модуса используются для задач, которые, как кажется производителю знаков, в определенной ситуации наиболее точно выполняются именно этим модусом. Использование сочетаний модусов предоставляет более полный набор средств для передачи смысла, по сравнению с относительно скудными возможностями языковых модусов устной и письменной речи, особенно в том смысле, в котором их понимают лингвистические теории.
Материальные «вещи» обладают присущими им качествами и характеристиками, их можно рассматривать в качестве семиотического потенциала для формирования модусов. Звук существует во времени, т.е. он сопряжен с логикой темпоральности; скульптура и неподвижное изображение располагаются в пространстве и поэтому сопряжены с его логикой. Но несмотря на то что звук и жест подчиняются логике времени, их материальности отличаются. И оба они отличаются от, скажем, модуса (неподвижного) изображения или любых модусов трехмерных объектов: как в терминах пространственных и / или временных различий, так и в аффор-дансах материала (material affordances), которые каждый из модусов - зву-
424
ка или жеста - использует для выработки материализованного смысла. С учетом различий в характеристиках исходного материала социально-семиотический подход рассматривает речь и письмо в качестве отдельных модусов и фокусируется на специфических аффордансах, характерных для каждого из них. Такие расхождения в аффордансах вытекают как из материальных различий, так и из особенностей социального развития этих модусов. Стало быть, можно говорить о языке как о неточной и вводящей в заблуждение категории; и это становится особенно явственным, когда мы имеем дело с обществами с неалфавитной письменностью.
Мультимодальный ансамбль - полученный в результате дизайна комплекс различных модусов (designed complex of different modes) - можно рассматривать либо как знаковый комплекс (sign-complex), либо как текст. В первом случае упор делается на его модальной композиции; во втором - на его объектной функции, обычно в процессе интеракции: например, при рассмотрении в качестве «сообщения». Производитель смысла объединяет знаки разных модусов в семантически когерентное целое. Каждый из знаков (в своем специфическом модусе) играет определенную роль в составлении смысла всего ансамбля, с точки зрения производителя. То есть смысл в целом возникает из вклада каждой части в ее взаимодействии со всеми другими частями. Комплексный модальный ансамбль является результатом семиотической работы (semiotic work) по дизайну, выполняемой его производителем. В качестве сообщения этот ансамбль становится предметом последующей семиотической работы по интерпре-тации-как-редизайну (interpretation-as-redesign), выполняемой тем, кто провзаимодействует (engage) c сообщением / ансамблем. Если учесть, что комплексный смысл (как для изначального производителя (maker), так и для последующего переработчика (re-maker)) зависит от всех частей рассматриваемого ансамбля / текста, то становится очевидным, что вклад каждого элемента в отдельности, каждого знака в каждом модусе обеспечивает лишь часть смысла целого, т.е. вклад каждого модуса в общий смысл лишь частичен, парциален.
Из парциальности модусов следует ряд глубоких выводов. Если каждый модус парциален, то устная речь и письмо тоже парциальны (помимо того что они существенным образом друг от друга обособлены). Это подрывает давнее, уже даже представляющееся естественным предположение о достаточности «языка» для удовлетворения всех потребностей человека, связанных с социальностью, репрезентацией и коммуникацией. Это свойство языка прежде рассматривалось как его эксклюзивная характеристика. Теперь же возникает предположение о том, что пока мы ограничиваем себя изучением «языка», мы имеем дело лишь с парциальными смыслами комплексного сообщения. И вопрос о «языке» в мультимодальности - это вопрос о том, в какой степени устная речь или письмо, а равно и другие модусы, в этом комплексном сообщении парциальны.
425
С точки зрения мультимодальной перспективы социальной семиотики нецелесообразно и неуместно отдавать предпочтение тому или иному виду модуса. Скорее, релевантными и помогающими что-то понять вопросами могли бы быть следующие: каких целей позволяет достичь каждый из модусов? Что может сделать один из модусов, чего другие не могут? Какие социальные оценки существуют в отношении каждого из модусов и в отношении того, что каждый из модусов делает? [...]
Смысл мультимодальности как раз заключается в исследовании потенциала различных имеющихся средств выражения взглядов, позиций и фактов, а также в создании возможностей для воспроизводства того, что лучше всего подходит для решения конкретной задачи или удовлетворения конкретной потребности. Визуальное «утверждение» («statement») -мир показанный - «схватывает» аспекты «попавшего в кадр мира», которые отличаются от вербального «утверждения», позволяющего понять мир рассказанный.
Как модусы, изображение и письмо предлагают различные линзы, обеспечивают различные точки зрения. Но изображение может побудить к размышлениям в не меньшей степени, чем, скажем, стихотворение. Даже если это происходит (гносеологически и стилистически) совершенно по-разному и с использованием совершенно разных ресурсов.
Для того чтобы получить представление о композиционных принципах и процессах, проявляющихся в мультимодальном тексте или в отдельных его частях, будь то веб-сайт или любой другой текст, можно использовать такие процессы, как коммутация или субституция, заимствованные из структуралистских лингвистических теорий. Коммутация (инвертирование порядка выбранных элементов внутри структуры) может показать, какие семиотические / смысловые эффекты производит или может производить изменение в способе упорядочения элементов. Это позволяет обнаружить, что мы имеем дело с «позициями» в структуре. Субституция показывает, какие элементы / единицы могут находиться на той или иной позиции, и таким образом выявляет классы сходных элементов.
Применение коммутации и субституции к мультимодальным текстам обнаруживает композиционные позиции и элементы, принципы и смысловые эффекты, которых в письменных текстах не существует. То есть существуют элементы, которые не эквивалентны, скажем, «субъекту» или «объекту», «предложению» или «параграфу». Эти элементы относятся к ресурсам мультимодального производства текстов и к текстам другого вида. Их «синтаксис» - их принципы композиции - приводят к появлению смыслов, характерных для текстов такого рода, но не тех, что конституируются модусом письма.
Выше я уже прибегал к использованию некоторых терминов и категорий, не относящихся к лингвистике. Потребность в таких понятиях становится все более очевидной при анализе того, как информация представлена на экране или на страницах журнала. Лингвистика не может
426
обеспечить всех средств, необходимых для работы с такими способами представления информации, хотя некоторые из предоставляемых ею инструментов и можно использовать. Мультимодальность, однако, пока и сама не в состоянии обеспечить такой комплексный инструментарий. Она предлагает некоторые термины (например, оркестровка (orchestration), мульти-модальный комплекс (multimodal complex), знак (sign), комплексный знак (complex sign), знаковый комплекс (sign-complex), модульность (modularity), аффорданс (affordance)), обязанные своим происхождением «семиотическому взгляду» в описании и анализе.
Процессы коммутации или субституции приводят к изменению смысла, как это делают все семиотические процессы, - тонкому, но значительному. Чтобы в этом убедиться, попробуйте, например, поменять местами модули с текстом и картинками на каком-нибудь интернет-сайте. Будучи примененными к мультимодальным текстам, коммутация и субституция помогают обнаружить единицы («модули») и смысловые эффекты (подобные, вероятно, «ориентации»), которые происходят из устной речи или письма. Если же мы, однако, поднимемся «на один уровень вверх» в обобщении, то сможем распознать сходство с эффектами (и смыслами) расположения (arrangement), упорядочения (ordering) и син-тагматизации (sequencing), которые связаны с «ориентированием» (orienting) семиотического материала в определенных направлениях. На этом общем уровне прослеживаются аналогии с лингвистическими модусами: просматривается что-то вроде темы, вроде разделения на данное и новое (в лингвистике Холлидея) или на фокус и топик (в других лингвистических теориях). При работе с изображениями категории расположения и упорядочения необходимы для выполнения функций и передачи смыслов, аналогичных таковым в других модусах, в том числе в устной речи и на письме. При работе с изображениями они могут быть использованы для реализации таких смыслов, как центральность и маргинальность.
Три момента здесь стоит отметить особо. Во-первых, путем перемещения «на уровень вверх», к более абстрактным категориям, мы посредством обобщения раскрываем семиотическое сродство между различными модусами. Лингвистика перестает быть доминирующей дисциплиной: она представляется частью более крупной семиотической рамки. Во-вторых, становится очевидным, что текст, организованный по модульному принципу, ближе - в плане определенных правил расположения единиц - к модусу изображения.
Третий момент связан с вышеизложенным несколько менее непосредственно. Одной из причин критики в адрес мультимодальности или социальной семиотики (обусловленной своего рода «похмельем» после эпохи «языкового доминирования») является то, что восприятие изображения (или жеста, музыки и большинства других нелингвистических модусов) и смыслов, порождаемых этими модусами, «чисто субъективно». Все модусы являются продуктом социально-семиотической работы (social-
427
semiotic work) членов сообщества, так же как и модусы устной и письменной речи. Они отображают закономерности, присущие сообществам, которые выработали эти модусы, по-разному в случае каждого из модусов, но не менее регулярным образом. Общие виды принципов, о которых только что шла речь - коммутация, субституция, - способны быстро выявить закономерности формы, расположения и смысла во всех этих модусах. Тот факт, что очень мало или вообще никакого теоретического внимания не было до сих пор уделено этим модусам с семиотической точки зрения, дает веские основания для того, чтобы сделать акцент на работе по установлению того, какие единицы, элементы и принципы лежат в основе этих модусов. Недостаточность или почти полное отсутствие работы в этом направлении не дает никакого права утверждать, что эти модусы не организованы в терминах семиотических принципов. [...]
Список литературы1
BarthesR. Mythologies. - L.: Paladin, 1973. - 158 p. Bauman Z. Liquid modernity. - Cambridge: Polity Press, 2000. - vi, 228 p. Bezemer J., Kress G. The textbook in a changing multimodal landscape // Language in multimodal contexts / N. Klug, H. Stockl (eds). - Berlin: De Gruyter, 2015. - In print. Holding the scalpel: Achieving surgical care in a learning environment / Bezemer J., Cope A., Kress G., Kneebone R. // Journal of contemporary ethnography. - Thousand Oaks, CA, 2014. -Vol. 43, N 1. - P. 38-63. Bezemer J., Kress G. Touch: A resource for making meaning // Australian journal of language
and literacy. - Perth, W.A., 2014. - Vol. 37, N 2. - P. 77-85. Learning in the operating theatre: A social semiotic perspective / Bezemer J., Kress G., Cope A., Kneebone R. // Work-based Learning in Clinical Settings: Insights from Sociocultural Perspectives / V. Cook, C. Daly, M. Newman (eds). - Abingdon: Radcliffe, 2012. - P. 125-141. Bezemer J. Displaying orientation in the classroom: Students' multimodal responses to teacher
instructions // Linguistics and education. - N.Y., 2008. - Vol. 19, N 2. - P. 166-178. Bezemer J., Kress G. Writing in multimodal texts: A social semiotic account of designs for learning // Written communication. - Thousand Oaks, CA, 2008. - Vol. 25, N 2. - P. 166-195. Franks A. Drama education, the body and representation (or, the mystery of the missing bodies) // Research in drama education: The journal of applied theatre and performance. - Colchester, 1996. -Vol. 1. - P. 105-119.
The Routledge handbook of multimodal analysis / Jewitt C. (ed.). - L.: Routledge, 2014. - xxiv, 339 p.
Kress G. Sentence complexity in contrastive linguistics // (ERIC) Papers in contrastive linguistics /
G. Nickel (ed.). - Cambridge: CUP, 1971. - P. 97-102. Kress G. Before writing: Rethinking the paths to literacy. - L.: Routledge, 1997. - xxii, 175 p. Kress G. Text as the punctuation of semiosis: Pulling at some of the threads // Intertextuality and the media. From genre to everyday life / U.H. Meinhof, J. Smith (eds). - Manchester: Manchester univ. press, 2000. - P. 132-153.
1 Здесь представлен список работ, повлиявших на оформление моих рассуждений о мультимодальности, приведенных в этой статье.
428
Kress G., Leeuwen T. van. Reading images: A grammar of visual design. - L..: Routledge, 2006. - x, 288 p.
English in urban classrooms: Multimodal perspectives on teaching and learning / Kress G., Jewitt C., Bourne J., Franks A., Hardcastle J., Jones K., Reid E. - L..: RoutledgeFalmer, 2005. - 184 p.
Lindstrand F., Insulander E. Setting the ground for engagement: Multimodal perspectives on exhibition design // Designs for learning. - Stockholm, 2014. - Vol. 5, N 1-2. - P. 30-49.
Mavers D. Children's drawing and writing: The remarkable in the unremarkable. - L.: Routledge, 2011. - xix, 143 p.
New London Group. A pedagogy of multiliteracies: Designing social futures // Harvard educational review. - Cambridge, Mass., 1996. - Vol. 66, N 1. - P. 60-92.
Newfield D. Transformation, transduction and the transmodal moment // The Routledge handbook of multimodal analysis / C. Jewitt (ed.). - L.: Routledge, 2014. - P. 100-113.
Pelletier C. Learning through design: Subjectivity and meaning in young people's computer game production work: PhD dissertation. - L.: Univ. of London, 2007. - 312 p.
Stein P. Multimodal pedagogies in diverse classrooms. Representation, rights and resources. -N.Y.: Routledge, 2008. - xii, 170 p.
Multimodal semiotics: Functional analysis in contexts of education / Unsworth L. (ed.). - L.: Continuum, 2008. - ix, 257 p.
Ritual and identity. The staging and performing of rituals in the lives of young people / Wulf C., Althans B., Audehm K., Bausch C. et al. - L.: Tufnell, 2010. - xviii, 187 p.
Yandell J. The social construction of meaning. Reading literature in urban English classrooms. -L.: Routledge, 2013. - xiv, 197 p.
Пер. с англ. Т.Ш. Адильбаев, И.В. Фомин
429
