CC BY
419
М.В. ГАВРИЛОВА*
СОЦИАЛЬНАЯ СЕМИОТИКА: ТЕОРЕТИЧЕСКИЕ ОСНОВАНИЯ И ПРИНЦИПЫ АНАЛИЗА МУЛЬТИМОДАЛЬНЫХ ТЕКСТОВ
Аннотация. Социальная семиотика - новое междисциплинарное направление, изучающее материальные ресурсы коммуникации и способы их социально регламентируемого использования. В статье рассмотрены основные категории, методологические подходы, принципы и методика анализа мультимодальных текстов.
Ключевые слова: социальная семиотика; мультимодальность; дискурс; коммуникация.
M.V. Gavrilova Social semiotics: Theoretical foundations and principles of analysis of multimodal texts
Abstract. Social semiotics is a new interdisciplinary field that explores material resources of communication and the way their uses are socially regulated and the social regulation of their use. The article discusses the basic concepts, methodological approaches, principles and methods of analysis of multimodal texts.
Keywords: social semiotics; multimodality; discourse; communication.
В конце XX - начале XXI в. наблюдается дальнейшее развитие семиотики, появляются новые направления: политическая се-
* Гаврилова Марина Владимировна, доктор филологических наук, доцент, профессор департамента прикладной политологии НИУ ВШЭ - Санкт-Петербург, e-mail: politlinguistics@yandex.ru
Gavrilova Marina, Higher School of Economics (Saint-Petersburg, Russia), e-mail: politlinguistics@yandex.ru
миотика, социальная семиотика, когнитивная семиотика, визуальная семиотика, организационная семиотика, киберсемиотика и др. Социальная семиотика1 - это тип междисциплинарных аналитических исследований коммуникации, призванный объяснить процесс создания значения в качестве социальной практики.
Истоки социальной семиотики
На формирование социальной семиотики оказали влияние три научных направления: системная функциональная лингвистика (или системно-функциональная грамматика) Майкла Халлидея, структурная семиотика и критическая лингвистика.
Понятие «социальная семиотика» было введено в научный оборот Халлидеем в 1978 г. в книге «Язык как социальная семиотика: социальная интерпретация языка и значения». В ней ученый представил теорию системной функциональной лингвистики, ставшую итогом его работы в рамках так называемой британской школы контекстуализма2. Выражение язык как социальная семио-
1 В научной литературе встречаются различные наименования направления: sociosemiotics (европейская традиция) и social semiotics (англо-австралийская традиция). Кроме того, в англоязычных исследованиях существует различие в орфографическом написании словосочетания Social semiotics и Social Semiotics. Когда оба слова пишутся с прописных букв, это обозначение научного направления, а когда лишь первое слово (прилагательное социальный) пишется с прописной буквы, то это указание на расширение исследовательского поля традиционной семиотики (например, семиотика социальной коммуникации). Далее в тексте для краткости изложения мы будем использовать наименование социосемиотика.
2 Британская школа контекстуализма - это возникшее в конце 1960-х годов научное направление, участниками которого являются М. Халлидэй (M. Halliday), Дж. Мартин (J. Martin), К. Маттисен (C. Matthiessen) и др., оказавшие большое влияние на формирование и развитие социальной семиотики. Данная школа рассматривает язык в его лингвистическом и нелингвистическом контекстах. Эта теория языка находилась, с одной стороны, под влиянием антропологии, в частности идей Бронислава Малиновского о значимости контекста ситуации и контекста культуры, окружающих поведение человека [Malinowski, 1935]. С другой стороны, лингвистические основы школы базируются на теории языка Джона Фёрса [Firth, 1957], где говорится о необходимости соотносить функции элементов языка с контекстом, в котором они возникают. Фёрс (учитель Халлидея) считал, что язык встраивается как в контекст культуры, так и в ситуационный контекст коммуникативного события.
тика понималось как «интерпретация языка в социокультурном контексте, в котором культура в свою очередь толковалась в семиотических терминах» [Halliday, 1978, p. 2].
Перечислим основные положения лингвистической теории Халлидея, оказавшие влияние на формирование теоретических основ социосемиотики.
1. «Язык - это социальный факт» [ibid., p. 1], т.е. язык рассматривается как форма деятельности, как осуществление социальных отношений и процессов: «Посредством повседневных актов означивания люди обнаруживают / обнажают социальную структуру, подтверждая свои статусы и роли, утверждая и передавая общепринятую систему ценностей и знаний» [ibid., p. 2]. Это утверждение относится ко всем семиотическим кодам.
2. «Мы не сможем прийти к пониманию природы языка, если будем отвечать только на те исследовательские вопросы, которые сформулированы лингвистами» [ibid, p. 3]. Иными словами, пребывая в дисциплинарной изоляции, лингвистика и семиотика не способны понять природу изучаемого объекта.
3. «Поскольку язык выполняет определенные функции, одно из его предназначений - служить людям» [ibid., p. 4]. Таким образом, функциональный подход является ключевым для установления и развития связи между семиотикой и обществом, структурой и функцией. Отметим, что Халлидей понимал функцию как роль, которую те или иные классы слов выполняют в структуре единиц более высокого уровня.
4. Существуют три функции (метафункции) языка: идеационная (конструирует представления о том, что происходит в мире), межличностная (конструирует коммуникативное взаимодействие), текстовая (способность говорящего создавать тексты). Все эти функции реализуются в каждом высказывании и всегда одинаково для него важны.
5. Язык - это семиотическая система, но не в смысле системы знаков, а как общий ресурс для означивания. Язык развивается как система «потенциала означивания» (a meaning potential) [Halliday, 1978, p. 39] и воспроизводится «как обособленная сеть возможных вариантов значения» [ibid., p. 113]. При этом «потенциал означивания» («могу (об)означить») является лингвистическим осуществлением поведенческого потенциала («могу (с)делать») посредством использования лексико-грамматического потенциала («могу сказать»).
6. Важным положением теории системной функциональной лингвистики является тезис о реализации языковой функции в контексте. Язык понимается как источник для создания значения и конструирования опыта. Тексты принадлежат языковой системе и детерминированы ситуационным контекстом, чья семиотическая структура, в свою очередь, детерминирована контекстом культуры.
Представители социальной семиотики, признавая достижения структурной семиотики, развили и переосмыслили некоторые ее положения, например понятия язык, знак, интерпретация (семи-озис), модель знака. Так, под влиянием идей Халлидея язык (langue) как знаковая система замещен понятием семиотический ресурс (semiotic resource), под которым понимаются «действия, материалы, артефакты, используемые в целях общения и произведенные физиологически (артикуляционный аппарат, мимика и жесты и др.) или технологически (ручка, краски, компьютерные программы и др.), а также способы организации этих ресурсов» [Leeuwen, 2005, p. 285]. При этом семиотические ресурсы обладают «потенциалом означивания», основанным на их использовании в прошлом, и набором допущений об их возможном использовании в будущем в определенных социальных контекстах. Эта характеристика знака перекликается с идеей Халлидея о том, что «грамматика языка не является кодом, набором правил для производства правильных предложений, но есть ресурс для создания значений» [Halliday,1978, p. 192].
Социальная семиотика пересматривает принцип произвольности языкового знака, предложенный Ф. де Соссюром. Согласно этому принципу, связь означающего и означаемого произвольна, не мотивирована. Однако в статье Кресса с характерным названием «Против произвольности» автор утверждает, что значение знака создается в процессе его использования: «Знаки всегда мотивированы интересами его производителя и характеристиками выбранного для критического анализа текста» [Kress, 1993, p. 173].
В книге Роберта Ходжа и Гюнтера Кресса «Социальная семиотика» авторы обращают внимание на использование семиотических систем в социальной практике. Они заявляют, что социальная власть текстов в обществе зависит от интерпретации, которая в некоторых случаях может противоречить коммуникативной цели отправителя. Это положение авторы иллюстрируют примером вербального сопротивления феминистских активистов, стирающих
сексистское рекламное сообщение и распыляющих на нем новый альтернативный текст [Hodge, Kress, 1988].
Следует отметить, что Ходж и Кресс понимают семиозис как динамический процесс. Они объясняют изменения в интерпретации знака, обращаясь к модели знака Ч. Пирса, изображающей «действие» знака как неограниченный процесс бесконечного се-миозиса, где один «интерпретант» (идея, связанная со знаком) производит другой. Поток этих постоянных процессов интерпретации ограничен материальным миром («объект») и культурными правилами мысли (cultural rules of thought) или «привычкой» [ibid., p. 20]. Кроме того, авторы считают важным изучать, как индивидуальная креативность, изменяющиеся исторические условия и новые социальные идентичности меняют образцы создания и использования знака, значение которого не закреплено неизменными кодами (как в семиотике Соссюра). Знак рассматривается как ресурс, который люди используют и приспосабливают, чтобы создавать значение.
Таким образом, в отличие от семиотики социальная семиотика 1) лишена структурного детерминизма (помещает человека как участника коммуникации в зависимые от контекста и потенциально конфликтные ситуации межличностного взаимодействия), 2) изучает власть (приписывает значение власти), 3) исследует знаки в особом историческом, культурном и институциональном контекстах, 4) пытается совместить диахронический и синхронический подходы к изучению знака.
Третьим значимым для становления социальной семиотики направлением стала критическая теория, в частности критическая лингвистика. Классическая для этого направления книга Ходжа и Кресса «Язык как идеология», изданная в 1979 г., оказала влияние на формирование методологических основ социальной семиотики. В книге рассматриваются вопросы отношений языка и общества, даны определения важных для критиков понятий: язык, идеология, власть, контроль. Так, определяя язык в терминах контроля и власти, ученые пишут: «Язык - это инструмент и контроля, и коммуникации. Языковые формы могут как передавать, так и искажать значение. В таком случае слушателей могут информировать, а могут и манипулировать ими. Преимущественно манипулировать, хотя они полагают, что их информируют» [Hodge, Kress, 1979, p. 6]. В определении понятия идеология прослеживается влияние
марксизма: «Язык пронизывает жизнь общества, являясь практическим сознанием этого общества. Это сознание неотвратимо частично и фальшиво. Мы называем его идеологией, понимая под ней общее хранилище идей, организованных с определенной точки зрения. Идеология не обеспечивает надежности в подаче ориентиров для взаимодействия с реальностью» [Hodge, Kress, 1979, p. 6]. Отметим, что определение критический используется для того, чтобы раскрыть обычно скрытые для неспециалистов связи между языком, властью и идеологией.
Следует подчеркнуть, что на научные воззрения представителей социальной семиотики оказали влияние работы Р. Барта, М. Фуко, Р. Арнхейма, В.Я. Проппа, Л.С. Выготского, В.Н. Волошинова и др.
Теоретические основания социальной семиотики
Социосемиотика изучает взаимосвязанные предметные области: 1) материальные ресурсы коммуникации и способы их социально регламентируемого использования; 2) социальное регулирование функционирования знака, включая особенности его использования в конкретный исторический период. В связи с этим социосемиотика: 1) анализирует способы, с помощью которых люди используют семиотические ресурсы как для создания артефактов и коммуникативных событий, так и для их интерпретации в определенных ситуациях социального взаимодействия; 2) сравнивает семиотические способы использования знаков; 3) выясняет способы, посредством которых семиотические ресурсы регулируются в конкретном пространственно-временном окружении и в определенных ситуациях общения; 4) прогнозирует появление новых семиотических средств (метафора и коннотация являются наиболее распространенными механизмами, способствующими созданию новых семиотических ресурсов и / или переосмыслению (на)значения функционирующих в обществе знаков).
Отметим, что внимание ученых направлено не на то, что стоит за знаком, а на то, как он применяется в обществе. Важно выяснить, как люди используют материальные объекты, чтобы производить значения. И нужно учитывать, что семиотические ресурсы создаются, используются и интерпретируются согласно интересам производителя знака, потребностям времени, условиям
окружающей обстановки. Добавим, что «различные семиотические ресурсы используются для передачи идей, ценностей и идентично-стей, при этом ресурсы могут как способствовать улучшению различных видов взаимодействия, так и сдерживать их развитие» [Kress, Leeuwen, 1996, р. 39].
Подчеркнем, что социосемиотика тесно связана с социальной теорией. Эти междисциплинарные отношения являются необходимым признаком новой исследовательской практики.
Социосемиологи используют критический, трансдисциплинарный и интерпретативный подходы в качестве методологических основ своих исследований.
Некоторые ученые считают, что социосемиотика является одним из направлений критического дискурс-анализа1. Напомним, что это направление занимается анализом письменных / устных / мультимодальных текстов, с тем чтобы выявить дискурсивные источники власти, доминирования, неравенства и предвзятых мнений об угнетенных группах. Критиков интересуют вопросы власти, гегемонии, солидарности, идеологии [см., напр.: Fairclough, 1992]. Так, власть и солидарность являются ключевыми измерениями социальных структур и связанных с ними значений. Власть и означивание (приписывание значения) неразрывны. Различные уровни коммуникативной активности формируются властными отношениями и идеологиями. Отметим, что идеология как ключевая категория марксизма была переосмыслена социосемиологами и заменена понятием идеологический комплекс, минимальная единица значения которого представляет собой функциональный набор противоречий, мотивированных потребностями идеологов сбалансировать вопросы власти и солидарности в отношениях с теми, кому они адресуют текст.
Кресс считает, что признание мотивированных отношений между означающим и означаемым является важным условием критического чтения текстов [Kress, 1993]. Чтобы подтвердить правомерность этого утверждения, критики выясняют, каковы способы, с помощью которых знаки создаются, применяются, воспринимаются в конкретных институциональных и социальных контекстах; какова история использования знака в обществе; как знаки отражают и скрывают определенные интересы, коммуникативные
1 Подробнее о критическом дискурс-анализе см.: [Гаврилова, 2003].
намерения создателей знака; каков интерес адресата; каковы властные отношения между производителями и потребителями знака.
Социальная семиотика позиционирует себя как трансдисциплинарное (а не междисциплинарное) направление. Исследователи используют инструментарий из разных социальных и гуманитарных научных направлений: лингвистики, культурологии, литературоведения, теории коммуникации, этнографии, социологии, дискурс-анализа, политической экономики, гендерных исследований, психоанализа, деконструкции, психологии, визуальных исследований, истории и др.
Материалом исследования служат иллюстрированные журнальные и газетные публикации, рекламные сообщения, произведения искусства (разного рода постановки и представления, изобразительное искусство, кинофильмы, архитектурный дизайн, музыкальные композиции), телепередачи, видео, игрушки, компьютерные игры, сайты и мн. др. Очевидно, что социосемиологи анализируют преимущественно мультимодальные тексты1, т.е. «тексты, чьи значения реализуются более чем одним семиотическим кодом» [Kress, van Leeuwen, 1996, p. 183]. Обычно это вербальный, визуальный и звуковой коды. При этом изучению визуального и звукового кодов уделяется особое внимание, учитывая важность данных кодов в социальной коммуникации современного общества.
Тематика социосемиотических статей необычайно широка: семиотика электронной денежной системы «Биткоин», репрезентация действующих лиц в военных компьютерных играх, представления о моде / работе в национальных версиях глобальных женских журналов, влияние неолиберального дискурса на систему образования, социальная власть звезд кинематографа, динамика социальных классов в телевизионных комедиях2 и др.
Завершая раздел о теоретических основаниях, отметим, что в настоящее время продолжается развитие категориального аппарата социосемиотики, являющейся скорее формой расследования, ко-
1 В русскоязычной научной литературе для обозначения подобных текстов наиболее распространены обозначения: креолизованный текст, полимодальный текст, семиотически осложненный текст и др.
2 По материалам наиболее читаемых и цитируемых статей в журнале «Социальная семиотика». См.: Social Semiotics. - Mode of access: http://www. tandfonline.com/loi/csos20?open=26#read; Social Semiotics. - Mode of access: http://www.tandfonline.com/loi/csos20?open=26#cited
торое не дает готовых ответов, но предлагает идеи для формулирования новых вопросов, а также пути поиска ответов на них.
Основные категории социальной семиотики
Основными категориями социосемиотического анализа являются понятия дискурс, жанр, «стиль», «модальность» [подробнее см.: Leeuwen, 2005, p. 93-117], которые никогда не функционируют изолированно и всегда выступают составной частью любого коммуникативного события и семиотического артефакта. Рассмотрим данные категории подробнее.
Дискурс - это ключевой параметр для изучения того, как ресурсы используются для конструирования представлений о том, что происходит в мире. Вслед за М. Фуко под дискурсами (мн. ч. !) понимаются социально сконструированные знания1 о некоторых аспектах действительности [Foucault, 1977].
Дискурсы обладают отличительными признаками. Они конечны (содержат ограниченное число высказываний). У дискурсов есть своя история (т. е. можно проследить, как определенный дискурс зарождался, постепенно становился общим мнением, оспаривался конкурирующими дискурсами). Дискурсы распределяются в обществе (несколько дискурсов об одном фрагменте действительности, формирующих различные мнения, обслуживающих интересы различных социальных субъектов). Дискурсы могут быть реализованы различными способами (разные жанры, различные сочетания кодов).
Важно подчеркнуть, что дискурсы являются реализацией социальных практик. Чтобы прояснить это утверждение, нужно ответить на два вопроса: каковы составляющие социальной практики? Как эти элементы преобразуются в дискурсе? Отвечая на первый вопрос, перечислим единицы анализа социальной практики: 1) действия; 2) способ производства действия; 3) участники (играющие активную или пассивную роль); 4) внешней вид участников (как выглядят, как одеты); 5) ресурсы (инструменты и материалы, необходимые для выполнения действия); 6) время
1 Социально сконструированные знания - это знания, которые вырабатываются в особых социальных контекстах в соответствии с интересами социальных субъектов.
действия; 7) место действия. Отметим, что в действительности все эти элементы должны с необходимостью присутствовать, однако определенные тексты могут включать лишь некоторые составляющие практики, как и дискурсы, содержание которых составляют эти тексты. Знание избирательно, и то, что эксплицитно представлено в тексте, зависит от интересов и целей организаций, которые стремятся управлять знаниями.
Действительность видоизменяется в дискурсе при помощи четырех основных видов преобразований.
1. Исключение - т.е. можно исключить некоторые элементы социальной практики; например, в дискурсе войны можно опустить упоминание о жертвах.
2. Перестановка - т.е. можно перегруппировать единицы, например, изменить порядок следования действий.
3. Дополнение - т.е. можно добавить элементы к описанию социальной практики, например, анализируя участников события, можно добавить оценку, цели и стратегии узаконивания их и их действий.
4. Замещение - т.е. можно заменить представления об элементах; например, конкретное будет преобразовано в абстрактное, частное в общее, действие в процесс. Еще одна разновидность замены есть объективация, «изображение действий и событий, а также качеств, как если бы они были объектами» [Halliday, Martin, 1993, p. 52].
Жанр - это основной параметр того, как ресурсы используются для осуществления коммуникативного взаимодействия. Изучая жанр, мы отвечаем на вопрос: КАК (как протекает коммуникация)? Обычно под жанром понимают разновидность текста с характерными для него содержанием, формой и функцией. Однако в социальной семиотике содержание изучается под рубрикой «дискурс», а изучение жанра подразумевает анализ функции текстов в процессе социального взаимодействия, т.е. анализ того, что люди делают по отношению к получателю информации, для него или совместно с ним посредством текстов. Такой подход к пониманию жанра сосредоточен на изучении текстовой структуры «начало - середина - конец», помогающей коммуникантам эффективно взаимодействовать.
Жанр связан с понятием «речевой акт». Социосемиологи используют классификацию Халлидея, выделявшего четыре основных вида речевых актов, каждый из которых предполагает пред-
почтительный ответ и возможные альтернативные ответы: 1) заявление - предложение информации; 2) вопрос - потребность в информации; 3) приказ - запрос (потребность) на товары и услуги; 4) предложение - предложение товаров и услуг [Halliday, 1985, p. 68]. Кресс и ван Леувен расширили действие классификации, применив ее к анализу изображений [Kress, Leeuwen, 1996, p. 121]. Но там, где в английском языке функция выражена лингвистическими средствами, изображение оценивается визуально. Если человек (или животное), изображенный на картинке, прямо смотрит на зрителя, то реализуется функция «потребность». Если нет, то образ является «предложением».
Поскольку жанры представляют собой культурно обусловленные и исторически изменчивые формы коммуникации, то они могут создавать особые (имеющие культурную и историческую специфику) властные отношения между участниками коммуникации.
Модальность - это ключевой параметр анализа того, как люди используют ресурсы, чтобы в процессе общения выразить истинность или достоверность своих представлений о мире, будь это факт или вымысел, подлинная правда или предположение.
Добавим, что модальность связана с вопросом истины, который соотносится как с отображением реальности, так и с социальным взаимодействием, потому что поиски истины - это общественное дело. То, что считается истиной в одном социальном контексте, необязательно является истиной в другом, учитывая все последствия этого. Поэтому лингвисты и семиологи не спрашивают: «Насколько это является правдой?», но задают вопрос: «Чья правда здесь представлена?». Их интересует не абсолютная истина, но та правда, которую производители знака видят таковой и, используя семиотические ресурсы, выражают. По мнению Ходжа и Кресса, «социальный контроль опирается на контроль над отображением действительности, которое принято в качестве основы для суждений и действий... Тот, кто контролирует модальность, может контролировать, чья версия действительности будет избрана в качестве правомерной (имеющей силу) в семиотическом процессе. Все другие варианты могут существовать кратковременно, но лишены силы в долгосрочной перспективе. Поддержка модальности в конечном счете состоит в заключении соглашения между членами группы» [Hodge, Kress, 1988, p. 147]. Иными словами, есть тесная связь между тем, как мы отображаем мир, и правилами
и нормами повседневного общественного поведения. И этот дуализм и порождает модальность, служит залогом ее социальной значимости.
Стиль - это основной параметр изучения того, как люди используют ресурсы, чтобы представить жанр и через этот процесс выразить свою идентичность и ценности. Обращение социосемиологов к понятию стиль обусловлено, во-первых, усилением значимости образа жизни (lifestyle) в современном обществе, во-вторых, влиянием книги Нормана Фэркло о языке неолиберальной глобальной экономики, где наряду с дискурсом и жанром лингвист изучает стиль, связывая его с идентичностями и ценностями [Fairclough, 2000].
Существуют три вида стиля: индивидуальный стиль, социальный стиль и образ жизни. Их объединяет то, что все они касаются артикуляции и демонстрации отношений между индивидуальной свободой и общественными установлениями, даже если они делают это различными способами.
Какие значения выражают эти стили? Индивидуальный стиль как отражение индивидуальных различий помечает идентичность и характер личности человека. Социальный стиль, основанный на традициях или официально закрепленных письменных правилах, указывает на такие категории, как происхождение, класс, возраст, социальный пол (гендер), профессия и др. Кроме того, он отражает социальные чувства и отношения, т.е. идеологию. Образ жизни основан на правилах ролевой модели и экспертных знаниях. Образ жизни, являясь сочетанием индивидуального и социального стилей, указывает на идентичности, присущие индивидуальному образу жизни человека, и на ценности, создаваемые в обществе и разделяемые большинством, формируя тем самым новый вид социальной идентичности.
Прннцнпы анализа мультимодальных текстов
В современном обществе частично благодаря развитию новых технологий наблюдается переход от мономодальности (где информация чаще распространялась посредством обособленных каналов восприятия) к мультимодальности (где различные каналы становятся более интегрированными и визуальные элементы используются для передачи сложных для понимания идей и мнений).
Стало очевидно, что тексты, которые лингвисты изучают, создают смыслы не только посредством языка, но и с помощью других модусов (изображение, звук, движение и т.д.). В связи с этим важно понять, как эти нелингвистические средства употребляются для передачи идей, мнений и идентичностей [Kress, 2010].
Анализируя коммуникативные события, социосемиологи пришли к выводу о том, что в организации мультимодальных текстов участвуют как минимум четыре разновидности семиотических ресурсов: ритм, композиция, связность информации, диалог [см. подробнее: Leeuwen, 2005, p. 180-267].
Ритм обеспечивает связность и смысловую структуру событий, разворачивающихся во времени. Он играет важную роль в повседневном общении, а также в фильмах, на телевидении, в танцах и музыке. Ритм является биологической данностью. Действия человека по своей природе координируются при помощи ритма. Успешное социальное действие предполагает синхронизацию ритма взаимодействия.
Анализируя устную речь, следует учитывать, что ритм делит поток времени на одинаковые по продолжительности такты (известные также как ритмические стопы), которые, организуясь в группы до 7-8 единиц, образуют фразу, произносимую на одном дыхании до следующего вздоха. Фраза важна для семиотической артикуляции, поскольку образует рамку, разграничивающую коммуникативные акты. В каждой фразе при помощи фразового ударения выделяется наиболее значимая информация. В свою очередь 7-8 фраз формируют ход, который разграничивает этапы общей структуры текста. Границей ходов может быть большая по продолжительности пауза. Каждый ход содержит ключевую фразу, помечающую значимый коммуникативный акт.
Композиция важна для пространственной организации текста и события, поэтому играет ключевую роль не только в образах и схемах, но также в планировке трехмерных объектов (выставки, показы, архитектура).
Композиция основана на нашем чувстве баланса. С одной стороны, это телесный и интуитивный процесс (разместить что-либо в самом центре, левее, правее можно, лишь обладая хорошим чувством баланса). С другой стороны, этот процесс является семиотическим: «Функцию баланса можно показать, только указав на значение, которое помогает сделать его видимым» [Arnheim,1974, р. 27].
Композиция состоит из трех элементов: информационная ценность, рамка (framing), выпуклость (salience). Информационная ценность придает различную значимость асимметричным зонам семиотического пространства: в горизонтальном измерении возникает разграничение на данную и новую информацию; вертикаль представляет идеальное и реальное; в центре располагается главная, а по краям - вспомогательная информация; на переднем плане размещается важная информация, на заднем плане - менее существенная.
Под рамкой понимается разъединение элементов визуальной композиции. Рамка создает чувство прерывности, изолированности элементов композиции при помощи линий, границ, пустых пространств и др. В некотором смысле разрозненные элементы воспринимаются как обособленные и независимые. Вместе с тем рамка может формировать представление об объединении частей композиции в тех случаях, когда она явно не выражена, или когда элементы схожи между собой (в цвете, форме и пр.). Тогда соединенные элементы можно понимать как принадлежащие к некой целостности.
Выпуклость создает разницу между элементами композиции в той степени, в какой они привлекают внимание зрителя. Это можно сделать с помощью наличия / отсутствия движения, размера, количества деталей, цветовых контрастов, размещения предметов в поле зрения, особых культурных факторов (внешность человека).
Под связностью информации понимаются когнитивные связи между элементами информации, организованными как во времени, так и в пространстве (например, причинно-следственные связи между словами и изображениями). Анализируя мультимо-дальный текст, важно выяснить, каковы связи между словом и образом. Первый тип отношений - это развитие, которое реализуется путем: 1) уточнения, т.е. когда изображение делает текст более точным (например, иллюстрация) и текст делает изображение более конкретным; 2) объяснения, т.е. когда текст пересказывает образ (и наоборот). Второй тип отношений - это расширение, которое осуществляется при помощи: 1) сходства, когда содержание текста подобно тому, что являет собой образ; 2) контраста, когда содержание текста противоположно тому, что изображено; 3) дополнения, когда содержание образа добавляет некую информацию к тексту (и наоборот).
Категория диалога помогает понять, как структура беседы (обмен репликами, очередность речевых ходов и др.) может быть использована для изучения отношений между семиотическими ресурсами, применяемыми в мультимодальных текстах и коммуникативных событиях.
Отметим, что социосемиологи расширили определение диалога, включив туда не только вербальную составляющую (устный или письменный обмен высказываниями между двумя или более людьми), но и музыкальные формы, где реплики звучат одновременно или последовательно. Исследователям особенно интересен анализ музыкального диалогического взаимодействия, который осуществляется на материале музыки к фильмам, песен вокальных дуэтов и музыкальных групп. Так, ученые выявили четыре вида диалога с одновременно звучащими репликами: блокировка, социальный унисон, социальная множественность и социальное доминирование. И все четыре разновидности устанавливают общественные отношения: изменение личности и согласованность, равенство и неравенство.
Таким образом, социосемиологи предложили методику анализа мультимодального текста, состоящую в изучении ритма, композиции, связности информации и диалога. Особое внимание уделяется исследованию звуковой и изобразительной частей текста, где важно разложить целое на составляющие его элементы, определить их функции и связь с социальными нормами и правилами.
Институциализация социальной семиотики
Новое направление получило признание в научном сообществе благодаря публикации с начала 1980-х годов журнала, который издавался группой австралийских ученых, включая Гюнтера Кресса, ван Тео Леувена, Энн Крэнни-Фрэнсис (Anne Cranny-Francis) и Терри Тридголда (Terry Threadgold). Первоначально журнал назывался «Австралийский журнал социальной семиотики: трансдисциплинарный журнал по функциональной лингвистике, семиотике, критической теории». Журнал представлял собой площадку для публикации смелых статей с теоретическим обоснованием отношений между текстом и контекстом, в нем приводились в качестве доказательств такие положения, которые не вписывались в существовавшую тогда лингвистическую парадигму. В частности, ав-
торы утверждали, что коммуникация не просто должна быть описана (обычная процедура в лингвистике), но должна пониматься как стратегическое, мотивированное и идеологическое явление. Целью многих работ было выявление способов употребления семиотических средств с целью делать вещи, т.е. способствовать, поддерживать и узаконивать идеи и виды социального действия. Кроме того, было важно соединить семиотические режимы с конкретными контекстами для выяснения властных отношений, иными словами, для выявления социального использования знаков. Журнал был посвящен дискуссии, в которой использование семиотических ресурсов понималось в связи с понятиями «культура» и «общество».
В начале 1990-х годов меняются и редакционная коллегия, и название журнала. И с 1991 г. издательство «Routledge» выпускает журнал «Social semiotics»1, который выходит пять раз в год. В журнале печатаются статьи о семиотических ресурсах и коммуникативных практиках, которые осуществляются посредством слов, образов, определенных типов поведения, звуков, дизайна, а также о способах, при помощи которых эти разновидности коммуникативного взаимодействия связаны с организацией общества (социальных групп) и повседневной жизнью людей.
Своеобразным итогом в развитии научного направления является опубликованная в 2015 г. книга «Социальная семиотика: ключевые фигуры, новые направления», в которой представлены интервью с «отцами-основателями» направления: Кристианом Мат-тисеном (Christian Matthiessen), Джимом Мартином (Jim Martin), Гюнтером Крессом (Gunther Kress), Тео ван Леувеном (Theo van Leeuwen), Джеем Лемке (Jay Lemke) [Social semiotics... 2015].
Институционализация направления осуществляется на научных конференциях, преимущественно посвященных критическому дискурс-анализу / визуальной коммуникации / традиционным и новым медиа, где на секции «Мультимодальность» основным методом исследования, представленным в докладах, является социальная семиотика. Успешно реализуются исследовательские проекты, поддержанные европейскими научными фондами, например: «Язык и глобальная коммуникация» [Machin, van Leeuwen, 2007], «Риторика научной речи: мультимодальный подход» [Multimodal teaching. 2014] и др.
1 Social semiotics. - Mode of access: http://www.tandfonline.com/toc/csos20/current
Отметим, что в зарубежных университетах читаются курсы по социальной семиотике в рамках магистерских программ по коммуникации, семиотике, прикладной лингвистике, методам исследования, дизайну и др.
Таким образом, мы наблюдаем развитие категориального аппарата новой исследовательской практики, а также процесс встраивания социальной семиотики в научную и образовательную систему современного общества.
Список литературы
Гаврилова М.В. Критический дискурс-анализ в современной зарубежной лингвистике. Серия: «Научные доклады». - СПб.: СПбГУ, 2003. - 24 с.
Arnheim R. Art and visual perception. - Berkeley, L.A.: Univ. of California press, 1974. - 377 p.
Fairclough N. Discourse and social change. - Cambridge: Polity press, 1992. - 254 p.
Fairclough N. New labour, new language. - L.: Routledge, 2000. - 180 p.
FoucaultM. The archeology of knowledge. - L.: Tavistock, 1977. - 218 p.
Firth J.R.. Papers in linguistics 1934-1951. - London: Oxford univ. press, 1957. - 233 p.
Halliday M.A.K. Language as social semiotic: The social interpretation oflanguage and meaning. - L.: Arnold, 1978. - 256 p.
Halliday M.A.K. An introduction to functional grammar. - L.: Arnold, 1985. - 387 p.
Halliday M.A.K., Martin J.R. Writing science: Literacy and discursive power. - L.: Falmer press, 1993. - 283 p.
Hodge R., Kress G. Social semiotics. - Cambridge: Polity press, 1988. - 285 p.
Kress G. Against Arbitrariness: The social production of the sign as a foundational issue in critical discourse analysis // Discourse and society. - L., 1993. - Vol. 4, N 2. - P. 169-191.
Kress G. Multimodality: A Social semiotic approach to contemporary communication. -L.: Routlege, 2010. - 232 p.
Kress G., Hodge R. Language as ideology. - L.: Routledge; Kegan Paul, 1979. - 163 p.
Kress G., Leeuwen T., van. Reading images: The grammar of visual design. - L.: Routledge, 1996. - 312 p.
Leeuwen T., van. Introducing social semiotics. - L.: Routlegde, 2005. - 314 p.
Malinowski B., Leach E.R., Berry J. Coral gardens and their magic: 2 vol. - London: Allen & Unwin, 1935. - Vol. 1. - 500 p.; - Vol. 2. - 354 p.
Multimodal teaching and learning: The rhetorics of the science classroom (Advances in applied linguistics) / Kress G., Charalampos T., Jewitt C., Ogborn J. - L.: Bloom-bury, 2014. - 248 p.
Machin D., Leeuwen T., van. Global media discourse: A critical introduction. - L.: Routlegde, 2007. - 188 р.
Social semiotics: Key figures, new directions / Andersen T.H., Boeriis M., Maagera E., Tennessen E.S. - L.: Routledge, 2015. - 174 р.
