CC BY
66
УДК 81'42, 811.112.2
Е. В. Калашникова
преподаватель кафедры лингвистики и профессиональной коммуникации в области права Института международного права и правосудия Московского государственного лингвистического университета; е-таН: [email protected]
лингвистика изображения в исследованиях
СОВРЕМЕННЫХ НЕМЕЦКИХ лИНГВИСТОВ
Статья посвящена исследованию мультимодальных текстов. Рассматриваются работы немецких лингвистов, дается определение мультимодального текста. Проводится параллель между понятиями «код» и «модальность» как элементов кодирования и передачи информации. Сравниваются лингвистические и семиотические подходы к анализу мультимодального текста. Внимание уделяется становлению нового направления в зарубежной лингвистике - «лингвистике изображения».
Ключевые слова: мультимодальный текст; модальность; лингвистика изображения; вербальный, невербальный.
E. V. Kalashnikova
Lecturer at the Department of Linguistics and Professional Communication in Law, Institute of International Law and Justice, Moscow State Linguistic University; e-mail: [email protected]
LINGUISTICS OF IMAGES IN STUDIES OF MODERN GERMAN LINGUISTS
The article is devoted to the study of multimodal texts. The studies of German linguists on this topic are considered, the definition of a multimodal text is given. A parallel is drawn between the concepts of "code" and "modality" as elements of coding and information transmission. A comparison of linguistic and semiotic approaches to the analysis of multimodal text is given. The article pays attention to a new direction in foreign linguistics - "linguistics of images".
Key words: multimodal text; modality; image linguistics; verbal; non-verbal.
Введение
В современном мире прослеживается тенденция к изменению коммуникативного ландшафта, так как в существующей коммуникации наряду с вербальным текстом все большее значение приобретают невербальные компоненты, в частности изображение. Связано это изменение с социальными, экономическими, культурными
и техническими факторами. В век информационных технологий меняется формат общения, существует огромное количество технических средств, оказывающих влияние на изменение коммуникации, например, цифровые камеры, мобильные телефоны с функцией фотографии, доступ в Интернет. Быстрое техническое развитие в XX в. (развитие киноискусства, фотографии, телевидения, компьютеров) способствовало тому, что изображению стало уделяться все большее внимание. Вскоре оно стало неотъемлемой частью не только средств массовой информации, но и средств частной коммуникации. Но не только технические возможности являются причиной этих изменений. Социальные и коммуникативные потребности общества, являясь основными факторами влияния, привели к тому, что наряду с текстом изображение стало играть основную роль в понимании информации [Stockl 2004, c. 9]. Современный социальный семиотик Г. Кресс подчеркивает, что стремительное развитие средств массовой информации порождает переизбыток информации. Для передачи и облегчения понимания этой информации стали использоваться графические средства, такие как шрифт, фон, иллюстрация, так как именно модальность изображения позволяет обрабатывать большие объемы информации более эффективно [Kress 2001, с. 57].
В процесс коммуникации все больше и больше входит явление мультимодальности, а для современных лингвистов отдельно взятый вербальный текст все реже становится объектом исследования [Holly 2009, с. 389]. Изображение, а также другие единицы разных знаковых систем выступают как компоненты мультимодальной коммуникации, а так как они уже неотделимы от вербальных компонентов, то ученые включают их в лингвистический анализ.
Определение понятия «мультимодальный текст»
Исследования вербального компонента мультимодального текста имеют многовековую традицию, в то время как исследования в области невербальной части текста или изображения начали развиваться относительно недавно. Первый толчок к изучению текстов с точки зрения мультимодальной перспективы дали реклама, плакаты и тексты СМИ. Именно в них сосредоточено взаимодействие различных компонентов разных знаковых систем, таких как язык, изображение, звуковое сопровождение. Объектом исследования лингвистики изображения являются мультимодальные (поликодовые) тексты. Под
мультимодальным текстом понимаем тексты и коммуникативные действия, которые содержат различные знаковые системы (язык, изображение, звук), т. е. состоят из разных семиотических кодов. Г. Штекл дает следующее определение: «Мультимодальность - это сосуществование и взаимосвязь множества знаковых модальностей на разных уровнях (например, на уровне семантики) в мультимодальных текстах» [Diekmannshenke, Klemm, Stöckl 2011, с. 45].
При исследовании мультимодальных текстов под понятием «модальность» понимают термин из психологии, который подразумевает одно из основных свойств ощущений. Модальность описывает качественные характеристики когнитивных образов и обусловлена строением органов чувств и особенностями среды, которая воздействует на них [Rein, Schneider 1964]. К основным видам модальностей относятся аудиальная и визуальная модальность. Именно использование этих модальностей при восприятии и является основной характеристикой мультимодального текста. В когнитивной лингвистике под термином «модальность» понимается один из кодов информации, из которых состоит мультимодальный текст, поэтому при анализе мультимодального текста наряду с понятием «модальность» используется также термин «код», который указывает на наличие в тексте вербальных и невербальных компонентов, объединенных в одну структурную композицию.
В исследованиях немецких лингвистов мультимодальный текст обозначается терминами Sprache-Bild-Text / Kommunikat (Adamzik, Schneider), Text-Bild-Kommunikat (Holly), Gesamtkommunikat / ein multimodaler Text (Stöckl, Hennecke), ein multimedialer Text (Knapp), ein semiotisch komplexer Text (Hennecke). Все эти термины являются синонимами и подразумевают одно и то же понятие. Это еще раз подчеркивает то, что сегодня в лингвистике нет однозначного термина для данного многомерного явления. К. Кнаппа считает, что мультимодальный, или мультимедиальный, текст является основой актуальной тексто-лингвистической и коммуникативно-научной дискуссии. В качестве примеров такого типа текстов он называет гипертексты и рекламные тексты. Мультимодальные тексты связывают различные знаковые системы и проявляются в СМИ. Новые средства информации, такие как Интернет, мобильный телефон, форумы, чаты постоянно создают новые формы текстов и обеспечивают тем самым непредвиденные возможности к глобальной коммуникации [Knapp 2004, с. 229]
Х. Лобин, директор института немецкого языка и профессор германской лингвистики, приводит следующее определение мультимодального текста и понятия мультимодальности: «Термин "мультимодальность" описывает наличие в одном тексте информации, которая выражена в знаковых системах разной модальности. Под модальностями в данном случае понимаются, прежде всего, разговорная речь, письменная речь, неподвижное изображение (фото, графика), подвижное изображение (видео) и аудиосоставляю-щая (музыка, звуки). Мультимодальность является основной характеристикой текста, следовательно, любой мультимодальный текст основан на этом явлении и исходя из этого каждая знаковая система отдельной модальности не должна рассматриваться изолированно для понимания того, какими функциями и каким значением обладает текст. Для его понимания важно принять во внимание совокупность всех модальностей» ^оЫп 2018, с. 107-109].
По мнению Г. Ю. Бухера, под мультимодальностью понимается наличие коммуникативных действий различных семиотических средств на разных уровнях в пределах одной коммуникативной ситуации. Коммуникативные действия содержат в себе разные знаковые системы для понимания смысла той или иной ситуации. Все теории о мульти-модальности сходятся в том, что мультимодальность не исторически возникшая форма проявления или выражения коммуникации, а основополагающее свойство всех форм коммуникации [ВиЛег 2011, с. 114].
А. Хеннеке опирается на мнение Г. Кресса и Т. ван Лиювена и рассматривает мультимодальные тексты как «семиотически полные тексты». По ее мнению, в мультимодальном тексте информация располагается в различных модальностях, таких как изображение, язык, музыка, типография. Разные семантические, формальные и функциональные отношения проявляются из связи между этими модальностями [Неппеске 2015, с. 207].
Мультимодальные тексты имеют следующие характеристики:
1. Вербальные, невербальные и другие знаки дополняют и обусловливают друг друга взаимно.
2. Каждая знаковая система задействована в формировании значения текста в равной мере.
3. Вербальные и невербальные части текста становятся ясны только благодаря пониманию всего текста [Неппеске 2015].
Мы придерживаемся термина «мультимодальный текст», как и многие зарубежные лингвисты, так как считаем, что при анализе такого типа текстов речь идет именно о наличии многих модальностей в рамках одной текстовой единицы, которые оказывают влияние на понимание текста в целом.
Лингвистический и семиотический подходы к анализу мультимодального текста
В связи с тем, что мультимодальные тексты содержат в себе различные знаковые системы, то почти все исследования таких текстов опираются на науку, исследующую все знаковые системы, а именно -на семиотику или семиологию. Именно она является научной дисциплиной о строении и функционировании различных знаковых систем, хранящих и передающих информацию.
А. Хеннеке под мультимодальными текстами понимает сосуществование и объединение элементов знаковых систем на разных уровнях. Мультимодальный текст должен обязательно рассматриваться и исследоваться только как единство изображения и текста, различаются лишь акценты, расставляемые исследователями, структуры и смыслов мультимодальных текстов. Для анализа вербальной части текста основное значение имеют базовые категории и критерии лингвистики текста. Лингвистика текста исследует вербальный текст как целостное образование, его категории и закономерности построения [Adamzik 2016]. Для лингвистического анализа основополагающими являются критерии текстуальности, такие как когезия и когерентность, т. е. структурная и содержательная связность. Такого рода анализ характерен больше для художественных текстов.
Термин «семиотика текста» (Textsemiotik) часто используется исследователями, занимающимися текстами средств массовой информации (Fix, Wellmann 2000; Antos 2001; Sandig 2006). Он однозначно не интерпретируется и, с точки зрения E. Эккраммера и Г. Хельда, является неологизмом [Eckkrammer, Held 2006, с. 1]. Семиотика текста рассматривает всевозможные виды знаков, и так как вербальному тексту уделяется уже не основное внимание при исследовании мультимодального текста, то все большее значение лингвисты придают оформлению текста. Семиотическая перспектива имеет место во многих лингвистических работах этой области в последние годы [Fix 2002; Stöckl 2004].
Г. Штекл в своих работах о связи семиотики текста и науки о средствах массовой информации подробно описывает связь текста и изображения (Text-Bild-Theoгie) ^оск1 1997, 2005]. Опираясь на его работы, важным является высказывание о том, что обе науки должны взаимодействовать.
Семиотика текста включает в себя следующие существенные гипотезы:
1. Коммуникация больше не представляет собой только вербальный текст. Текст понимается как глобальный семиотический артефакт, чье значение организовано мультимодально, т. е. многократно кодировано.
2. Форма текста - это результат, цель и элемент коммуникативного действия. Как продуцент, так и реципиент принимают активную роль в этом процессе, действуют на основе семиотического знания и семиотической компетенции.
3. Подчеркивая культурную и социальную связанность текстов, одновременно делается акцент на их изменчивости, функциональности в различных ситуациях, а также на способности кода постоянно разрабатываться и расширяться.
4. В ориентированном на семиотику анализе текста речь идет об описании коммуникативного потенциала отдельных знаковых систем и об описании коммуникативной многозначности их взаимодействия.
5. При признании системной связи разных знаков и кодов, семантические, синтаксические и прагматические величины в тексте учитываются в равной степени. Когерентность текста может получиться на основе этого только в согласованности всех определяющих текст факторов. Все коды рассматриваются в равной мере как принципиально равноценные [Неппеске 2015].
Преимущество семиотического подхода к анализу текста состоит в его универсальности и применимости ко всем кодам, а не только к вербальному и визуальному.
Как и лингвистический подход к анализу мультимодального текста, так и семиотический не исключают друг друга, а оказывают друг на друга всестороннее влияние. Взаимное дополнение и взаимодействие этих двух подходов является для лингвистики дополнительным преимуществом. Языку по-прежнему отводится фундаментальное значение. Объяснение визуального кода, или кода изображения, возможно только благодаря языку. Язык есть и остается существенным
аналитическим инструментом в описании мультимодальных текстов. Он передает семиотические знания, которые так необходимы для понимания изображения и создает основу для нашей способности, развивать наглядные представления.
Становление «лингвистики изображения (Bildlinguistik)» как самостоятельной дисциплины
В связи с возрастающим интересом к интерпретации текстов, состоящих из нескольких знаковых систем - язык, изображение, звук, - возникала необходимость в выделении отдельной научной дисциплины для изучения и описания текстов такого вида. Этой дисциплиной стала лингвистика изображения (Bildlinguistik), целью которой является методологическое исследование мультимодальных текстов, с акцентом на исследование изображения и взаимодействия текста и изображения. В своих многочисленных статьях авторы пытаются применять лингвистические приемы, термины и методы к муль-тимодальным текстам.
Первые теоретические и эмпирические предпосылки для развития данной дисциплины восходят к двум лингвистическим дисциплинам, к лингвистике текста и стилистике, а также к семиотике текста, в которых в последнее время наблюдается всезвозрастающий интерес к графическому компоненту вербальных текстов. Предмет и задачи лингвистики текста впервые обозначили в сборнике статей «Bildlinguistik. Theorien-Methoden-Fallbeispiele» («Лингвистика изображения. Теории-методы-примеры») в 2011 г. следующие авторы - Гайо Дикманнсхенке (Hajo Diekmannshenke), Михаель Клемм (Michael Klemm), Гартмут Штекл (Hartmut Stöckl). Определение лингвистики изображения является своего рода метафорой: Речь идет не о том, чтобы воспринимать и признавать изображения в их различных вариантах как язык или как сам текст, а о том, чтобы исследовать объединение языка и изображения в средствах массовой коммуникации с помощью средств и методов, берущих свое начало в лингвистике. Нельзя понимать название этой дисциплины буквально, так как язык и изображение отличаются друг от друга по многим признакам и принципам действия. В связи с тем, что они являются абсолютно разными знаковыми системами структурно, семантически и прагматически, то они комбинируются в текстах и других коммуникативных проявлениях и дополняются силами изображения и выражения.
Авторы данного сборника приводят следующее определение этой дисциплины: «Лингвистика изображения рассматривает отношения между языком и изображением в мультимодальных текстах и использует лингвистические концепты, модели и методы для исследования изображения, включенного преимущественно в тексты массовой информации» [Klemm, Stöckl 2011].
Первые попытки исследования текста и изображения в рамках новой научной дисциплины исходили от Гартмута Штекля (2004), который подробно представил в своей монографии «Die Sprache im Bild- Das Bild in der Sprache» («Язык в изображении - Изображение в языке») актуальные области применения, стратегии и функции, а также типы языкового и графического взаимодействия. Тем не менее автор не употребляет термин «лингвистика изображения», однако его глубокий анализ языковых и графических тестовых структур побудил многих лингвистов и ученых в области средств массовой коммуникации к исследованиям отношений языка, изображения и звука. В своих более ранних работах Г. Штекл утверждал, что в век мультимедийных технологий существует два самых важных канала передачи информации - написанное слово и напечатанное изображение, при котором ранее однозначно доминирующая функция вербальной части текста стала отходить на второй план, в пользу вт се более усиливающегося использования изображения, тем самым изменяя наши привычки при восприятии информации. Этот «неструктурированный визуальный поток знаков» требует новых инструментов и методов, чтобы разобраться в специфике связанных между собойи знаков различных кодов и прежде всего исследовать способ их связи и исходящие от них требования к реципиенту по восприятию информации. Одной из первоочередных целей исследования является исследование отношений текст - изображение» [Stöckl 1998, с. 75, 77]. Благодаря данной и последующим работам ученый подготовил соответствующие основы для межкультурного и контрастивного исследования языка и изображения в рамках одной научной дисциплины [Stöckl 2004].
Самой первой работой, в которой появляется термин «лингвистика изображения», является монография Гудрун Хельд (Gudrun Held), изданная в 2008 г. В ней автор рассматривает мультимодальные тексты с прагматической точки зрения, использует при этом примеры из рекламы, посвященной туризму, и делит мультимодальные текстовые структуры на формальные и семантические области. К формальным
аспектам относятся внутренняя структура текста и полиграфическое исполнение, в то время как образность, ремотивация наглядных формулировок, а также отношения языка и изображения относятся к семантическим аспектам. И хотя автор, в узком смысле, не дает определение понятию «лингвистика изображения» и не формулирует аналитических данных, она, тем не менее, обращает внимание на необходимость исследования мультимодальных текстов в заданном направлении и побуждает к дальнейшему развитию этой научной дисциплины [Held, Bendel 2008].
Доказательством стремительного развития лингвистики изображения с 2011 г. является еще одна работа немецкого лингвиста Ф. Гро-се (Große), которая посвящена непосредственно этой дисциплине. Монография не описывает предмет, цели и требования лингвистики изображения, но детально разбирает многие популярные языковые и текстовые подходы и переносит их на комплексы изображений. Основным преимуществом этого исследования является пересмотр лингвистических явлений и их применение для подхода к мультимо-дальным текстам. Критерии текстуальности и теория речевых актов начинают оказывать влияние на тексты, в которых соединены вербальные и невербальные компоненты. Ф. Гросе приводит теоретический, а также эмпирический лингвистический анализ изображения [Große 2011].
В связи с тем, что мультимодальные тексты в СМИ охватывают не только письменную речь и неподвижные изображения, как, например, в текстах прессы или на интернет-страницах, но и включают в себя динамические изображения, например в телепередачах, то лингвистика изображения позиционирует себя как часть мультимодальной лингвистики текста, уделяя больше внимания именно изображению, а также взаимосвязи изображения и вербального текста.
Заключение
Подводя итоги, можно сказать, что с развитием современных технологий и методов коммуникации возникает потребность в новых научных исследованиях и открытиях. Наука подстраивается под изменения современного мира, и это влечет за собой развитие новых научных областей. Анализируя исследования в области взаимосвязи изображения и текста, вербального и невербального, ученые приходят к выводу о необходимости создания новой научной дисциплины, лингвистики
изображения. Так как центральным понятием этой новой научной области является понятие мультимодальности и мультимодального текста, лингвисты осознают необходимость в разработке новых методов исследования, применимых к текстам такого типа. В данной статье было дано определение мультимодального текста с точки зрения зарубежных лингвистов, и был сделан вывод, что исследователи сходятся во мнении о значении этого понятия, но используют разную терминологию. Также были проанализированы работы немецких лингвистов на предмет становления новой научной дисциплины - лингвистики изображения и ее взаимосвязь с другими науками, занимающимися анализом вербального и невербального текста.
СПИСОК ЛИТЕРАТУРЫ / REFERENCES
AdamzikK. Textlinguistik. Grundlagen, Kontroversen, Perspektiven. 2., völlig neu
bearbeitete Auflage. Berlin ; Boston: De Gruyter, 2016. 407 s. Bucher H.- J. Multimodales Verstehen und Rezeption als Interaktion. Theoretische und empirische Grundlagen einer systematischen Analyse der Multimodalität. In: Diekmannshenke et al.: Bildlinguistik. Theorien-Methoden-Fallbeispiele. Berlin, 2011. S. 114. Diekmannshenke H., Klemm M., Stöckl H. Bildlinguistik. Theorien - Methoden -
Fallbeispiele. Berlin: Erich Schmidt, 2011. 345 s. Eckkrammer E. M., Held G. Textsemiotik - Plädoyer für eine erweiterte Konzeption der Textlinguistik zur Erfassung der multimedialen Textrealität. Eva Martha Eckkrammer, Gudrun Held (Hg.): Textsemiotik. Frankfurt a. M. u.a.: Lang, 2006. S. 1-10. Fix U. Anschauliche Wörter? Wörter im Dienste der ,Bildhaftigkeit', ,Bildlichkeit', ,Bildkräftigkeit', ,Sinnlichkeit', ,Lebendigkeit', Gegenständlichkeit' von Texten. In: Barz, Irmhild / Fix, Ulla / Lerchner, Gotthard (eds.): Das Wort in Text und Wörterbuch. Stuttgart ; Leipzig, 2002. S. 9-22. Große F. Bildlinguistik. Grundbegriffe und Methoden der linguistischen
Bildanalyse in Text- und Diskursumgebungen. Frankfurt (M.), 2011. 280 s. Held G., Bendel S. Werbung - grenzenlos. Multimodale Werbetexte im interkulturellen Vergleich. Frankfurt am Main: Peter Lang, 2008. 244 s. Hennecke A. Multimodale Texte und ihre Bedeutung für die Übersetzungspraxis.
URL: http://trans-kom.eu 8 (1) (2015). S. 202-232. Holly W. Der Wort-Bild-Reißverschluss. Über die performative Dynamik audiovisueller Transkriptivität. In: Linke, Angelika / Feilke, Helmuth (Hrsg.): Oberfläche und Performanz. Untersuchungen zur Sprache als dynamischer Gestalt. Tübingen, 2009. 389 s.
Lobin H. Digital und vernetzt. Das neue Bild der Sprache. J. B. Metzler, Stuttgart,
Springer-Verlag GmbH Deutschland 2018. S. 107-109 Klemm M., Stöckl H. Bildlinguistik-Standortbestimmung, Überblick, Forschungsdesiderate. In: Diekmannshenke, Hajo / Klemm, Michael / Stöckl, Hartmut (Hg.): Bildlinguistik. Theorien-Methoden-Fallbeispiele. Berlin, 2011. S.7-18 Knapp K. Öffentlich kommunizieren. Einleitung. Karlfried Knapp, Gerd Antos, Michael Becker-Mrotzek, Arnulf Deppermann, Susanne Göpferich, Joachim Grabowski, Michael Klemm, Claudia Villiger (Hg.): Angewandte Linguistik. Ein Lehrbuch. 2. Aufl. Tübingen ; Basel: Francke, 2004. S. 229-232 Kress G., T. van Leeuwen. Multimodal Discourse: The modes and media of
contemporary communication. London: Arnold, 2001. 152 p. Rein H., Schneider M. Einführung in die Physiologie des Menschen. 15. Auflage.
Springer, Berlin, 1964. 790 s. Stöckl H. Werbung in Wort und Bild. Textstil und Semiotik englisch-sprachiger
Anzeigenwerbung. Frankfurt (M.), 1997. 428 s. Stöckl H. Multimediale Diskurswelten zwischen Text und Bild. In: Kettemann, B. Stegu, M. Stöckl, H. (eds.), Mediendiskurse. Verbal-Workshop Graz 1996. Frankfurt am Main: Lang. 1998. S. 75, 77 Stöckl H. Die Sprache im Bild- Das Bild in der Sprache. Zur Verknüpfung von Sprache und Bild im massenmedialen Text. Konzepte - Theorien -Analysemethoden. Berlin ; New York: de Gruyter, 2004. 421 s. Stöckl H. Anschauungsorientierung im Text - Zwischen Sprache und Bild. In: Fix, U. et al. (Hg.), Zwischen Lexikon und Text - Lexikalische, stilistische und textlinguistische Aspekte. Stuttgart ; Leipzig: S. Hirzel, 2005. S. 64-79.
