CC BY
213
i гроглото
ISSN 1997-2911 (print)
Филологические науки. Вопросы теории и практики Philology. Theory & Practice
2021. Том 14. Выпуск 9. С. 2838-2842 | 2021. Volume 14. Issue 9. P. 2838-2842
Материалы журнала доступны на сайте (articles and issues available at): philology-journal.ru
RU
Мультимодальность и основы визуальной лингвистики в работах Х. Штекла
Куницына О. М.
Аннотация. Цель исследования - определить особенности понимания термина «мультимодальность» и «мультимодальная компетенция» в публикациях немецкого лингвиста Х. Штекла, а также популяризировать научное направления «визуальная лингвистика». Научная новизна исследования заключается в комплексном анализе различных интерпретаций понятия «мультимодальность», а также в уточнении предмета и задач визуальной лингвистики на основе работ Х. Штекла и определении ее места в ряде лингвистических направлений изучения мультимодального текста. Полученные результаты показали, что мультимодальность присуща любой коммуникации, изображение рассматривается как важный элемент комплексного моделирования и восприятия мультимодального текста Визуальная лингвистика представляет собой относительно новую науку для изучения и анализа негомогенных текстов, состоящих из вербального и статичного визуального компонентов.
EN
The Terms "Multimodality" and "Visual Linguistics" in H. Stockl's Works
Kunitsyna O. M.
Abstract. The research objectives are as follows: to reveal H. Stockl's understanding of the terms "multimodality" and "multimodal competence", to popularize visual linguistics as a scientific trend. The author analyses the existing interpretations of the notion "multimodality", relying on H. Stockl's works clarifies the subject and problematics of visual linguistics, identifies its place among linguistic disciplines devoted to multimodal text, which constitutes scientific originality of the study. The findings indicate that multi-modality is an inherent feature of communication process, image is considered as a key element influencing the modeling and perception of multimodal texts. Visual linguistics is a relatively new branch of linguistic science focused on analysing non-homogenous texts containing verbal and static visual components.
Введение
Актуальность темы исследования обусловлена особенным интересом лингвистов, занимающихся исследованиями в области прагмалингвистики, психолингвистики, теории и лингвистики текста к понятию «мульти-модальный» или «поликодовый» текст. В работах Х. Штекла представлена концепция визуальной лингвистики как нового научного направления для изучения и анализа негомогенных текстов, состоящих из статичного изображения и текстовой составляющей. Данная концепция требует научного осмысления и популяризации, так как является новым направлением в рамках разрабатываемой отечественными и зарубежными лингвистами концепции мультимодальной лингвистики.
Для достижения поставленной цели исследования необходимо решить следующие задачи: во-первых, проанализировать научные публикации Х. Штекла на тему мультимодальности и визуальной лингвистики; во-вторых, выяснить и описать видение понятия «мультимодальность» и «мультимодальная компетенция» в трудах Х. Штекла; в-третьих, описать то, что ученый относит к предмету изучения визуальной лингвистики и как определяет основные задачи данного лингвистического направления, чтобы конкретизировать отличие данного направления от мультимодальной лингвистики. Кроме того, интерес представляет отношение Х. Штекла к визуальной составляющей мультимодального текста.
Для осмысления и систематизации полученной из работ Х. Штекла информации применялись описательный и логический методы исследования, а также общенаучные методы обобщения и сопоставления.
Основной теоретической базой исследования послужили работы Х. Штекла [1; 3; 6; 9; 10-13], посвященные изучению мультимодальности и особенностям визуальной лингвистики, а также работы следующих
Научная статья (original research article) | https://doi.org/10.30853/phil210442
© 2021 Авторы. ООО Издательство «Грамота» (© 2021 The Authors. GRAMOTA Publishers). Открытый доступ предоставляется на условиях лицензии CC BY 4.0 (open access article under the CC BY 4.0 license): https://creativecommons.orq/licenses/by/4.0/
Филологические науки. Вопросы теории и практики. 2021. Том 14. Выпуск 9
2839
зарубежных лингвистов: H. Diekmannshenke [1], L. Jäger [2], M. Klemm [1; 3], G. Kress [4], R. Opilowski [5], J. Pfleaging [6], K. Sachs-Hombach [7], U. Schmitz [8].
Хартмут Штекл (Hartmut Stöckl) - профессор английского языка и прикладной лингвистики кафедры английского и американского языков Зальцбургского университета в Австрии. Основными направлениями его исследований являются семиотика, лингвистика медиатекста, стилистика, прагматика и исследования лингвистической мультимодальности. Его особенно интересует связь вербального и невербального в современных средствах массовой информации, взаимосвязь текста и изображения, типографика и эстетическая оценка рекламы. Х. Штекл защитил докторскую диссертацию по теме «Язык в изображении - изображение в языке. Взаимосвязь языка и изображения в масс-медиа-тексте. Концепции. Теории. Методы анализа» в техническом университете г. Хемница (Институт средств массовой информации и межкультурной коммуникации). Публикации последних лет связаны с темой мультимодальности, проблемами моделирования и восприятия мультимодального текста и с определением основных параметров нового направления в лингвистике - визуальной лингвистики.
Практическая значимость работы связана с тем, что материалы исследования могут быть использованы для дальнейшего описания проблем и методов визуальной лингвистики и разработки параметров общей мультимодальной лингвистики, а также в вузах гуманитарного направления в рамках спецкурсов по теории текста и речевой коммуникации, прагмалингвистики и психолингвистики.
Основная часть
Х. Штекл считает, что «мультимодальность - это довольно грандиозный и расплывчатый термин для сравнительно простого и повседневного явления» [11] (здесь и далее перевод автора статьи. - О. К.). Этот термин применяется к текстам и коммуникативным действиям, содержащим несколько различных систем знаков (язык, изображение, звук). Моделирование и восприятие таких семиотически негомогенных текстов, следовательно, требует интеграции различных ресурсов знаков в синтаксическое, семантическое и функциональное целое. Автор приводит большое количество примеров мультимодальных текстов: тексты массовой коммуникации, радиотексты, аудиовизуальные тексты. Все они связывают различные типы знаков: музыку, письмо, статичное и динамичное изображение, различные звуки, невербальные знаки общения (жесты, мимику, позы), паравербальные средства (интонация, тембр, вокальный дизайн). Эти средства задействованы в комплексном мультимодальном моделировании.
Резюмируя свою позицию по мультимодальности, Х. Штекл пишет, что существуют разные интерпретации этого феномена: 1. Мультимодальность - это совместное присутствие и взаимная связь нескольких знаковых модальностей на разных уровнях в смешанном тексте. 2. Мультимодальность - это коммуникативная компетенция и индивидуальный интеллект, который включает развитие смысла посредством «транскрибирования», то есть комментирования, объяснения или перефразирования сообщений из одной знаковой системы в другую. 3. Мультимодальность - это семиотико-когнитивная деятельность по формированию и следованию правилам при создании и понимании текстов [Ibidem]. В работах последних лет Х. Штекл определяет мультимо-дальность как комбинацию различных модальностей и их интеграцию с точки зрения структуры, семантики, дискурса и риторической функции в контексте социального взаимодействия [6; 9].
Термин «мультимодальность», с точки зрения исследователя, не является особенно удачным. В своих статьях Х. Штекл часто упоминает, что понятие «модальность» существует также в грамматике и представляет собой одну из семантических категорий, которая выражает отношение говорящего к содержанию высказывания, показывает целевую установку речи. Из-за этого может возникнуть недопонимание или путаница в терминах. Кроме того, «модальность» может пониматься как чувственное восприятие. Исследователи чаще все же имеют в виду именно структуру самого текста и не всегда восприятие через разные каналы. Для того, чтобы избежать наложения понятий ученый использует термин "Zeichenmodalität" («знаковая модальность»), полагая, что знаковые модальности связаны с каналами чувственного восприятия, но не отождествляются с ними. Так, например, язык используется в устной и письменной речи, музыка может производиться и восприниматься, изображения могут быть нарисованы или сфотографированы. Х. Штекл называет четыре основные знаковые модальности: язык, изображение, музыка и звук/шум, которые могут реализоваться посредством разных знаков или кодов и восприниматься через различные каналы восприятия [10].
В своих работах Х. Штекл четко разграничивает текст как лингвистическую категорию, с присущими ей правилами построения, и изображение как визуальный элемент. Он также упоминает термин "Gesamttext" («общий/смешанный текст») как сочетание вербального и визуального [13]. Автор полагает, что семантико-прагматические возможности отдельных кодов (вербального и визуального) дополняют друг друга, и каждая система символов занимает свое место в смешанном общем тексте. Х. Штекл считает довольно наивными идеи о том, что можно переводить один код (вербальный текст) в другой (изображение), закодированное сообщение из одной модальности в другую. «Поскольку одна модальность символов в текстовом использовании может брать на себя такие функции, для которых другая не подходит, соотношение между модальностями можно описать как симбиотическое или синергетическое. Каждая модальность имеет свой собственный общий потенциал для представления и интерпретации» [Ibidem]. Такие «преобразования» [4, p. 76] возможны лишь иногда, например, можно визуализировать лингвистические сообщения или описать музыку лингвистически.
Сегодня в эпоху визуального и аудиовизуального растущее значение изображений невозможно отрицать. Они сопровождают человека везде в повседневной коммуникации. Областями активного социального применения визуальных элементов являются кино, телевидение, фотография, инфографика, новые медиа,
2840
Теория языка
изобразительное искусство, графический дизайн, типографика, реклама, журналистика. Наряду с языком «изображения являются одними из самых важных инструментов представления, интерпретации и отражения мира с помощью символов» [3]. Изучение изображений имеет тысячелетнюю историю. Исследованием, интерпретацией, пониманием и культурой создания изображений занимается философия, история, история искусств, семиотика, психология, коммуникация, антропология и информатика.
Базовой дисциплиной для изучения изображений является семиотика как наука о знаках. Она объединяет в себе интерес к декодированию заложенных в изображениях смыслов, исследование коммуникативных, общественных и социальных сфер, в которых используются изображения, и разработку методик для анализа и интерпретации изображений [12]. В рамках семиотики встречаются такие термины, как грамматика изображения, прагматика и семантика изображений [7].
Изображение почти всегда находится в сопровождении других знаковых систем. Так, «даже в картинной галерее, где на первый взгляд присутствуют только изображения, существуют и надписи, аудиогиды, описания картин и рецензии» [11].
Для понимания смыслов изображения и чтения мультимодального текста человек осуществляет ментальную транскрибирующую семантизирующую активность, которую Х. Штекл называет мультимодальной компетенцией (в терминологии Л. Йэгера «транскриптивный интеллект») [2, S. 35]. Важными компонентами мультимодальной компетенции являются способность распознавать виды или типы изображений по категориям, придавать изображению значение, соответствующее контексту использования, понимать языковой текст по сравнению с визуальным сообщением, учитывать образность вербальной части мультимодального сообщения и интегрировать смысл изображения в общее понимание.
Поток изображений в средствах массовой информации настолько велик, что появляются некоторые пессимистичные высказывания по поводу подавления языка изображениями, развиваются дискуссии о знаковом повороте в истории, когда огромное количество изображений представляется избыточным и в перспективе может вытеснить язык в некоторых областях коммуникации. В связи с этим существует потребность общества в научных исследованиях визуальной коммуникации, в том числе для того, чтобы рассмотреть в перспективе чрезмерные страхи или ожидания [3]. Появляется потребность исследований создания изображений с учетом определенных функций. Так, например, прикладная лингвистика, или медиалингвистика, часто затрагивает изображения в своих исследованиях, но такие исследования довольно односторонни. В них говорят об изображении как таковом, упуская из вида его тип, форму и функции. На это необходимо обращать внимание. Утверждения должны быть не категоричными и общими, а касаться определенных типов и сфер их социального использования. Кроме того, нельзя исследовать изображения изолированно, в отрыве от коммуникативного контекста, это возможно только в сочетании с текстом и другими паравербальными средствами (шум, музыка и др.). Исследования изображений последних лет ограничиваются изучением механизмов понимания, восприятия или интерпретации изображения. Вопрос о функционировании изображения в общении и структуре текстов, а также исследование сложного взаимодействия вербального и невербального являются подлинной проблемой. И здесь лингвистика в сочетании с науками об изображениях может сделать многое для устранения этих недостатков -особенно в отношении систематического анализа отношений «язык - изображение» [Ibidem].
Для исследований изображений необходимо использовать междисциплинарный подход. Технологические разработки облегчили и усилили их производство, обработку, распространение и восприятие, поэтому стали возникать идеи объединить отдельные научные усилия вокруг изображения в одну «науку об изображениях» [7].
Х. Штекл в своих работах предлагает термин «визуальная лингвистика» и пишет, что этот термин следует отличать от понятия «лингвистика изображений», так как изображения функционируют и могут пониматься совершенно иначе, чем язык. С прагматической, семантической и структурной точек зрения изображения и язык совершенно отличаются. Они объединены в текстах и коммуникативных событиях, дополняют друг друга своей репрезентативной и выразительной силой. Визуальная лингвистика, таким образом, означает рассмотрение отношений между языком и изображением в текстах в целом и использование лингвистических концепций, моделей и методов для исследования изображения, которое преимущественно интегрировано в тексты средств массовой информации [3]. Мультимодальные тексты в средствах массовой информации включают не только письменный язык и неподвижные изображения, поэтому визуальная лингвистика -это лишь часть общей мультимодальной лингвистики [5] для изучения функционирования вербального и статичного визуального компонентов.
В рамках визуальной лингвистики нельзя забывать и о том, что при анализе мультимодального текста неразрывно связаны и должны учитываться материальные (то есть чисто визуальные) образы, лингвистические образы (то есть образные выражения, метафоры) и ментальные образы (идеи, восприятия). Объектами исследования визуальной лингвистики могут стать картины, комиксы, открытки, карты и инфографики, макеты, инструкции, рекламные ролики, музыкальные клипы, титульные страницы или подписи в прессе, субтитры, сообщения на телевидении и многое другое [11]. Такие комплексы «изображение - язык» существуют в самых разных контекстах. Еще малоизученными являются сферы Интернета, например, взаимоотношения языка и изображения в онлайн-газетах, на YouTube или в социальных сетях.
Целями использования мультимодальных текстов, по мнению Х. Штекла, являются:
• иллюстрация и повышение привлекательности;
• аргументация и убеждение (например, в рекламе);
• документация (запись и архивирование);
Филологические науки. Вопросы теории и практики. 2021. Том 14. Выпуск 9
2841
• обоснование (достоверность внешнего вида);
• объяснение (визуализация контекстов или невидимых процессов).
Х. Штекл в нескольких работах пишет, что сам термин визуальная лингвистика - это довольно смелое название, поскольку пока нельзя говорить об установленной субдисциплине, сопоставимой с социолингвистикой или лингвистикой текста. Скорее, в настоящее время это все же особая перспектива в лингвистике текста и сфере медиа. Исследования взаимодействия медиа с изображением в контексте современной лингвистики текста, семиотики, стилистики и прагматики могут быть отнесены к визуальной лингвистике. Даже у самих авторов идеи визуальной лингвистики возникают сомнения, можно ли лингвистически исследовать такой феномен, как изображение в более узком смысле, поскольку изображения не являются лингвистическими явлениями [8; 11]. Но нет сомнения в том, что лингвистика с ее теорией, методами и исследовательскими интересами может и должна внести реальный вклад в междисциплинарную и трансдисциплинарную науку об изображениях. Методы и подходы визуальной лингвистики находятся еще в стадии разработки. Основными задачами визуальной лингвистики являются:
• подробное описание семантических, перцептивно-когнитивных и прагматических различий и сходств между двумя системами кода, языком и изображением;
• исследование типов символов за счет включения звука (шум, музыка), невербального (жесты, выражения лица) и паравербалики (типографика, интонация);
• распознавание и фиксация шаблонов или логики связи между языком и изображением;
• исследование максимального числа областей сочетаний языка и изображения, мультимодальных текстов в широком смысле слова, чтобы проследить прагматические функции таких семиотических сложных текстов.
Все это поможет оценивать медийные и текстовые методики мультимодального использования изображений с точки зрения возможного речевого воздействия, идеологических последствий и взаимоотношений в общении [3].
Терминология этой новой науки находится в разработке. Некоторые исследователи используют термин «текст» для вербального компонента, другие требуют более расширенного рассмотрения вербального и визуального компонента одновременно, для чего необходим другой термин, например, «смешанный текст» (Н. Stöckl, U. Fix, M. Klemm) [3; 11]. Нет единого мнения по поводу термина «коммуникат» (Н. Diekmannshenke) [1] или «визуальная составляющая» (U. Schmitz) [8]. Аналогичным образом термины «код» и «модальность» до сих пор не используются единообразно.
Визуальная лингвистика, которая еще не является своего рода «лингвистикой мультимодальности», но лишь ее частью, основана на взаимосвязи между языком и статичным изображением. У исследователей существует осознание того, что целостный мультимодальный анализ, особенно аудиовизуальной коммуникации, должен развиваться.
Заключение
Таким образом, можно сделать следующие выводы. Дифференцированные знаковые системы рассматриваются Х. Штеклом как модальности, которые лежат в основе любой коммуникации. Они делают возможным полноценное общение, так как позволяют распознавать коммуникативные заложенные смыслы. С точки зрения автора, текст всегда состоит из более чем одной знаковой модальности, из частей мультимодального текста, которые закодированы по-разному и неизбежно вступают во взаимосвязь.
Изучение функционирования вербальной и статичной визуальной составляющих мультимодального текста Х. Штекл видит в рамках нового лингвистического направления - визуальной лингвистики, основы которой находятся в активной разработке. Предметом этой науки является подробное исследование и анализ визуального компонента и фиксация моделей взаимодействия текста и статичного изображения. В работах ученого визуальная лингвистика позиционируется как часть общей мультимодальной лингвистики, которая изучает весь спектр взаимодействия различных модальностей.
Перспективы исследования мы видим в дальнейшем изучении двойственной структуры и функций муль-тимодального текста, особенностей его использования в коммуникативных ситуациях и социальных контекстах. Визуальная лингвистика только зарождается и начинает отвечать на поставленные вопросы, но без сомнения является необходимым и важным направлением современной лингвистики для изучения закономерностей мультимодальной коммуникации.
Источники | References
1. Diekmannshenke Н., Klemm M., Stöckl H. Bildlinguistik. Theorien - Methoden - Fallbeispiele. Berlin: Erich Schmidt, 2011. 384 S.
2. Jäger L. Transkriptivität. Zur medialen Logik der kulturellen Semantik. // Jäger L., Stanitzek G. Transkribieren -Medien/Lektüre. München: Fink, 2002. S. 19-41.
3. Klemm M., Stöckl H. "Bildlinguistik" - Standortbestimmung, Überblick, Forschungsdesiderate [Электронный ресурс]. URL: https://stoeckl.sbg.ac.at/Stoeckl/Publikationen_2_files/Stoeckl%20Klemm_Bildlinguistik_2010.pdf (дата обращения: 05.05.2021).
2842
Теория языка
4. Kress G. Visual and verbal modes of representation in electronically media communication: the potentials of new forms of text // Page to screen. Taking literacy into the electronic era / ed. by I. Snyder. L.: Routledge, 1998. P. 53-79.
5. Opilowski R. Von der Textlinguistik zur Bildlinguistik. Sprache-Bild-Texte im neuen Forschungsparadigma [Электронный ресурс]. URL: https://www.ejournals.eu/ZVPG/Tom-2(2013)/Zeszyt_3_(2013)/art/2649/(дата обращения: 05.07.2021).
6. Pfleaging J., Stöckl H. The Rhetoric of Multimodal Communication [Электронный ресурс]. URL: https://journals. sagepub.com/doi/full/10.1177/14703572211010200 (дата обращения: 05.07.2021).
7. Sachs-Hombach K. Das Bild als kommunikatives Medium. Elemente einer allgemeinen Bildwissenschaft. Köln: Halem, 2003. 350 S.
8. Schmitz U. Sehflächenforschung. Eine Einführung [Электронный ресурс]. URL: http://www.linse.uni-due.de/files/PDF_in_Katalog/publikationen/0nline-Publikationen/Sehflchenforschung-2010.pdf (дата обращения: 05.06.2021).
9. Stöckl H. Linguistic multimodality - multimodal linguistics: A state of-the-art sketch // Multimodality: Disciplinary Thoughts and the Challenge of Diversity / ed. by J. Wildfeuer, J. Pflaeging, J. Bateman, O. Seizov, C. Tseng. Berlin: De Gruyter, 2019. P. 41-68.
10. Stöckl H. Multimodalität. Semiotische Und Textlinguistische Grundlagen [Электронный ресурс]. URL: https://ru. scribd.com/document/413291482/Multimodalitat-Semiotische-Und-Textlinguistische-Grundlagen (дата обращения: 05.07.2021).
11. Stöckl H. Sprache-Bild-Texte lesen. Bausteine zur Methodik einer Grundkompetenz [Электронный ресурс]. URL: http://stoeckl.sbg.ac.at/Stoeckl/Publikationen_2_files/Stoeckl_%20Sprache-Bild-Texte_2010.pdf (дата обращения: 05.05.2021).
12. Stöckl H. Werbekommunikation semiotisch [Электронный ресурс]. URL: https://stoeckl.sbg.ac.at/Stoeckl/ Publikationen_2_files/Stoeckl_2012_243-262.pdf (дата обращения: 05.05.2021).
13. Stöckl H. Zeichen, Text und Sinn - Theorie und Praxis der multimodalen Textanalyse [Электронный ресурс]. URL: https://stoeckl.sbg.ac.at/Stoeckl/Publikationen_2_files/Stoeckl_2006_11-36.pdf (дата обращения: 05.05.2021).
Информация об авторах | Author information
RU
EN
Куницына Олеся Мироновна1, к. филол. н. 1 Институт Международного права и правосудия Московского государственного лингвистического университета
Kunitsyna Olesya Mironovna1, PhD
1 Moscow State Linguistic University
Информация о статье | About this article
Дата поступления рукописи (received): 22.07.2021; опубликовано (published): 30.09.2021.
Ключевые слова (keywords): мультимодальность; визуальная лингвистика; изображение; мультимодальная компетенция; multimodality; visual linguistics; image; multimodal competence.
