CC BY
130
ФИЛОЛОГИЯ PHILOLOGY
УДК 81-25 DOI: 10.52772/25420291_2022_2_230
Александра Васильевна Байкова г. Киров
Мультимодальный дискурс-анализ как один из методов коммуникативно-прагматического подхода к пониманию языка и текста
Статья посвящена исследованию мультимодального дискурс-анализа, который направлен на интерпретацию коммуникативных практик в аспекте выявления смыслов при анализе отдельных аспектов коммуникации. В качестве теоретической базы статьи взяты работы российских и зарубежных исследователей А.А. Кибрика, М. Халлидея, Г. Кресса, Т. ван Лиувена и др. В связи с теоретическим характером исследования при рассмотрении литературы по теме задействованы такие методы как анализ, синтез и обобщение. Актуальность работы обусл овлена недостаточной изученностью данной темы, особенно в русскоязычной среде, растущим интересом к вопросу мультимодальных исследований, который возникает у исследователей в сфере лингвистики. Представленный в статье материал может послужить базой для проведения дальнейших, более детальных, исследований с применением практических методов, что может поспособствовать новым достижениям в изучении мультимодальности как особого направления человеческой коммуникации.
Ключевые слова: мультимодальность, мультимодальный дискурс-анализ, теоретические проблемы модального дискурс-анализа.
Alexandra Vasilyevna Baykova
Kirov
Multimodal discourse analysis as one of the methods of a communicative and pragmatic approach to understanding language and text
The article is devoted to the study of multimodal discourse analysis, which is aimed at interpreting communicative practices to identify meanings while analyzing individual aspects of communication. The theoretical basis of the article constitutes the works of Russian and foreign researchers A.A. Kibrik, M. Halliday, G. Kress, T. van Lieuwen, etc. The theoretical nature of the study implies the use of such methods as analysis, synthesis and generalization to review the literature on the topic. The relevance of the work is due to the insufficient knowledge of this topic, especially in the Russian-speaking environment, and the growing interest to the issue of multimodal research that arises among researchers in the field of linguistics. The material presented in the article can serve as a basis for further, more detailed, research using practical methods, which can contribute to new achievements in the study of multimodality as a special direction of human communication.
Keywords: multimodality, multimodal discourse analysis, theoretical problems of modal discourse analysis.
Введение. Мультимодальность является характерной особенностью человеческой коммуникации. Общение между людьми осуществляется не только через звучащий и письменный текст, но и посредством жестов, осанки, мимики, взгляда, тона голоса, картин, фотографий и многого другого. Мультимодальность представляет собой направление в теории коммуникации и социальной семиотике, которое рассматривает коммуникативный процесс как совокупность текстуальных, звуковых, лингвистических, пространственных и визуальных средств или модусов с целью создания сообщения. С внедрением цифровых технологий интенсивно развиваются формы сетевой коммуникации, порождением которой являются тексты принципиально нового типа, в которых комплексно используются разнообразные средства конструирования смыслов. Следствием этого является становление научного направления в исследовании коммуникативного процесса в его семиотической комплексности, известное под названием мультимодальной лингвистики, являющегося сегодня востребованным в европейской и русской лингвистике.
При проведении мультимодальных исследований используется новый коммуникативно-прагматический подход к пониманию языка и текста, согласно которому, осмысление реальности может осуществляться через сложное образование вербальных и невербальных аспектов. Для исследований в русле этого направления используются такие методы как лингвистический и визуальный анализ, контент-анализ, мультимодальный или конверса-ционный анализ, анализ мультимодального взаимодействия, мультимодальный дискурс-анализ. В данной статье нами подробно рассматривается мультимодальный дискурс-анализ, который направлен на интерпретацию коммуникативных практик в аспекте выявления смыслов при анализе отдельных аспектов коммуникации.
Мультимодальный дискурс-анализ является развивающейся парадигмой в исследованиях дискурса, которая выходит за пределы науки о языке и по своей природе является объектом изучения лингвистики в совокупности с другими ресурсами, такими как изображения, научная символика, же-
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО __ ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 2 (54) 2022_ 2542-0291
стикуляция, движения, музыка и звук [9, 10]. Необходимо отметить, что в настоящее время существует довольно разнообразная терминология, относящаяся к модальному дискурсу-анализу, так как концепции и подходы ещё только развиваются в этой относительно новой области исследований. Так, например, язык и другие средства, взаимодействующие для создания значений в «мультимо-дальных» («мультисемиотических») феноменах (например, печатные материалы, видео, веб-сайты, трёхмерные объекты и повседневные события) называются по-разному, либо «семиотические средства», либо «модусы», либо «модальности». Мультимодальный дискурс-анализ может называться как «мультимодальность», «мультимодаль-ный анализ», «мультимодальная семиотика» и «мультимодальные исследования».
В данной статье для описания средств (модусов), которые интегрируются в сенсорные модальности (например, зрительные, слуховые, тактильные, обонятельные, вкусовые и кинестетические) в поликодовых текстах, нами используется термин семиотический ресурс. По мнению Майкла Халлидея, семиотические ресурсы - это «система значений, которые составляют реальность культуры» [3. С. 123]. Среда - это способ, благодаря которому мультимо-дальные феномены материализуются, например, газеты, телевидение, виртуальные или материальные объекты или события. Прежде чем более подробно будут рассмотрены понятия и подходы, характерные для мультимодального дискурс-анализа, в данной статье нами будут рассмотрены основные проблемы, с которыми сталкивается мультимодальный дискурс-анализ, причины возникновения этой области в лингвистике, а также разнообразие разработанных подходов его изучения.
Объектом исследования мультимодального дискурс-анализа является теория и анализ семиотических источников и семантических расширений, которые возникают как семиотический выбор комбинаций в мультимодальных феноменах. Межсемиотические (межмодальные) связи возникают в результате взаимодействия семиотических ресурсов, известных также как межсемиозис, который является основной областью мультимодального исследования [5].
Мультимодальный дискурс-анализ занимается разработкой, производством и распределением мультимодальных ресурсов в социальных условиях, а также ресемиотизацией [4] мультимо-дальных явлений, возникающих по мере развития социальных практик. Основные задачи, стоящие перед мультимодальным дискурс-анализом, включают разработку теорий и основ для семиотических ресурсов, отличных от языка, моделирование социальных семиотических процессов (в частности, межсемиоза и ресемиотизации), а также интерпретацию сложного семантического пространства, которое разворачивается внутри и между мультимо-дальными явлениями.
Существует несколько причин для парадигматического перехода от изучения языка изолированно к изучению интеграции языка с другими средствами. Во-первых, дискурс-аналитики, пытающиеся интерпретировать широкий спектр человеческих дискурсивных практик, обнаружили необходимость учитывать значение, возникающее из множества семиотических ресурсов, размещённых в различных средствах массовой информации, включая современные интерактивные цифровые технологии. Во-вторых, стали доступны в физическом и материальном плане технологии для разработки новых методологических подходов для мультимодального дискурс-анализа, например инструменты мультимо-дальной аннотации [12]. Наконец, междисциплинарные исследования стали более распространенными, поскольку ученые, изучающие разные дисциплины, стремятся решить схожие проблемы. Из «века дисциплин, каждая из которых имеет свою собственную область, свою собственную теоретическую концепцию и свой собственный набор методов», двадцать первый век превратился в «век тем» [3. P. 39], направленных на решение конкретных проблем. Мультимодальный дискурс-анализ является примером такого сдвига парадигмы, и он может внести ключевой вклад в мультимодальный анализ, поиск и извлечение информации.
1. Подходы к изучению мультимодаль-ного-дискурс-анализа
Гюнтер Кресс, Тео ван Лиувен и Майкл О'Тул заложили основы для мультимодального исследования в 1980-х и 1990-х годах, опираясь на социально-семиотический подход к языку Майкла Хал-лидея для моделирования смыслового потенциала слов, звуков и изображений как совокупности взаимосвязанных систем и структур. Гюнтер Кресс и Тео ван Лиувен [6] исследовали изображения и визуальный дизайн, а Майкл О'Тул [11] применил системно-функциональную модель Майкла Халлидея к семиотическому анализу изобразительного искусства, картин, скульптуры и архитектуры.
То есть Гюнтер Кресс и Тео ван Лиувен принимают контекстуальный подход с особой ориентацией на идеологию, выводя общие принципы визуального дизайна, которые иллюстрируются с помощью анализа текста; в то время как Майкл О'Тул разрабатывает грамматический подход, тесно сотрудничая с конкретными «текстами», то есть, картинами, архитектурными проектами и скульптурами. На основе данных подходов учеными были разработаны контекстуальные подходы для анализа речи, звука и музыки, научных текстов, гипермедиа, движений и жестикуляции.
Мультимодальные исследования быстро приобрели популярность в середине 2000-х годов, поскольку лингвисты стали проявлять все большой интерес к изучению интеграции языка с другими ресурсами. Было открыто признано, что коммуникация по своей сути является мультимодальной и что грамотность не ограничивается языком.
JOURNAL OF SHADRINSK STATE PEDAGOGICAL UNIVERSITY. no. 2 (54) 2022
В России для исследования мультимодальной лингвистики как самостоятельного направления был создан ресурс «Рассказы и разговоры о грушах» в рамках крупного российского проекта «Язык как он есть: русский мультимодальный дискурс», осуществляемый под руководством А.А. Кибрика с 2014 года. Главной целью проекта было изучить все многообразие естественной человеческой коммуникации и описать степень и важность участия четырех каналов - вербального, просодического, жесто-вого и движения глаз в процессе живого взаимодействия между коммуникантами [1. С. 134-152]. В последнее время появилось множество исследований посвященных изучению роли и влияния поликодовых и мультимодальных текстов на процесс обучения. Развитие цифровых технологий вызвало появление новых форм коммуникации в образовательном процессе, отличительной особенностью которой являются тексты принципиально нового строения, то есть, мультимодальные.
2. Теоретические проблемы мультимо-дального дискурс-анализа
Необходимо выделить следующие теоретические проблемы мультимодального дискурс-анализа: 1) моделирование семиотических ресурсов, фундаментально отличных от языка; 2) моделирование и анализ межсемиотических расширений значения по мере того, как семиотический выбор интегрируется в мультимодальные явления; 3) моделирование и анализ ресемиотизации мультимодальных явлений по мере развития социальных практик. Рассмотрим каждую из проблем в отдельности:
1) Моделирование семиотических ресурсов, фундаментально отличных от языка.
По мнению Майкла Халлидея, язык может быть смоделирован как совокупность взаимосвязанных систем в форме системных связей, которые организуются метафункционально согласно таксономии по иерархическим уровням (слово, словосочетание, предложение, комплексы предложений, абзац и текст. Грамматические системы связывают слова со значением на семантическом уровне. Системы, которые работают в плоскости выражения (т.е. графология и типография для письменного языка и фонология для разговорного языка), также включены в модель Халлидея. Большинство семиотических ресурсов принципиально отличаются от языка. Однако те, которые произошли от языка (например, математическая символика, научная нотация и язык компьютерного программирования), имеют самые тесные связи с языком в плане грамматичности. Согласно классификации знаков по Чарльзу Сандерсу Пирсу, язык рассматривается как символическая система знаков, которая не имеет отношения к тому, что изображает. В то время, как изображения являются знаковыми, поскольку они представляют собой нечто похожее. Таким образом, аналитические подходы и основы, базирующиеся на лингвистических моделях, начинают поддвергаться сомнению [7].
Необходимо отметить, что системы, разработанные для языка, имеют ограничения, когда дело касается ресурсов, таких как изображения, жесты, движения, звуки, которые являются топологическими по своей природе [7]. Гюнтер Кресс и Тео ван Лиувен предлагают моделирование систем в рамках мультимодальных семиотических ресурсов (например, цвет, стиль шрифта, размер шрифта для топографии, а также громкость, качество голоса и высоту тона) [6].
2) Моделирование и анализ межсемиотических расширений значения по мере того, как семиотический выбор интегрируется в мультимодальные явления.
Взаимодействие семиотических выборов в мультимодальных явлениях приводит к семантическому расширению по мере доступа и интеграции смыслового потенциала различных ресурсов; например, в отношениях уровня текст-изображение [2], жестикуляция и речь [8], а также язык, изображение и математическая символика [7]. Это семантическое расширение также связано с материальностью мультимодального артефакта (предмета, созданного человеком), включая технологию или другой задействованный носитель (например, книгу, интерактивные цифровые медиа) [5].
Семантическую интеграцию в мультимодаль-ных явлениях можно рассматривать метафункцио-нально, посредством чего эмпирические, логические, межличностные и текстовые значения взаимодействуют между элементами на разных уровнях (например, словосочетание и изображение).
Процессы и механизмы семантического расширения, возникающие в результате межсемиозиса ещё предстоит полностью теоретизировать. Возможно, потребуются межсемиотические системы, выходящие за рамки наборов взаимосвязанных грамматических систем для каждого ресурса, функционирующих как «мета-грамматики». Эти межсемиотические системы могли бы связать варианты выбора в иерархических таксономиях для каждого ресурса, чтобы, например, словосочетание в языке было похоже на компонент сложного визуального повествования или наоборот. Одной из основных проблем для аналитиков мультимодаль-ного дискурса является сложность как межсемиотических процессов, так и результирующего семантического пространства, особенно в динамических текстах (например, видео) и гипертекстах с гиперссылками (например, в интернете).
3) Моделирование и анализ ресемиотизации мультимодальных явлений по мере развития социальных практик.
Мультимодальный дискурс-анализ также занимается рассмотрением схожести мультимодаль-ных явлений в разных местах и во времени: «ресе-меотизация - это то, как смысл меняется от контекста к контексту, от практики к практике или от этапа практики к следующему этапу» [4]. Ресемио-тизация происходит в рамках самого разворачивающегося мультимодального дискурса (по мере
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО 232_ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 2 (54) 2022
того, как дискурс переключается между различными ресурсами) и в разных контекстах по мере развития социальных практик (например, в процессе принятия политического документа). С грамматической точки зрения, ресемиотизация обязательно предполагает переосмысление значения, поскольку семиотический выбор меняется в зависимости от места и времени. Во многих случаях ре-семиотизация предполагает введение новых семиотических ресурсов и может привести к метафорическому расширению значения, поскольку функциональные элементы в одном семиотическом ресурсе реализуются с использованием другого семиотического ресурса: например, переход от языка к изображению и математической символике в разворачивающемся математическом дискурсе [7].
Выводы.
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
Таким образом, основной задачей мультимо-дального дискурс-анализа является аннотирование, анализ, поиск и извлечение моделей мультимо-дальной семантики внутри и между сложными мультимодальными явлениями. Необходимо учитывать межсемиотические и сходные процессы в разных временных масштабах и пространственных местоположениях. Кроме того, для разных средств массовой информации могут потребоваться разные теоретические подходы, например, мультимодаль-ный дискурс-анализ видео- и кинофильмов может основываться на результатах исследований фильмов [2]. Для того, чтобы достичь более глобальных целей понимания закономерностей и тенденций в технологиях, тексте, контексте и культуре, необходимо более конкретно и комплексно исследовать мультимодальный дискурс-анализ.
1. Кибрик, А.А. Мультимодальная лингвистика / А.А. Кибрик. - Текст : непосредственный // Когнитивные исследования - IV. - Москва : ИП РАН, 2010. - С. 134-152.
2. Bateman, J. Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents / J. Bateman.
- London : Palgrave Macmillan, 2008. - Text : direct.
3. Halliday, M. A. K. Towards Probabilistic Interpretations / M. Halliday. - Text : direct // Trends in Linguistics Studies and Monographs 55: Functional and Systemic Linguistics Approaches and Uses. - Berlin : Mouton de Gruyter, 1991. - P. 3961. - Text : direct.
4. Halliday, M. A. K. Language as Social Semiotic: The Social Interpretation of Language and Meaning / M. Halliday. -London : Edward Arnold, 1978.
5. Iedema, R. Analysing Film and Television: a Social Semiotic Account of Hospital: an Unhealthy Business / R. Iedema.
- Text : direct // Handbook of Visual Analysis / eds. T.V. Leeuwen, C. Jewitt. - London : Sage, 2001. - Р. 183-204.
6. Jewitt, C. An Introduction to Multimodality / C. Jewitt. - Text : direct // The Routledge Handbook of Multimdal Analysis / ed. C. Jewitt. - London ; New York : Routledge, 2009. - Р. 14-27.
7. Kress, G. Reading Images: The Grammar of Visual Design / G. Kress, van T. Leeuwen. - 2nd ed. - London : Routledge, 2006. - Text : direct.
8. Lemke, J. Metamedia literacy: Transforming meanings and media / J. Lemke. - Text : direct // Handbook of literacy and technology: Transformations in a post-typographic world / еds. D. Reinking, M. McKenna, L. Labbo & R. Kieffer. - New Jersey : Erlbaum, 1998. - Р. 283-302.
9. Martinec, R. Types of Processes in Action / R. Martinec. - Text : direct // Semiotica. - 2000. - № 130 (3/4). - Р. 243-268.
10. O'Halloran, K.L. Mathematical Discourse: Language, Symbolism and Visual Images / K.L. O'Halloran. - London ; New York : Continuum, 2005. - Text : direct.
11. O'Halloran, K.L. Inter-Semiotic Expansion of Experiential Meaning: Hierarchical Scales and Metaphor in Mathematics Discourse / K.L. O'Halloran. - Text : direct // New Developments in the Study of Ideational Meaning: From Language to Multimodality / eds. C. Jones, E. Ventola. - London : Equinox, 2008.
12. O'Toole, M. The Language of Displayed Art / M. O'Toole. - 2nd ed. - London ; New York : Routledg, 2010. - Text : direct.
REFERENCES
1. Kibrik A.A. Mul'timodal'naja lingvistika [Multimodal linguistics]. Kognitivnye issledovanija - IV [Cognitive researches
- IV]. Moscow: IP RAN, 2010, pp. 134-152.
2. Bateman J. Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents. London: Palgrave Macmillan, 2008.
3. Halliday M. A. K. Towards Probabilistic Interpretations. Trends in Linguistics Studies and Monographs 55: Functional and Systemic Linguistics Approaches and Uses. Berlin: Mouton de Gruyter, 1991, pp. 39-61.
4. Halliday M. A. K. Language as Social Semiotic: The Social Interpretation of Language and Meaning. London: Edward Arnold, 1978.
5. Iedema R. Analysing Film and Television: a Social Semiotic Account of Hospital: an Unhealthy Business. Leeuwen T.V. (eds.) Handbook of Visual Analysis. London: Sage, 2001, pp. 183-204.
6. Jewitt C. An Introduction to Multimodality. Jewitt C. (ed.) The Routledge Handbook of Multimdal Analysis. London; New York: Routledge, 2009, pp. 14-27.
7. Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design. London: Routledge, 2006.
JOURNAL OF SHADRINSK STATE PEDAGOGICAL UNIVERSITY. no. 2 (54) 2022
8. Lemke J. Metamedia literacy: Transforming meanings and media. Reinking D. (eds.) Handbook of literacy and technology: Transformations in a post-typographic world. New Jersey: Erlbaum, 1998, pp. 283-302.
9. Martinec R. Types of Processes in Action. Semiotica, 2000, no. 130 (3/4), pp. 243-268.
10. OHalloran K.L. Mathematical Discourse: Language, Symbolism and Visual Images. London; New York: Continuum, 2005.
11. O'Halloran K.L. Inter-Semiotic Expansion of Experiential Meaning: Hierarchical Scales and Metaphor in Mathematics Discourse. Jones C. (eds.) New Developments in the Study of Ideational Meaning: From Language to Multimodality. London: Equinox, 2008.
12. O'Toole M. The Language of Displayed Art. London; New York: Routledg, 2010. СВЕДЕНИЯ ОБ АВТОРЕ:
А.В. Байкова, старший преподаватель кафедры лингвистики и перевода, ФГБОУ ВО «Вятский государственный университет», г. Киров, Россия, e-mail: usr214341@vyatsu.ru, ORCID: 0000-0003-1725-291X.
INFORMATION ABOUT THE AUTHOR:
A.V. Baykova, Senior Lecturer, Department of Linguistics and Translation, Vyatka State University, Kirov, Russia, e-mail: usr214341@vyatsu.ru, ORCID: 0000-0003-1725-291X.
УДК 81'25 DOI: 10.52772/25420291_2022_2_234
Алексей Владимирович Белозерцев г. Шадринск
Анализ коммуникативной ситуации перевода
В статье рассматриваются спорные решения переводчиков о поверхностном подходе к анализу коммуникативной ситуации перевода. Приводятся предположения о причинах искажения содержания художественного текста оригинала, которое возникает, когда при межъязыковом посредничестве во внимание не берётся специфика отдельных элементов коммуникативного акта между автором и читателем. По отдельности рассматриваются такие структурные элементы коммуникативного акта, как: адресант, адресат, сообщение, код, канал, шум, коммуникативный эффект, коммуникативное время, коммуникативное пространство, обратная реакция. Затронуты некоторые понятия из теории перевода и стилистики декодирования: переводческая трансформация, модель перевода, тип выдвижения, коннота-тивное значение и т.д. В результате проведённых дескриптивно-аналитических операций автор умозаключает, что переводчик художественного текста должен ограничиваться коммуникативной ролью посредника, обеспечивающего возможность контакта между носителями разных коммуникативных кодов, - но не искажать когнитивную систему текста оригинала.
Ключевые слова: перевод, коммуникация, структура, элемент, фактор.
Aleksei Vladimirovich Belozertsev
Shadrinsk
Translation communication act analysis
The article covers disputable translators' decisions concerning the unscrupulous approach to analyzing communication acts mediated with translation. Some speculations are provided concerning causes of distortion of the content to be found at translating fiction texts. Those arise when specific features of communication act elements are not taken into account. Some basic communication act elements are given a more profound consideration. Some concepts and terms of Translation Theory and Decoding Stylistics are dealt with. The author concludes that a translator is not to go further than the mediator function. They are to supply readers with the possibility to understand a foreign language original fiction text but not to distort the cognitive system of it.
Keywords: translation, communication, structure, element, factor.
Современная литература изобилует устремлениями авторов к неожиданной, а иногда - даже немыслимой развязке. Это касается не только детективных жанров, в которых загадка о том, кто же на самом деле является преступником, должна сохраняться как можно дольше. Такой тип выдвижения [1] как «обманутое ожидание» становится всё более эффектным оружием в борьбе за внимание и интерес читателя (которого удивить - всё сложнее) и, следовательно, за популярность писателя (которая всё больше уходит к достижению коммерческого успеха).
Такое положение дел предъявляет более острые требования к межкультурной компетентности
переводчика, работающего в области художественной литературы. Нередки случаи использования дословности и внешней к стилю шаблонности в переводе, когда из внимания упускаются требования не только к применению трансформаций конкретизации, модуляции или целостного преобразования - операции элементарной дифференциации значений [2] не находят своего должного применения. В результате мы получаем стабилизацию и закрепление в описании повседневного речевого взаимодействия таких оборотов как «дать отбой» (вместо изжившего себя с развитием телекоммуникационных технологий «повесить трубку») или «молодая
ВЕСТНИК ШАДРИНСКОГО ГОСУДАРСТВЕННОГО 234_ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА. № 2 (54) 2022_2542-0291
