CC BY
0
Вестник Северного (Арктического) федерального университета. Серия «Гуманитарные и социальные науки». 2024. Т 24, № 4. С. 64-73.
VestnikSevernogo (Arkticheskogo) federal'nogo universiteta. Ser.: Gumanitarnye i sotsial’nye nauki,
2024, vol. 24, no. 4, pp. 64-73.
Обзорная статья
УДК 81’ 22+811.1/.8
DOI: 10.37482/2687-1505-V362
Становление социально-семиотического подхода к анализу мультимодального дискурса: обзор зарубежного опыта
Наталья Валерьевна Дутова
Новосибирский государственный педагогический университет, Новосибирск, Россия, e-mail: dutova_natalya@mail.ru. ORCID: https://orcid.org/0009-0003-48Q9-6865
Аннотация. В статье представлен краткий обзор зарубежного становления социально-семиотического подхода к анализу мультимодального дискурса. С помощью методов диахронического анализа, междисциплинарного синтеза, абстрагирования и аналогии рассматривается формирование и развитие комплексных социально-коммуникативных технологий изучения коммуникации в совокупности с социально сконструированными культурными ресурсами. Основное внимание направлено на становление мультимодальных исследований в социальной семиотике. Характеризуется идея метафункциональности в отношении языка и социальной жизни человека М. Хэллидея, положившая начало изучению совместного функционирования семиотических ресурсов в различных дискурсах для достижения коммуникативных целей. Описана теория Р. Ходжа и Г. Кресса, закрепившая семиотический статус за всем, что связано с человеком и человеческой деятельностью. Кроме того, представлены контекстуальный подход к изучению мультимодальности Г. Кресса и Т ван Левена и визуальная грамматика М. О Тула как универсальные технологии исследования семиотических ресурсов. Обозначены особенности контекстуального и грамматического подходов в рамках системно-функционального мультимодального дискурсивного анализа. Особое место отведено мультимодальному интерактивному анализу Р. Сколлона, С. Вонг Сколлон и С. Норрис. Подчеркнута значимость концепции Р. Сколлона о дискурсе как динамичной социальной практике и языке как инструменте совершения действий. Изложена попытка установления С. Норрис универсальной единицы мультимодального анализа в качестве наименьшей единицы прагматического анализа в коммуникации с участием любой модальности. Рассмотрена визуальная транскрипция как эффективный метод анализа коммуникации, опосредованной современными цифровыми технологиями.
Ключевые слова: мультимодальность, мультимодальный дискурс, социальная семиотика, социально-семиотический подход, мультимодальный интерактивный анализ
Для цитирования: Дутова, Н. В. Становление социально-семиотического подхода к анализу мультимодального дискурса: обзор зарубежного опыта / Н. В. Дутова // Вестник Северного (Арктического) федерального университета. Серия: Гуманитарные и социальные науки. - 2024. - Т. 24, № 4. - С. 64-73. - DOI 10.37482/2687-1505-V362.
Review article
The Formation of the Socio-Semiotic Approach to Multimodal Discourse Analysis: Foreign Experience Review
Natalya V. Dutova
Novosibirsk State Pedagogical University, Novosibirsk, Russia,
e-mail: dutova_natalya@,mail.ru. ORCID: https://orcid.org/0009-0003-4809-6865
Abstract. The article provides a brief overview of the origination of the foreign socio-semiotic approach to multimodal discourse analysis. Using the methods of diachronic analysis, interdisciplinary synthesis, abstraction and analogy, the author describes the formation and development of complex socio-communicative research technologies in combination with socially constructed cultural resources. Primary attention is paid to the development of multimodal research in social semiotics. The article characterizes M. Halliday’s idea of metafunctionality in relation to language and human social life, which paved the way for the study of the joint functioning of semiotic resources in various discourses to achieve communicative goals. The theory of R. Hodge and G. Kress, which accorded a semiotic status to everything related to humans and their activity, is described. In addition, G. Kress and T. van Leeuwen’s contextual approach to investigating multimodality and M. O’Toole’s visual grammar are presented as universal technologies for the study of semiotic resources. Some features of contextual and grammatical approaches within the framework of systemic functional multimodal discourse analysis are outlined. Particular emphasis is given to the description of R. Scollon’s, S. Wong Scollon’s and S. Norris’ multimodal interactive analysis. The importance of R. Scollon’s idea about discourse as a dynamic social practice and language as a tool for performing actions is highlighted. S. Norris’ attempt to establish a universal unit of multimodal analysis as the smallest unit of pragmatic analysis in communication involving any modality is presented. Visual transcription is described as an effective method of analysing communication mediated by modern digital technologies. Keywords: multimodality, multimodal discourse, social semiotics, socio-semiotic approach, multimodal interactive analysis
For citation: Dutova N.V. The Formation of the Socio-Semiotic Approach to Multimodal Discourse Analysis: Foreign Experience Review. Vestnik Severnogo (Arkticheskogo) federal’nogo universiteta. Ser.: Gumanitarnye i sotsial’nye nauki, 2024, vol. 24, no. 4, pp. 64-73. DOI: 10.37482/2687-1505-V362
Интерес к изучению мультимодального дискурса резко возрос за последние два десятилетия в силу того, что представители различных гуманитарных и социальных научных направлений отметили значимость совокупных смыслов, выражаемых разными семиотическими ресурсами, включающими интонационные и вокальные характеристики речи, телесные ресурсы (жесты), мимику, живо-
пись, письмо, архитектуру, запись изображений и звука, интерактивные вычислительные ресурсы.
В ситуации тотальной медиализации в цифровом формате, которую можно наблюдать во всех видах социального взаимодействия, особое значение приобретает социально-семиотический подход к анализу мультимодального дискурса, исследующий взаимоотношения зна-
ковых систем в различных сферах социальной практики и коммуникации в междисциплинарной перспективе.
Цель настоящей работы заключается в представлении краткого обзора становления зарубежного социально-семиотического подхода к анализу мультимодального дискурса в диахронической перспективе.
Несмотря на повышенный интерес лингвистов к мультимодальному анализу дискурса [1-4], наблюдается вольность в отношении терминологии. Ссылаясь на Т. ван Левена,
О.К. Ирисханова указывает, что в социосемиотических исследованиях модальность «приближена к логическому пониманию и означает способ кодирования информации в знаке и использования семиотических ресурсов для выражения достоверности или истинности своего представления о мире» [4, с. 18].
В научном обороте К. О’Хэллоран отмечает наличие двух терминов (мультимодальные, мультисемиотические) для обозначения понятия ресурсов (видео, веб-сайты, повседневные события, письменные тексты), участвующих в создании смыслов. Различия наблюдаются и в наименовании самих ресурсов: ресурсы, модусы, модальности. Мультимодальный дискурс-анализ часто называют мультимодальным анализом, мультимодальной семиотикой [5, с. 253]. М. Хэллидей предлагает использовать термин «семиотический ресурс» для описания языка, изображения, жеста и прочих феноменов, которые интегрируются в различные сенсорные модальности (визуальные, аудиальные, тактильные, кинестетические, обонятельные, вкусовые) в мультимодальных текстах, дискурсах и событиях. Совокупность сенсорных модальностей обозначается мультимодальными явлениями [6, с. 123].
Социально-семиотический подход к анализу мультимодального дискурса получил свое начало в исследовании М. Хэллидея (1978), послужившем базой для моделирования смыслового потенциала слов, звуков, изображений как интегрированных структур и систем, спо-
собствующих расширению предметного охвата и выходу за пределы изучения только вербального языка [6].
В основе предложенного подхода лежит принцип метафункциональности. М. Хэллидей выделил три метафункции языка и всей осмысленной жизни человека: мыслительную (репрезентация мира), межличностную (участие и действие) и текстовую (производство контекстуально обусловленных сообщений). Фундаментом метафункционального подхода служат аналитические типы коммуникативных ситуаций и их отличия друг от друга. Дифференциация ситуаций происходит по трем критериям: что происходит, кто принимает участие, какую роль играет язык. Совокупность трех принципов определяет регистр (область значений и средств выражения, детерминированных ситуацией). Каждый тип коммуникативной ситуации задается тремя параметрами: поле (field) -предметная область общения, включающая тематику и социальную деятельность коммуникантов; тональность (tenor) - отношения между коммуникантами и степень их форма-лизованности (старшинство, иерархия, степень знакомства и т. д.); модус (mode) - канал общения. Данные измерения коррелируют с тремя метафункциями. Такая дифференциация дает возможность интегрировать речевую практику в социальную сферу [6, с. 145].
Следовательно, благодаря признанию взаимозависимости структур языка и структур общества, которые постулировал М. Хэллидей, сегодня представляется возможным считать социальные структуры содержательными и осмысленными, а лингвистические структуры - социально эффективными. Принцип метафункциональности, лежащий в основе этого подхода, играет роль своеобразной платформы для анализа использования семиотических ресурсов и того, каким образом данные ресурсы взаимодействуют в дискурсах для достижения коммуникативных целей.
Идеи М. Хэллидея о междисциплинарных связях продолжили Р Ходж и Г Кресс в работах, посвященных критическому анализу дискур-
са в рамках социальной семиотики [7]. Именно они сделали попытку связать лингвистику и политологию, психологию и социологию, системные и когнитивные исследования. Основной целью ученые ставили унификацию методологических принципов. Они развили идею о том, что помимо языка все, что связано с человеком и человеческой деятельностью, является семиотическим. Р Ходж и Г. Кресс предложили рассматривать социальные взаимодействия во всем их многообразии в качестве семиотических ресурсов. Объединение различных ресурсов социальной коммуникации, на наш взгляд, -существенный вклад в становление и развитие мультимодального подхода.
Дальнейшее развитие идеи М. Хэллидея получили в трудах Г Кресса и Т. ван Левена в виде разработки контекстуального подхода, направленного на изучение образа и визуального дизайна через анализ текста [8]. Отличительная особенность подхода - иной взгляд на понятие знака, что, по нашему мнению, является важным теоретическим вкладом в развитие социальной семиотики. Ученые объясняют отношения между означаемым и означающим мотивированным и конвенциональным характером, когда знак не выступает заранее предопределенной комбинацией формы и значения в готовом к использованию виде любым человеком в любых контекстах. На первое место выдвигается процесс создания знаков, в котором означающее (forms) и означаемое (meanings) относительно независимы друг от друга до тех пор, пока человек не интегрирует их в единое целое в виде семиотического знака. Отсюда следует, что мотивация связана с актом создания знака, а не обусловлена внутренними отношениями означаемого и означающего. Создавая знак с помощью любого доступного семиотического модуса (рисунок, живопись, речь), человек стремится сформировать представление об объекте или явлении на основе личного интереса и социального опыта. Вместе с тем знак репрезентирует не объект целиком, а ту его часть, которая связана с наиболее значимым в момент создания знака социальным опытом и личным интересом человека [8, с. 9].
М. О’Тул является основоположником грамматического подхода, предполагающего анализ семиотических ресурсов, сопровождающийся подробной аннотацией в форме описания. Цель его исследования состоит в адаптации устоявшейся теоретической базы и дальнейшего описательного обобщения, которое ведет к изменению теории. Грамматический подход к семиотическому анализу искусства позволяет рассматривать скульптуру и архитектуру в качестве «текстов», обнаруживать закономерности и распространять установленные принципы на изучение других семиотических ресурсов и дискурсов, что можно считать несомненной методологической ценностью. М. О’Тул соотносит основные функции коммуникации с функциями семиотического кода искусства, подчеркивая их взаимную релевантность и возможность их использования для привлечения и удержания внимания, передачи информации о реальной действительности, преобразования полученной информации в связный текст. Благодаря тесной взаимосвязи функций создается богатый диалог композиционной структуры произведения с репрезентируемой информацией и тем, как сообщение передается получателю [9, с. 23].
Необходимо отметить, что описываемые подходы объединяет мысль о том, что язык не выступает исключительным способом создания смыслов. Исследователи показали, что искусство является средством коммуникации и может брать на себя задачи, связанные с языком, иногда вытесняя язык. Контекстуальный и грамматический подходы стирают границы между визуальными и языковыми способами репрезентации, подчеркивая природную способность человека к мультимодальному смыслообразованию. Кроме того, большое значение для развития социальной семиотики, на наш взгляд, имеют изыскания аналитиков о социальных и культурных дискурсивных практиках, участвующих в создании знаков.
Распространение грамматического подхода в математике [10], гипермедиа [11] и ряде других мультимодальных текстов [12, 13] способствова-
ло формированию системно-функционального подхода к анализу мультимодального дискурса.
В основе подхода лежат три принципа. Во-первых, низкоуровневые элементы текста (изображение, звук) связаны с семантикой более высокого порядка через лексикограмматические системы, социальные контексты и культуру. Во-вторых, семиотические ресурсы выполняют три функции (мыслительную, межличностную, текстовую) в процессе смыслообразования. В-третьих, создание моделей имитирует фактический выбор системных вариантов в тексте. При этом промежуточные варианты есть паттерны выбора в различных текстах (повседневный разговор, дебаты, научная статья) [11, 12, 14, 15].
Таким образом, системно-функциональный подход подразумевает способность человека интерпретировать текст с учетом контекста, в котором он был создан. Причем контекст определяется тремя параметрами коммуникативной ситуации, по М. Хэллидею: полем, направленностью и способом дискурса. Целостность текста достигается интеграцией указанных параметров в процесс реализации информационной функции [6].
Описанный подход зарекомендовал себя как надежный инструмент анализа математических и научных изображений, искусства и выступает основой для других видов визуального анализа, несмотря на ограничения иерархических категориальных систем языка. Так, по словам М. Хэллидея, лексические единицы языка функционируют на иерархическом уровне, грамматические - связывают слова со значением семантически. Уровень выражения включает единицы графологии, типографики и фонологии [6]. Однако, как отмечают исследователи [10, 14, 16], большинство семиотических ресурсов проявляет фундаментальные отличия от языка. Например, изображения отличаются тем, что отдельные единицы воспринимаются как части целого, организованного согласно общим законам. Аналитические подходы к лингвистическим моделям анализа материала были поставлены под сомнение, поскольку, как говорит Дж. Хупс, интерпретируя идеи Ч. Пирса, язык -
это система знаков, обладающая символизмом, но не связанная с тем, что репрезентируется. В то же время изображения имеют икониче-ские свойства на базе сходства с тем, что они обозначают [17, с. 87].
Тем не менее преимуществом системнофункционального подхода считается теорети-зация отличных от традиционной лингвистики способов описания функционирования визуальных, языковых и интерактивных семиотических ресурсов для конструирования реальности [5].
Помимо системно-функционального подхода широкое распространение получил мультимодальный интерактивный анализ как полезный инструмент для изучения мультимодальных отношений в прагматике социального взаимодействия. Авторами этого подхода выступают
С. Норрис, Р Сколлон и С. Вонг Сколлон [3, 18].
Подход базируется на теории опосредованного действия Дж. Вертча. Понятие опосредованного действия выделяется в качестве центрального для обозначения единственной, наиболее подходящей единицы анализа. Основанием для выбора данной единицы послужили ее свойства: дискретность, обусловленность действием, способность сохранять социокультурную, историческую и институциональную специфику с максимальной точностью. Дж. Вертч предлагал признать все действия опосредованными и социальными по своей сути, поскольку социокультурные, исторические и институциональные аспекты всегда присутствуют во всех формах опосредованного действия [19].
Р Сколлон распространил предложенную Дж. Вертчем теорию опосредованного действия на социолингвистические изыскания и опосредованный анализ дискурса [18]. Он закрепил идею о том, что дискурс нужно рассматривать как социальное действие, опосредованное социокультурными, историческими и институциональными факторами. Кроме того, Р Сколлон доказал, что язык, жесты, высота тона, жанры, технические инструменты и различные предметы выступают физическими и символическими
объектами культуры и истории, а также инструментами, с помощью которых люди совершают действия [18, 20, 21]. Однако признание применимости опосредованного действия в качестве единицы анализа невербальных форм коммуникации в трудах Р Сколлона вызывает сомнение по причине многочисленных затруднений на практике.
С. Норрис удалось разрешить указанные затруднения с помощью дифференциации опосредованных действий низкого и высокого уровней, где наименьшей единицей прагматического значения выступают опосредованные действия низкого уровня [3]. Данное положение помогает разграничить материальную и структурную организацию разных семиотических ресурсов и установить единицу анализа. Главная проблема мультимодальных аналитических подходов заключается в определении универсальной единицы анализа. На первый взгляд, такой единицей может являться высказывание. Однако Дж. Джинен справедливо замечает, что ряд характеристик высказывания отсутствует в других коммуникативных ресурсах. Например, материальные и структурные свойства жеста значительно отличаются от одноименных характеристик языка, поэтому трудно определить высказывание в жесте. Тем не менее в настоящее время достаточно успешно аргументировано и эмпирически доказано, что наименьшей прагматически значимой единицей жеста выступает полный жест в фазе пика (stroke) [22]. Признание действия низкого уровня в качестве наименьшей прагматически значимой единицы анализа предполагает учет различий материальных и структурных свойств ресурсов, а также допустимость их временной симультанности при сохранении единой унифицированной единицы анализа. Такая единица аналитически оптимальна для всех коммуникативных ресурсов и не вызывает двусмысленности и затруднений в последовательном анализе благодаря теоретическому признанию всех действий опосредованными [23, с. 3]. Неоспоримые преимущества данной единицы - легкая адаптируемость и простота эмпирического анализа, например
посредством визуальной транскрипции, разработанной С. Норрис.
Визуальная транскрипция - это метод анализа, основанный на последовательном исследовании опосредованных действий низкого уровня каждого отдельно взятого модуса, сопровождающийся последующим изучением всех модусов в совокупности. При этом модус определяется как система опосредованных действий [24, с. 156], которая усваивается в процессе социального взаимодействия людей не как отдельных личностей, но как социальных субъектов [25, с. 201]. С. Норрис выделяет 9 модусов: взаимодействие людей с предметами и окружающей обстановкой (layout), проксемику (proxemics), позы (posture), жесты (gesture), взгляд (gaze), движения головой (head movement), действия с предметами (object handling), выражение лица (facial expression), речь (spoken language). Протоколы визуальной транскрипции представляют собой серию скриншотов видеокадров с отметками о времени и условными обозначениями для демонстрации невербальных и вербальных действий и просодических характеристик. Отдельные протоколы по каждому модусу подвергаются анализу и объединяются в общий, отображающий процесс совершения опосредованного действия высокого уровня путем цепочек опосредованных действий низкого уровня различных модусов. В совокупности все модусы образуют единую систему коммуникации, приближенную к реальным условиям. Опосредованное действие низкого уровня как единица анализа обеспечивает надежную воспроизводимость результатов анализа [25].
Метод визуальной транскрипции успешно используется для исследования различных форм социального взаимодействия, опосредованных широким спектром цифровых медиаплатформ и сложных технологических инструментов [26-29].
Ученые приходят к выводу, что вербальный модус не всегда играет главную коммуникативную роль. Более того, он может отставать в своей реализации от невербальных модусов [26, с. 23-48]. Тем не менее данному модусу отво-
дится важное место, т. к. благодаря вербальным средствам социальные взаимодействия обретают мультимодальную форму [20, с. 151-171], а поток визуальных событий преобразуется в понятную последовательность действий, обеспечивая привлекательность цифрового контента и доступность его просмотра [28, с. 131-151]. Кроме того, эмпирически было доказано, что целостность виртуального социального взаимодействия достигается за счет согласованности движения камеры с вербальными комментариями участников видеочата. Взаимопонимание и общая точка зрения формируются в процессе демонстрации и совместной вербальной оценки различных предметов, где наведение камеры выступает мощным интерактивным ресурсом для управления вниманием, чего невозможно достичь в процессе взаимодействия лицом к лицу [29, с. 151-171]. Таким образом, цифровая коммуникация способствует тому, что пользователи постоянно визуально создают себя и свой опыт и раскрывают смыслы визуальных представлений опыта других людей. При этом наиболее важным коммуникативным ресурсом является не то, что видно (visible), а воплощенный опыт человека видеть (embodied experiences of seeing) то, что демонстрируется [27, с. 19-45].
Следовательно, можно заключить, что социально-семиотический подход к анализу мультимодального дискурса - активно развивающееся направление, находящееся на стадии своего становления. На начальном этапе развития подхода язык как система знаковых единиц получил статус социального явления. Далее унификация методологических принципов позволила распространить идею о семиотическом
с языка на человеческую деятельность и объявить социальные взаимодействия семиотическими ресурсами, после чего язык утратил свою исключительность в вопросах создания смыслов, разделив данную функцию с визуальными и позднее - с другими семиотическими ресурсами. Создание знаков стало рассматриваться как результат социальных и культурных дискурсивных практик. Стирание границ между языковой и визуальной репрезентациями смыслов подчеркнуло мультимодальный характер человеческой коммуникации, что способствовало расширению подхода и развитию теорий и методов описания вербальных, невербальных и интерактивных ресурсов. Благодаря системно-функциональному анализу появилась возможность описывать семиотические ресурсы отличными от традиционной лингвистики способами. Мультимодальный интерактивный анализ утвердил дискурс как социальное действие, опосредованное социокультурными, историческими и институциональными факторами. Универсальная единица анализа (действие низкого уровня) была разработана в рамках визуальной транскрипции, зарекомендовавшей себя эффективным методом анализа различных форм социального взаимодействия, опосредованных цифровыми технологиями.
В целом можно сделать вывод о том, что социально-семиотический подход - перспективное, прогрессирующее исследовательское направление, которое дает новые возможности и бросает современные вызовы, направленные на создание комплексных социально-коммуникативных технологий изучения мультимодальной коммуникации в совокупности с социально сконструированными культурными ресурсами.
Список литературы
1. Kress G., Bezemer J. Multimodal Discourse Analysis // The Routledge Handbook of Discourse Analysis / ed. by M. Handford, J.P. Gee. London: Routledge, 2023. P. 139-155. https://doi.org/10.4324/9781003035244-12
2. O'Halloran K.L., Tan S. Discourse Analysis and Semiotics // Bloomsbury Semiotics. Vol. 4. Semiotic Movements / ed. by J. Pelkey, P. Cobley. London: Bloomsbury Acad., 2023. P. 231-252. https://doi.org/10.5040/9781350139435.ch-11
3. Norris S. Multimodal Theory and Methodology: For the Analysis of (Inter)action and Identity. London: Routledge, 2020. 120 p.
4. Полимодальные измерения дискурса / сост. М.И. Киосе; отв. ред. О.К. Ирисханова. 2-е изд. М.: Изд. дом ЯСК, 2022. 448 с.
5. O’Hallomn K.L. Multimodal Discourse Analysis // The Bloomsbury Handbook of Discourse Analysis / ed. by K. Hyland, B. Paltridge, L.L.C. Wong. London: Bloomsbury Publ., 2021. P. 249-267.
6. Halliday M.A.K. Language as Social Semiotic: The Social Interpretation of Language and Meaning. London: Edward Arnold, 1978. 256 p.
7. Hodge R., Kress G. Social Semiotics. Cambridge: Polity Press, 1988. 285 p.
8. Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design. Abingdon: Routledge, 2021. 288 р.
9. O'TooleM. The Language of Displayed Art. Rutherford: Fairleigh Dickinson Univ. Press, 1994. 295 p.
10. OHalloran K.L., Beezer R.A., Farmer D.W. A New Generation of Mathematics Textbook Research and Development // ZDM Math. Educ. 2018. Vol. 50. Р. 863-879. https://doi.org/10.1007/s11858-018-0959-8
11. Djonov Е., Tseng C.-I. Harnessing the Potential of Transmedia Narratives for Critical Multimodal Literacy // Crit. Discourse Stud. 2021. Vol. 18, № 3. Р. 349-367. https://doi.org/10.1080/17405904.2020.1804954
12. Caple H., Huan C., Bednarek M. Multimodal News Analysis Across Cultures. Cambridge: Cambridge Univ. Press, 2020. https://doi.om/10.1017/9781108886048
13. Unsworth L. High School Science Infographics: Multimodal Meaning Complexes in Composite Image-Language Ensembles // Pensam. Educ. 2021. Vol. 58, № 2. https://doi.ore/10.7764/PEL.58.2.2021.9
14. Lemke J.L. Multiplying Meaning: Visual and Verbal Semiotics in Scientific Text / ed. by J.R. Martin, R. Veel // Reading Science: Critical and Functional Perspectives on Discourses of Science. London: Routledge, 1998. P. 87-113.
15. Jewitt C. Multimodality and Literacy in School Classrooms // Rev. Res. Educ. 2008. Vol. 32, № 1. Р. 241-267. https://doi.org/10.3102/0091732x07310586
16. Wang Y. On Visual Semantic Algebra (VSA): A Denotational Mathematical Structure for Modeling and Manipulating Visual Objects and Patterns. IJSSCI, 2009, vol. 1, no. 4, pp. 1-16. https://doi.om/10.4018/issci.200906
17. Pierce C.S. Peirce on Signs: Writings on Semiotic by Charles Sanders Peirce. Chapel Hill: UNC Press Books, 1991. 294 p.
18. Scollon R., Wong Scollon S. Discourses in Place: Language in the Material World. London: Routledge, 2003. 258 p.
19. Wertsch J.V. Voices of the Mind: Sociocultural Approach to Mediated Action. Cambridge: Harvard Univ. Press, 1991. 182 p.
20. Scollon R. Mediated Discourse: The Nexus of Practice. London: Routledge, 2001. 182 p.
21. Wong Scollon S., de Saint-Georges I. Mediated Discourse Analysis // The Routledge Handbook of Discourse Analysis / ed. by M. Handford, J.P. Gee. London: Routledge, 2011. URL: https://www.researchgate.net/ publication/307575422 Mediated Discourse Analysis (дата обращения: 14.04.2024).
22. McNeill D. Hand and Mind: What Gestures Reveal About Thought. Chicago: Univ. Chicago Press, 1992. 416 p.
23. Geenen J. Introduction: Multimodal (Inter)action Analysis // Multimodal Commun. 2023. Vol. 12, № 1. P. 1-6. https://doi.ore/10.1515/mc-2023-0010
24. Norris S. What Is a Mode? Smell, Olfactory Perception, and the Notion of Mode in Multimodal Mediated Theory // Multimodal Commun. 2013. Vol. 2, № 2. Р. 155-170. https://doi.org/10.1515/mc-2013-0008
25. Norris S. Systematically Working with Multimodal Data: Research Methods in Multimodal Discourse Analysis. Hoboken: John Wiley & Sons, 2019. 301 р.
26. Geenen J., Matelau-Doherty T., Norris S. Visual Transcription. A Method to Analyze the Visual and Visualize the Audible in Interaction // Rev. fr. methodes visuelles. 2021. Vol. 5. P. 1-55.
27. Jones R.H. Towards an Embodied Visual Semiotics: Negotiating the Right to Look // Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives / ed. by C. Thurlow, C. Durscheid, F. Diemoz. Berlin: De Gruyter Mouton, 2020. Р 19-45.
28. Schmidt A., Marx K. Making Let’s Plays Watchable: An Interactional Approach to Gaming Visualizations // Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives / ed. by C. Thurlow, C. Durscheid, F. Diemoz. Berlin: De Gruyter Mouton, 2020. Р 131-151.
29. Cserzo D. Intimacy at a Distance: Multimodal Meaning Making in Video Chat Tours // Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives / ed. by C. Thurlow, C. Durscheid, F. Diemoz. Berlin: De Gruyter Mouton, 2020. Р. 151-171.
References
1. Kress G., Bezemer J. Multimodal Discourse Analysis. Handford M., Gee J.P. (eds.). The Routledge Handbook of Discourse Analysis. London, 2023, pp. 139-155. https://doi.org/10.4324/9781003035244-12
2. O’Halloran K.L., Tan S. Discourse Analysis and Semiotics. Pelkey J., Cobley P. (eds.). Bloomsbury Semiotics. Vol. 4: Semiotic Movements. London, 2023, pp. 231-252. https://doi.om/10.5040/9781350139435.ch-11
3. Norris S. Multimodal Theory and Methodology: For the Analysis of (Inter)action and Identity. London, 2020. 120 p.
4. Kiose M.I. (comp.). Polimodal’nye izmereniya diskursa [Multimodal Dimensions of Discourse]. Moscow, 2022. 448 p.
5. O’Halloran K.L. Multimodal Discourse Analysis. Hyland K., Paltridge B., Wong L.L.C. (eds.). The Bloomsbury Handbook of Discourse Analysis. London, 2021, pp. 249-267.
6. Halliday M.A.K. Language as Social Semiotic: The Social Interpretation of Language and Meaning. London, 1978. 256 p.
7. Hodge R., Kress G. Social Semiotics. Cambridge, 1988. 285 p.
8. Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design. Abingdon, 2021. 288 p.
9. O’Toole M. The Language of Displayed Art. Rutherford, 1994. 295 p.
10. O’Halloran K.L., Beezer R.A., Farmer D.W. A New Generation of Mathematics Textbook Research and Development. ZDMMath. Educ., 2018, vol. 50, pp. 863-879. https://doi.ora/10.1007/s11858-018-0959-8
11. Djonov Е., Tseng C.-I. Harnessing the Potential of Transmedia Narratives for Critical Multimodal Literacy. Crit. Discourse Stud., 2021, vol. 18, no. 3, pp. 349-367. https://doi.org/10.1080/17405904.2020.1804954
12. Caple H., Huan C., Bednarek M. Multimodal News Analysis Across Cultures. Cambridge, 2020. https://doi.org/10.1017/9781108886048
13. Unsworth L. High School Science Infographics: Multimodal Meaning Complexes in Composite Image-Language Ensembles. Pensam. Educ., 2021, vol. 58, no. 2. https://doi.org/10.7764/PEL.58.2.2021.9
14. Lemke J.L. Multiplying Meaning: Visual and Verbal Semiotics in Scientific Text. Martin J.R., Veel R. (eds.). Reading Science: Critical and Functional Perspectives on Discourses of Science. London, 1998, pp. 87-113.
15. Jewitt C. Multimodality and Literacy in School Classrooms. Rev. Res. Educ., 2008, vol. 32, no. 1, pp. 241-267. https://doi.org/10.3102/0091732x07310586
16. Wang Y. On Visual Semantic Algebra (VSA): A Denotational Mathematical Structure for Modeling and Manipulating Visual Objects and Patterns. IJSSCI, 2009, vol. 1, no. 4, pp. 1-16. https://doi.org/10.4018/issci.2009062501
17. Pierce C.S. Peirce on Signs: Writings on Semiotic by Charles Sanders Peirce. Chapel Hill, 1991. 294 p.
18. Scollon R., Wong Scollon S. Discourses in Place: Language in the Material World. London, 2003. 258 p.
19. Wertsch J.V. Voices of the Mind: Sociocultural Approach to Mediated Action. Cambridge, 1991. 182 p.
20. Scollon R. Mediated Discourse: The Nexus ofPractice. London, 2001. 182 p.
21. Wong Scollon S., de Saint-Georges I. Mediated Discourse Analysis. Handford M., Gee J.P. (eds.). The Routledge Handbook of Discourse Analysis. London, 2011. Available at: https://www.researchgate.net/publication/307575422 Mediated Discourse Analysis (accessed: 14 April 2024).
22. McNeill D. Hand and Mind: What Gestures Reveal About Thought. Chicago, 1992. 416 p.
23. Geenen J. Introduction: Multimodal (Inter)action Analysis. Multimodal Commun., 2023, vol. 12, no. 1, pp. 1-6. https://doi.org/10.1515/mc-2023-0010
24. Norris S. What Is a Mode? Smell, Olfactory Perception, and the Notion of Mode in Multimodal Mediated Theory. Multimodal Commun., 2013, vol. 2, no. 2, pp. 155-170. https://doi.org/10.1515/mc-2013-0008
25. Norris S. Systematically Working with Multimodal Data: Research Methods in Multimodal Discourse Analysis. Hoboken, 2019. 301 p.
26. Geenen J., Matelau-Doherty T., Norris S. Visual Transcription. A Method to Analyze the Visual and Visualize the Audible in Interaction. Rev.fr. methodes visuelles, 2021, vol. 5, pp. 1-55.
27. Jones R.H. Towards an Embodied Visual Semiotics: Negotiating the Right to Look. Thurlow C., Durscheid C., Diemoz F. (eds.). Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives. Berlin, 2020, pp. 19-45.
28. Schmidt A., Marx K. Making Let’s Plays Watchable: An Interactional Approach to Gaming Visualizations. Thurlow C., Durscheid C., Diemoz F. (eds.). Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives. Berlin, 2020, pp. 131-151.
29. Cserzo D. Intimacy at a Distance: Multimodal Meaning Making in Video Chat Tours. Thurlow C., Durscheid C., Diemoz F. (eds.). Visualizing Digital Discourse: Interactional, Institutional and Ideological Perspectives. Berlin, 2020, pp. 151-171.
Информация об авторе
Н.В. Дутова - кандидат филологических наук, доцент, доцент кафедры английского языка Новосибирского государственного педагогического университета (адрес: 630126, г. Новосибирск, ул. Вилюйская, д. 28).
Поступила в редакцию 19.01.2024 Submitted 19 January 2024
Одобрена после рецензирования 10.06.2024 Approved after reviewing 10 June 2024
Принята к публикации 13.06.2024 Accepted for publication 13 June 2024
Information about the author
Natalya V. Dutova, Cand. Sci. (Philol.), Assoc. Prof., Assoc. Prof. at the English Language Department, Novosibirsk State Pedagogical University (address: ul. Vilyuyskaya 28, Novosibirsk, 630126, Russia).
