CC BY
875
УДК 81'42
Б0110.25513/2413-6182.2018.3.66-78
ПОЛИКОДОВЫЕ ТЕКСТЫ В АСПЕКТЕ ТЕОРИИ МУЛЬТИМОДАЛЬНОСТИ
В.А. Омельяненко1, Е.Н. Ремчукова2
Российский университет дружбы народов (Москва, Россия)
Аннотация: Рассматривается поликодовость коммуникации, обусловленная появлением новых мультимедийных информационно-коммуникативных технологий, массовой компьютеризацией и глобализацией, влияющих на способы кодирования информации. Гетерогенная природа поликодовых текстов анализируется сквозь призму мультимодальных исследований в рамках социальной семиотики, в связи с чем выявляются основные подходы к анализу мультимодального дискурса и его базовые характеристики. Дается обзор мультимодальных исследований, появившихся на рубеже XX и XXI вв., показывающий изменение самого способа восприятия мира: речь и письмо теряют свои центральные позиции, их заменяют другие средства конструирования смыслов. Отмечается, что такие изменения происходят в жанрах не только массовой, но и высокой культуры, что приводит к их смешению. Фиксируется характеризующийся приоритетом визуального кода иконический поворот мультимодальных исследований, сменяющий лингвистический подход. Отмечается вариативность именования рассматриваемых феноменов в зарубежных и отечественных исследованиях: если в первых, поскольку семиотические коды обладают разной модальностью, смешанные тексты, как правило, называют мультимодальными и для их анализа применяется специально разработанный мультимодальный дискурс-анализ, то во вторых, по-прежнему придерживаясь традиции приоритета языкового семиотического кода, чаще говорят о поликодовых текстах.
Ключевые слова: поликодовый текст, мультимодальность, социальная семиотика, мультимодальный дискурс-анализ, мультимодальное обучение.
Для цитирования:
Омельяненко В.А., Ремчукова Е.Н. Поликодовые тексты в аспекте теории мультимодальности // Коммуникативные исследования. 2018. № 3 (17). С. 66-78. DOI: 10.25513/2413-6182.2018.3.66-78.
Сведения об авторах:
1 Омельяненко Виктория Александровна, ассистент кафедры русского языка № 2, аспирант кафедры общего и русского языкознания
© В.А. Омельяненко, Е.Н. Ремчукова, 2018
2 Ремчукова Елена Николаевна, доктор филологических наук, профессор
кафедры общего и русского языкознания
Контактная информация:
12 Почтовый адрес: 117198, Россия, Москва, ул. Миклухо-Маклая, 6
1 E-mail: omelianenko_va@rudn.university
2 E-mail: remchukova_en@rudn.university Дата поступления статьи: 18.06.2018
1. Введение
В современной науке принято говорить о трех разновидностях текста - лингвистическом (вербальном], экстралингвистическом (невербальном] и смешанном. Внимание ученых всё чаще привлекают именно смешанные, гетерогенные тексты (рекламные сообщения, карикатуры, плакаты, граффити и т. д.]. Это связано, во-первых, с преобладанием телевидения и Интернета и активным внедрением цифровых технологий в нашу жизнь; во-вторых, с тем, что «современный стиль мышления часто проявляется в различных поликодовых комбинациях», а взаимодействие вербальных и визуальных знаков «определяется ментальными операциональными усилиями создающего или воспринимающего сознания» [Ариас 2015: 9].
Для определения смешанного текста существует несколько терминов. В русистике наиболее употребительным сегодня является термин поликодовый (В.Е. Чернявская, А.-М. Ариас, Н.Г. Комиссарова, А.Г. Сонин, О.И. Максименко и др.], сменивший в научной парадигме термин креоли-зованный (Ю.А. Сорокин, Е.Ф. Тарасов и др.]. В зарубежной лингвистике доминирующим является термин мультимодальный текст (G. Kress, T. van Leeuwen, C. Jewitt, M. Bednarek, J.R. Martin, E. Ventola, E. Adami, F. Serafini, M. Walsh и др.]. Стоит также отметить функционирующие в отечественной лингвистике термины контаминированный (Ю.А. Бельчи-ков, А.П. Сковородников], полимодальный (Е.Д. Некрасова, О.С. Иссерс], лингво-визуальный (Л.Н. Большиянова и др.], видео-вербальный (Т.Г. Добросклонская] и т. д. В области нарратологии употребляют терминологические словосочетания мультимодальный нарратив, визуальный нарратив (visual narrative] (M. Bal] или графический нарратив (graphie narrative] (L. Dong], что позволяет учитывать визуальное оформление (шрифтовое, иллюстративное и т. д.] и актуализирует привлечение одновременно различных каналов восприятия информации.
Такое обилие терминов, обозначающих смешанные тексты, позволяет понять их широкую востребованность в качестве объекта изучения, в том числе и в образовательном пространстве.
Z. Социальная семиотика и теории мультимодальности
Анализ поликодовых текстов связан с определенными методологическими трудностями, так как он требует от исследователя обширного круга знаний и компетенций, которые редко ограничены рамками одной дисциплины. Поэтому постепенное решение этой задачи проводилось с учетом научных результатов различных дисциплин.
Так, в конце 1980-х гг. начала оформляться социальная семиотика, основная задача которой - изучение функционирования языкового знака в обществе, и именно здесь зародились мультимодальные исследования, которые сразу приняли междисциплинарный характер. Ученые, которые стоят у истоков развития теории мультимодальности, критикуя своих предшественников, обратили внимание на то, что большинство исследований, связанных с лингвистикой, сосредоточиваются исключительно на языке, игнорируя или преуменьшая вклад других научных ресурсов. Выделяя главное, отметим, что с появлением теории мультимодальности разрушается представление о центральном положении речи и письма в социально-семиотическом мире (A.P. Baldry, J. Callaghan, E. McDonald, R. Iede-ma, C. Jewitt, M. Bednarek, J.R. Martin, G. Kress, T. van Leeuwen, J.L. Lemke, K. O'Halloran, F. Serafini, T. Royce, P.J. Thibault, L. Unsworth, M. Walsh и др.].
Предпосылками возникновения междисциплинарных исследований на стыке семиотики, лингвистики, философии языка и социологии стали работы «Язык как социальная семиотика: социальная интерпретация языка и значения» M. Халлидея, где доминирующим является тезис о реализации языковой функции в контексте, и «Язык как идеология» Р. Ходжа и Г. Кресса, где рассматриваются вопросы отношений языка и общества [Гаврилова 2016]. Идеи последних позже были развиты Тео ван Лиувеном [van Leeuwen 2005]. С точки зрения социальной семиотики невозможно передать значение с помощью только одного ресурса семиотической системы: «words conjure images, images are verbally mediated, writing is a visual form, algebra shares much of the syntax and semantics of natural language...»1 [Lemke 2002a]. На первый план выходят другие средства конструирования смыслов, другие средства формирования идентичности. Соответствующий «вызов» известен под названием мультимодальности [Кресс 2016].
Таким образом, с появлением фокуса мультимодальности изменился сам способ восприятия мира. Доминирующее ранее в качестве основного носителя информации слово заменяется образом, что выражается и в приоритете визуального ряда над вербальным. О тенденции к визуализации в зарубежной философии говорится начиная с конца XX в. Явление, когда изобразительные единицы проникают в социальные сферы бытия человека и признаются самостоятельными носителями реальности, обо-
1 «Слова вызывают озвучиваемые образы, письмо есть их изображение; алгебра более похожа на синтаксис и семантику естественного языка». Здесь и далее перевод авторов статьи.
значено как pictorial turn, imagic turn или iconic turn - иконический поворот [Boehm, Mitchell 2009].
С развитием теории мультимодальности связан и тот факт, что изменения начинают происходить не только в средствах массовой информации, на страницах журналов и комиксов, но и в документации различных корпораций, университетов, правительственных ведомств и т. д.: они приобретают цветные иллюстрации и сложный макет. Начали преобразовываться не только массовые жанры (кино и популярная музыка], но и искусство «высокой культуры» приобрело всё большее разнообразие форм и материалов, что приводит к подвижности обозначенных ранее границ между различными видами искусства.
3. Определение мультимодальности
Итак, мультимодальность можно рассматривать как сферу изучения дискурса. Сами термины «мультимодальность» и «мультимодальный текст» и основные положения теории мультимодальности впервые были введены в научный обиход и разработаны Гюнтером Крессом и Тео ван Лиувеном [Kress, van Leeuwen 2001]. Ученые выделяют следующие основные теоретические положения мультимодальности:
1. Мультимодальность допускает, что репрезентация и содержание высказывания всегда основывается на взаимодействии модусов. Это конструируется с помощью анализа и описания полного спектра средств для создания значений, которыми люди пользуются (визуальный, разговорный, жестикуляционный, письменный, 3D и др.] в различных контекстах.
2. Мультимодальность предполагает, что существуют определенные экстралингвистические, семиотически неоднородные ресурсы для достижения определенной цели.
3. Мультимодальность допускает, что именно нормы и правила, действующие в момент создания значения, являются базисом при отборе и конфигурации модусов для создания этого значения [Kress, van Leeuwen 2001: 77].
Как утверждает Кери Джуит, мультимодальность может пониматься как теория, перспектива, область исследования (field of enquiry] или методологическое применение (methodological application] [Jewitt 2009: 12]. По мнению А.А. Кибрика, понятие мультимодальности относится к разграничению между человеческими органами чувств, в первую очередь -зрительным и слуховым каналами. «В рамках каждого из этих каналов есть дальнейшие, более мелкие различия, которые также охватываются понятием мультимодальных. Так, в речи присутствует сегментный (вербальный] компонент и множество несегментных (просодических] параметров. Визуальный канал включает жестикуляцию, взгляд, мимику и другие аспекты "языка тела". Письменный дискурс также воспринимается визуально и, кроме вербального компонента, включает целый набор графических параметров, таких как шрифт, цвет, формат и т. д. Современ-
ное понятие мультимодальности включает всё это многообразие» [Кибрик 2010: 148].
Ученые, которые следуют теории социальной семиотики (Г. Кресс, Т. ван Лиувен, Р. Ходж, К. Джуит, Р. Айдема и др.], определяют мультимо-дальность через понятие семиотического модуса - набора ресурсов из нескольких знаковых систем, не ограниченных только вербальными, сугубо языковыми, знаками [Adami, Kress 2014]. Применяясь как известное выразительное средство дискурса, семиотический модус производит определенное культурное значение. Г. Кресс определил семиотический модус (mode) как «socially shaped and culturally given semiotic recourse for making image»1 [Kress 2010: 79].
Примерами модусов являются изображение, письмо, схемы, макеты, жесты, мимика, речь, музыка, 3D-объекты и т. п. [Kress 2010: 79]. Особенностью визуальных модусов является то, что они могут предлагать несколько интерпретаций. Поэтому при толковании текста вербальные знаки становятся вторичными и используются для уточнения визуальной информации. Вербальные элементы смешанных текстов выступают в роли сигналов (cues) и таким образом ограничивают возможные интерпретации визуальных элементов [Koller 2009: 47].
Джей Лемке вводит понятие гипермодальности (hypermodality) для обозначения одного из способов синтеза вербальных, визуальных и звуковых значений в гипермедиа. Гипермодальность представляет собой не просто комбинацию картинки, текста и звука, а комплекс имплицитных и эксплицитных взаимосвязей между ними [Lemke 2002b: 300].
4. Исследования в области мультимодальности
Уже почти 40 лет в Великобритании издательством Taylor & Francis выпускается посвященный мультимодальным исследованиям журнал, который был создан группой таких ученых, как Гюнтер Кресс, Тео ван Лиувен, Энн Крэнни Фрэнсис и Терри Нитголд. В настоящее время он называется Social Semiotics («Социальная семиотика»]. По мнению нынешних редакторов журнала (D. Machin, P. Cobley, T. Threadgold), социальная семиотика не является ни отраслью, ни конкретной теорией, а формой исследования, применяемой к конкретным случаям и проблемам. Социальная семиотика - это изучение слов, образов, поведения, настроек, звуков, дизайна и т. д., а также их связь с организацией нашего общества и повседневностью. Исследования в рамках этого направления проводятся с помощью таких методов, как лингвистический и визуальный анализ, контент-анализ, этнография, интервью, политико-экономический анализ (https://semioticon.com/semiotix/2010/07/social-semiotics-the-journal/).
Материалом социосемиотического исследования становятся самые разные мультимодальные тексты: иллюстрированные журнальные и га-
1 «Социально сформированные и культурно установленные семиотические ресурсы производства значения».
зетные материалы, рекламные тексты, произведения искусства (театральные постановки, музыкальные композиции и т. п.], видеоматериалы, компьютерные программы и игры, различные сайты и т. д.
Так, Инной Семецки предлагается семиотический анализ карт таро [Semetsky 2010]. Шароном Локьером некоторые маргинальные бедные слои британского общества рассматриваются на материале телевизионных развлекательных программ [Lockyer 2010]. Также следует отметить работу Сергея Крюка, рассматривающего семиотические ресурсы пропаганды в Советской Латвии [Kruk 2008].
Сегодня крупнейшими центрами мультимодальных исследований являются Лондон и скандинавские страны (Э. Вентола, К. Джуит, Г. Кресс, Т. ван Лиувен, М. О'Тул др.], а также Semiotics Research Group (SRG) в Национальном университете Сингапура под руководством К.Л. О'Халлоран. В России исследования мультимодальной лингвистики как отдельного направления проводились в рамках проекта «Язык как он есть: русский мультимодальный дискурс» в МГУ им. М.В. Ломоносова под руководством А.А. Кибрика (http://www.philol.msu.ru/~ccs/ru/research/multimodal/].
5. Дискурсивный подход к анализу мультимодальных текстов
Большинство ученых придерживается дискурсивного подхода к анализу мультимодальных текстов, «адаптируя широкую трактовку дискурса как социально обусловленной когнитивной структуры, находящей свое материальное воплощение в текстах-репрезентациях» [Вдовина 2012: 5]. О.С. Иссерс говорит об актуальности изучения различных дискурсивных феноменов, в которых используется несколько семиотических кодов разных модальностей [Иссерс 2012: 247], в связи с чем обращается к таким жанрам, как политический оппозиционный плакат [Иссерс 2012, 2013], интернет-коллекции, надписи на автомобилях, демотивационные постеры и т. п., называя их «"лингвообъектами", которые можно считать периферией речевой жизни современного общества» [Иссерс 2015: 10].
Для анализа мультимодальных текстов применяется мультимодаль-ный дискурс-анализ, разработанный как междисциплинарный теоретико-методологический подход, опирающийся на социальную семиотику. В качестве примера можно привести сборник исследовательских работ «Мультимодальный дискурс-анализ» под редакцией К.Л. О'Халлоран [Multimodal Discourse Analysis... 2004]. Статьи посвящены разработке теории и практики анализа дискурсов, которые используют комплекс разнообразных семиотических ресурсов. В качестве объекта анализа выступают такие жанры, как печатные СМИ, динамические и статические электронные медиа, фильмы и трехмерные объекты. Отмечается, что теоретический подход исследований в сборнике опирается на системно-функциональное направление в лингвистике Майкла Халлидея, а также на идеи Майкла О'Тула (Michael O'Toole), изложенные в работе «Язык изобразительного искусст-
ва», где анализируется смысл, возникающий в результате комплексного использования семиотических ресурсов [Multimodal Discourse Analysis. 2004: 1].
Данные исследования представляют собой ранние этапы сдвига фокуса в современной лингвистике: использование языка больше не рассматривается как изолированное. Так, Кей О'Халлоран в статье «Визуальный семиозис фильма» проводит семиотический анализ динамических изображений с применением компьютерных технологий. Используя программное обеспечение для редактирования видео Adobe Premiere 6.0, исследовательница представляет системно-функциональную модель, которая объединяет визуальные образы и саундтрек при анализе двух коротких выдержек из фильма Романа Полански «Китайский квартал» [Multimodal Discourse Analysis. 2004: 109-130].
К.Л. О'Халлоран отмечает, что цифровые технологии приводят к появлению новых теорий и практик в области математики и точных наук, и для этого целесообразно использовать мультимодальный дискурс-анализ (SFMDA]. В качестве примера она приводит систему Энтони Болдри и Мишеля Бельтрами «Мультимодальный корпус» (MCA; http://mca.unipv.it], которая является единственным программным приложением для мульти-модального анализа видеотекстов [Multimodal Discourse Analysis.. 2004: 4].
Другой пример использования мультимодального дискурс-анализа предлагает Фил Бенсон при изучении YouTube-контента. Такой анализ учитывает:
• multiple sem^t^ mode - комплекс семиотических модусов YouTube: меняющиеся картинки, устная и письменная коммуникация, музыка, различные активные ссылки, иконки и т. п.;
• multiple authorship - многообразие участников и способов участия в производстве и воспроизводстве дискурсов: не только комментарии пользователей-подписчиков, но и реклама, возможность передавать информацию через liking и disliking и т. д.;
• highly dynamic - высокая динамичность дискурса (постоянно меняющийся контент] [Discourse and digital practices... 2015: 83-84].
6. Мультимодальные тексты в образовании
С развитием цифровых технологий появляются и новые формы коммуникации в образовательном процессе. Этот принципиально новый (третий после устной и письменной] вид коммуникации, сетевая коммуникация, обладает большим дидактическим потенциалом, и наиболее очевидным ее признаком являются тексты принципиально нового строения, которые В.Г. Костомаров определил как дисплейные тексты [Костомаров 2010], или «тексты новой природы», ставшие объектом исследования на VIII международной научно-практической конференции «Педагогика текста» (Санкт-Петербург, 21 октября 2016 г.] [Тексты новой природы. 2016].
Природа подобных текстов была раскрыта заведующей Проектной научно-исследовательской лабораторией инновационных средств обучения русскому языку Государственного института русского языка им. А.С. Пушкина, кандидатом филологических наук М.Ю. Лебедевой на лекции «Муль-тимодальность как новая грамотность» 27 июля 2016 г. в культурном центре ЗИЛ (Москва]. «Мультимодальный (цифровой, мультимедийный) текст принципиально отличается от печатных книг, даже если они снабжены красочными картинками. Его смысловой диапазон чрезвычайно широк и изменчив; его отдельные составляющие (картинка, звук, видео] могут дополнять и усиливать написанное буквами сообщение. Но могут и конкурировать с ним вплоть до придания всему "посланию" противоположного значения. ...По своей природе мультимодальный текст ближе не к письменным источникам, а к устной коммуникации, когда на человека воздействуют не только разговорная речь, но и жесты, мимика, физические особенности, положение собеседника в пространстве»1.
С этой точки зрения особый интерес в практике преподавания русского языка как иностранного представляет обращение к аутентичным текстам массовой коммуникации, которые по своей природе являются мультимодальными. Например, тексты национально-ориентированной рекламы, которые обладают ярко выраженным социокультурным компонентом, можно использовать как в качестве иллюстративного материала на уроках, так и в процессе подготовки к ТРКИ [Омельяненко 2017]. Такие тексты обладают большим лингводидактическим потенциалом, так как «они являются интересными и доступными, а также имитируют межперсональный акт общения элементами разговорного диалога, приметами интимности, непринужденности, доверительности» [Костомаров 2010: 142].
7. Заключение
Таким образом, в российской лингвистике наиболее обоснованным термином для обозначения текста как когерентного целого, состоящего из нескольких семиотических кодов, считается поликодовый текст. Однако в русистике сохраняется традиция центральной позиции речи и письма. Русскоязычные ученые, исследуя вербальную и невербальную составляющие текста, в большинстве своем говорят о приоритете языкового семиотического кода. Зарубежные исследователи на первый план выдвигают другие средства конструирования смыслов и называют это «вызовом мультимодальности». В качестве примера можно привести исследования значимости информационных каналов. Российский ученый А.А. Кибрик говорит о приоритете вербального канала (39 %) в сравнении с визуальным (33 %] и просодическим (28 %], в то время как резуль-
1 «Новая грамотность»: что такое мультимодальные тексты // Государственный институт русского языка им. А.С. Пушкина: офиц. сайт. 2016. 28 июля. URL: http:// www.pushkin.institute/news/detail.php?ID=5203.
таты исследования, проведенного в конце XX в. зарубежными учеными,
свидетельствуют в пользу визуального (55 %] канала передачи информации [Кибрик 2010: 142].
Список литературы
Ариас А.-М. Поликодовый текст: теоретические и прикладные аспекты: учебное пособие. СПб.: Изд-во С.-Петерб. ун-та управления и экономики, 2015. 126 с.
Вдовина Т.В. Дискурс-анализ: методологические основания и перспективы применения в социологических исследованиях: автореф. дис. ... канд. социол. наук. М., 2012. 23 с.
Гаврилова М.В. Социальная семиотика: Теоретические основания и принципы анализа мультимодальных текстов // Политическая наука. 2016. № 3. С. 101-117.
Иссерс О.С. Дискурсивные практики нашего времени. 2-е изд., испр. М.: ЛЕАНД, 2015. 272 с.
Иссерс О. С. Приемы языковой игры в новых дискурсивных практиках (на примере оппозиционного плаката) // Лексико-грамматические инновации в современных славянских языках: материалы VI Международной научной конференции (Днепропетровск, 22-23 апреля 2013 г.) / сост. Т.С. Пристайко. Дншропетровськ: Нова вдеолопя, 2013. С. 113-115.
Иссерс О. С. Оппозиционный плакат как жанр полимодального дискурса // Вестник Омского университета. 2012. № 3. С. 247-252.
Кибрик А.А. Мультимодальная лингвистика // Когнитивные исследования: сборник научных трудов. Вып. 4 / отв. ред. Ю.И. Александров, В.Д. Соловьев. М.: Ин-т психологии РАН, 2010. С. 134-152.
Костомаров В.Г. Дисплейный текст как форма сетевого общения // Russian Language Journal. 2010. Iss. 60. С. 141-147.
Кресс Г. Социальная семиотика и вызовы мультимодальности / пер. с англ. Т.Ш. Адильбаев, И.В. Фомин // Политическая наука. 2016. № 3. С. 77-100.
Омельяненко В.А. Лингводидактическая ценность рекламных текстов в практике преподавания РКИ // Довузовский этап обучения в России и мире: язык, адаптация, социум, специальность: сборник статей I Международного конгресса преподавателей и руководителей подготовительных факультетов (Москва, РУДН, 19-21 октября 2017 г.): в 2 ч. М.: Рос. ун-т дружбы народов, 2017. Ч. 2. С. 113-116.
Тексты новой природы в образовательном пространстве современной школы: сборник материалов VIII международной научно-практической конференции «Педагогика текста» (Санкт-Петербург, 21 октября 2016 г.) / под ред. Т.Г. Галак-тионовой, Е.И. Казаковой. СПб.: Лема, 2016. 118 с.
Adami E., Kress G. Introduction: Multimodality, meaning making, and the issue of "text" // Text & Talk. 2014. Vol. 34(3). P. 233-237.
Boehm G., Mitchell W.J.T. Pictorial versus Iconic Turn: Two Letters // Culture, Theory and Critique. 2009. Vol. 50. P. 103-121.
Discourse and digital practices: Doing Discourse Analysis in the Digital Era / Ed. by R.H. Jones, A. Chik, C.A. Hafner. London; NewYork: Routledge, 2015. 262 p.
Jewitt C. Handbook of Multimodal Analysis. London: Routledge, 2009. 340 p.
Koller V. Brand images: Multimodal metaphor in corporate branding messages // Multimodal Metaphor / Ed. by ChJ. Forceville, E. Urios-Aparisi. New York; Berlin: De Gruyter Mouton, 2009. P. 45-71. (Applications of Cognitive Linguistics 11). Kress G. Multimodality. A Social Semiotic Approach to Contemporary Communication. London: Routledge, 2010. 212 p. Kress G.R., van Leeuwen T. Multimodal Discourse: The modes and media of contemporary communication. London: Edward Arnold, 2001. 152 p. Kruk S. Semiotics of visual iconicity in Leninist "monumental" propaganda // Visual
Communication. 2008. Vol. 7(1). P. 27-56. Lemke J.L. Multimedia Genres for Science Education and Scientific Literacy // Developing Advanced Literacy in First and Second Languages / Ed. by M.J. Schleppegrell, M.C. Colombi. 2002а. URL: http://www.jaylemke.com/storage/Multime-diaGenres-Science-2002.pdf (дата обращения: 03.06.2018). Lemke J.L. Travels in Hypermodality // Visual Communication. 2002b. Vol. 1, № 3.
P. 299-325. DOI: 10.1177/147035720200100303. Lockyer S. Dynamics of social class contempt in contemporary British television comedy // Social Semiotics. 2010. Vol. 20(2). P. 121-138. Multimodal Discourse Analysis. Systemic-Functional Perspectives / Ed. by K.L. O'Hal-
loran. New York; London: Continuum, 2004. 252 p. Semetsky I. Interpreting the Signs of the Times: beyond Jung // Social Semiotics. 2010.
Vol. 20(2). P. 103-120. van Leeuwen T. Introducing Social Semiotics. London: Routledge, 2005. 297 p.
References
Adami, E., Kress, G. (2014), Introduction: Multimodality, meaning making, and the
issue of "text". Text & Talk, Vol. 34 (3), pp. 233-237. Arias, A.-M. (2015), Polikodovyi tekst: teoreticheskie i prikladnye aspekty [Polycode
text: theoretical and applied aspects], St. Petersburg, 126 p. (in Russian) Boehm, G., Mitchell, W.J.T. (2009), Pictorial versus Iconic Turn: Two Letters. Culture,
Theory and Critique, Vol. 50, pp. 103-121. Galaktionova, T.G., Kazakova, E.I. (Eds.) (2016), Teksty novoi prirody v obrazova-tel'nom prostranstve sovremennoi shkoly [Texts of "new nature " in the educational space of a modern school], collection of materials of the VIII international scientific and practical conference "Text Pedagogics" (St. Petersburg, October 21, 2016), St. Petersburg, Lema Publ., 118 p. (in Russian) Gavrilova, M. (2016), Social semiotics: Theoretical foundations and principles of analysis of multimodal texts. Political science (RU), No. 3, pp. 101-117. (in Russian) Issers, O.S. (2015), Diskursivnye praktiki nashego vremeni [Discursive practices of our
time], 2nd ed., Moscow, LEAND Publ., 272 p. (in Russian) Issers, O.S. (2013), Priemy yazykovoi igry v novykh diskursivnykh praktikakh (na pri-mere oppozitsionnogo plakata) [The methods of the language game in new discursive practices (based on the example of the opposition poster)]. Pristaiko, T.S. (Comp.) Leksiko-grammaticheskie innovatsii v sovremennykh slavyanskikh yazykakh [Lexical and grammatical innovations in modern Slavic languages], Materials of VI International Scientific Conference (Dnipropetrovsk, April 2223, 2013), Dnipropetrovsk, Nova ideologiya Publ., pp. 113-115. (in Russian)
Issers, O.S. (2012), Poster of opposition in the aspect of the genre features of polymodal discourse. Herald of Omsk University, No. 3, pp. 247-252. (in Russian)
Jewitt, C. (2009), Handbook of Multimodal Analysis, London, Routledge Publ., 340 p.
Jones, R.H., Chik, A., Hafner, C.A. (2015), Discourse and digital practices: Doing Discourse Analysis in the Digital Era, London, New York, Routledge Publ., 262 p.
Kibrik, A.A. (2010), Mul'timodal'naya lingvistika [Multimodal libguistics]. Aleksan-drov, Yu.I., Solov'ev, V.D. (Eds.) Kognitivnye issledovaniya [Cognitive research], collection of scientific works, Iss. 4, Moscow, Institute of psychology of RAS Publ., pp. 134-152. (in Russian)
Koller, V. (2009), Brand images: Multimodal metaphor in corporate branding messages. Forceville, Ch.J., Urios-Aparisi, E. (Eds.) Multimodal Metaphor, Applications of Cognitive Linguistics 11, New York, Berlin, De Gruyter Mouton Publ., pp. 45-71.
Kostomarov, V.G. (2010), Displeinyi tekst kak forma setevogo obshcheniya [Display text as a form of social networking]. Russian Language Journal, Iss. 60, pp. 141147. (in Russian)
Kress, G. (2016), Social semiotics and the challenge of multimodality. Political science (RU), No. 3, pp. 77-100. (in Russian)
Kress, G. (2010), Multimodality. A Social Semiotic Approach to Contemporary Communication, London, Routledge Publ., 212 p.
Kress, G.R., van Leeuwen, T. (2001), Multimodal Discourse: The modes and media of contemporary communication, London, Edward Arnold Publ., 152 p.
Kruk, S. (2008), Semiotics of visual iconicity in Leninist "monumental" propaganda, Visual Communication, Vol. 7(1), pp. 27-56.
Lemke, J.L. (2002a), Multimedia Genres for Science Education and Scientific Literacy. Schleppegrell, M.J., Colombi, M.C. (Eds.) Developing Advanced Literacy in First and Second Languages, available at: http://www.jaylemke.com/storage/ MultimediaGenres-Science-2002.pdf (accessed date: June 3, 2018).
Lemke, J.L. (2002b), Travels in Hypermodality. Visual Communication, Vol. 1, No. 3, pp. 299-325. DOI: 10.1177/147035720200100303.
Lockyer, S. (2010), Dynamics of social class contempt in contemporary British television comedy. Social Semiotics, Vol. 20(2), pp. 121-138.
O'Halloran, K.L. (Ed.) (2004), Multimodal Discourse Analysis. Systemic-Functional Perspectives, New York, London, Continuum Publ., 252 p.
Omelianenko, V.A. (2017), The linguodidactic value of advertising texts in the practice of teaching Russian as a foreign language. Dovuzovskii etap obucheniya v Rossii i mire: yazyk, adaptatsiya, sotsium, spetsial'nost' [Pre-university stage of education in Russia and the world: language, adaptation, society, major], Proceedings of 1st International congress of teachers and heads of preparatory faculties (Moscow, RUDN University, October 19-21, 2017), in 2 parts, Moscow, Peoples' Friendship University of Russia Publ., Pt. 2, pp. 113-116. (in Russian)
Semetsky, I. (2010), Interpreting the Signs of the Times: beyond Jung. Social Semiotics, Vol. 20(2), pp. 103-120.
van Leeuwen, T. (2005), Introducing Social Semiotics, London, Routledge Publ., 297 p.
Vdovina, T.V. (2012), Diskurs-analiz: metodologicheskie osnovaniya i perspektivy pri-meneniya v sotsiologicheskikh issledovaniyakh [Discourse Analysis in Sociology: Theoretical Grounds and Prospects of Use in Sociological Studies], Author's abstract, Moscow, 23 p. (in Russian)
POLYCODE TEXTS IN THE ASPECT OF THE MULTIMODALITY THEORY
V.A. Omelianenko1, E.N. Remchukova2
:'2 Peoples' Friendship University of Russia (RUDN University) (Russia, Moscow)
Abstract: The article studies the polycode of communication, caused by the occurrence of new multimedia information and communication technologies, as well as mass computerization and globalization affecting the ways of information encoding. The heterogeneous nature of polycode texts is analyzed in terms of multimodal research within the framework of social semiotics, therefore, the main approaches to the analysis of multimodal discourse and its basic characteristics are revealed. The authors give an overview of multimodal research appeared at the turn of the 20th and 21st centuries showing the change in the way of the world perception: speech and writing lose their main positions, and they are replaced by other means of constructing meanings. Furthermore, it is noted that such changes occur not only in mass genres but also in high culture, which leads to their mixing. The iconic turn of multimodal research, characterized by the priority of the visual code, becomes fixed and it replaces the linguistic approach. The variability of the naming of the studied phenomena in foreign and Russian studies is noted: if in foreign studies, since the semiotic codes have different modalities, mixed texts are usually called multimodal, and a specially developed multimodal discourse-analysis is used for their analysis, then in the Russian studies, still holding onto the tradition of priority of the linguistic semiotic code, it is more often referred to polycode texts.
Key words: polycode text, multimodality, social semiotics, multimodal discourse analysis, multimodal learning.
For citation:
Omelianenko, V.A., Remchukova, E.N. (2018), Polycode texts in the aspect of the multimodality theory. Communication Studies, No. 3 (17), pp. 66-78. DOI: 10.25513/2413-6182.2018.3.66-78. (in Russian)
About the authors:
1 Omelianenko Viktoria Alexandrovna, Assistant at the Russian Language Department No. 2, postgraduate student at the Department of General and Russian Linguistics
2 Remchukova Elena Nikolaevna, Prof., Professor of the Department of General and Russian Linguistics
78 Раздел I. Теория коммуникации
Corresponding authors:
12 Postal address: 6, Miklukho-Maklaya ul., Moscow, 117198, Russia
1 E-mail: omelianenko_va@rudn.university
2 E-mail: remchukova_en@rudn.university Received: June 18, 2018
