КОНТЕКСТ
О.Ю. МАЛИНОВА*
МУЛЬТИМЕДИЙНЫЕ ВЫСТАВКИ КАК ПРЕДМЕТ ПОЛИТОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ: ВЫЗОВ МУЛЬТИМОДАЛЬНОСТИ1
Аннотация. В методологическом эссе обосновывается необходимость опоры на исследования мультимодальности при изучении мультимедийных выставок. Повышение их роли в политических коммуникациях в России подтверждается примерами выставок о российской истории, трансформированных в систему исторических парков «Россия - моя история», и выставки-форума «Россия» на ВДНХ, которую также планируется превратить в долговременный проект. Современные технологии создают широкие возможности для трансляции нужного информационного контента и в то же время делают потребление такого контента увлекательным видом досуга. Однако то, что позволяет эффективно использовать выставки в качестве инструмента символической политики - возможность трансляции множественных потоков информации по каналам, задействующим разные способы чувственного восприятия, - оказывается проблемой для традиционных методов анализа, сфокусированных на конкретных свойствах лингвистического или визуального контента.
В поисках подходящих методологических решений автор обращается к исследованиям мультимодальности. Предпринимается попытка приложить систему понятий и принципов мультимодального анализа, предложенную в фундаменталь-
* Малинова Ольга Юрьевна, доктор философских наук, профессор, профессор Департамента политики и управления, Национальный исследовательский университет «Высшая школа экономики» (Москва, Россия); главный научный сотрудник отдела политической науки, Институт научной информации по общественным наукам (ИНИОН) РАН (Москва, Россия); e-mail: omalinova@hse.ru
1 Исследование выполнено в ИНИОН РАН за счет бюджетных средств по государственному заданию № 122012100261-6
DOI: 10.31249/poln/2024.04.01
ном проблемно-ориентированном введении в мультимодальность Дж. Бейтмана, Я. Вильдфер и Т. Хииппалы, к случаям региональных экспозиций выставки «Россия». В частности, предпринимается онтологический анализ и систематизация ее коммуникативных ресурсов, что позволяет обнаружить их возможности и ограничения. Автор приходит к выводу, что идеологическое воздействие выставки едва ли правильно оценивать, используя модель, рассматривающую реципиента как пассивного получателя сообщений, поскольку значительная часть коммуникативных ресурсов выставки предлагает ему роль участника, потребляющего контент по собственному усмотрению, но в рамках заданных сценариев.
Ключевые слова: мультимодальность; мультимодальный анализ; методология; символическая политика; мультимедийная выставка; исторический парк «Россия - моя история»; выставка-форум «Россия».
Для цитирования: Малинова О.Ю. Мультимедийные выставки как предмет политологического исследования: вызов мультимодальности // Политическая наука. -2024. - № 4. - С. 17-44. - Ш1: http://www.doi.org/10.31249/poln/2024.04.01
Мультимедийные выставки как инструмент символической политики
Мультимедийные выставки - относительно новый тип информационных и культурно-развлекательных проектов, получивший распространение не только в маркетинге и музейном деле, но и в политических коммуникациях. Мультимедийность обеспечивается современными компьютерными технологиями, которые позволяют создателям выставок творчески соединять разные формы представления информации - статические и / или динамические изображения, звук, голограммы, компьютерную графику и т.п., а их посетителям - взаимодействовать с коммуникативными ресурсами при помощи сенсорных экранов, джойстиков или кнопок. Использование таких технологий создает широкие возможности для производства и трансляции желаемого контента, и вместе с тем делает его потребление интересным досуговым занятием. Благодаря этому мультимедийные выставки особенно перспективны в качестве инструмента символической политики: при наличии необходимой материальной базы (создание которой, правда, требует значительных инвестиций) они позволяют представлять заданные идеи, образы, нарративы и т.п. в интеллектуально, эстетически и эмоционально привлекательном виде и при этом хорошо поддаются тиражированию. Не случайно российские власти неоднократно поддерживали или инициировали проведение мультимедийных выставок.
Первым заметным проектом такого рода стала интерактивная выставка «Романовы», открывшаяся в московском Манеже 4 ноября 2013 г. Созданная по инициативе Патриаршего совета по культуре, выставка оказалась полезным дополнением официального исторического нарратива: последнему на тот момент недоставало содержательной интерпретации досоветского периода [Малинова, 2016; Ьагие11е, 2019]. В дальнейшем по той же модели были подготовлены выставки «Рюриковичи» (2014), «От великий потрясений к Великой Победе» (2015), «От Победы в Великой Отечественной войне до 2016 г.» (2017). В 2015 г. для этих проектов была создана специальная площадка - павильон № 57 на ВДНХ, и временные выставки превратились в постоянно действующий исторический парк, в котором основные экспозиции, развивающие проекты, некогда представленные в Манеже [Казьмина, 2020], периодически дополняются (точнее, на время заменяются) новыми тематическими выставками. С 2016 г. мультимедийные исторические парки «Россия - моя история» стали создаваться в регионах (на данный момент создано 26 таких парков, в том числе - в Луганске и Мелитополе). Таким образом, из проекта, начинавшегося с выставки в Манеже, выросла целая система экспозиционных комплексов, нацеленных на продвижение одобряемой государством концепции отечественной истории.
Опыт исторических парков продемонстрировал преимущества мультимедийных выставок для пропаганды поддерживаемых государством идей и ценностей. Инвестиции в создание материально-технической базы окупаются удобством производства и изменения контента. Основная информация, подготовленная головным историческим парком, дополняется «региональным компонентом», создаваемым на местах. Поскольку оборудование легко переключается с одного контента на другой, его можно приспосабливать под разные задачи. В частности, в региональных парках одна из постоянных экспозиций на несколько недель в году заменяется выставкой о профориентации, подготовленной в рамках национального проекта «Образование». Использование цифрового контента и электронных инструментов коммуникации позволяет охватить аудиторию, существенно большую, нежели это доступно традиционным музеям. При этом интерактивный формат представления информации очевидно импонирует более молодой части аудитории,
для которой электронные гаджеты стали едва ли не главным инструментом коммуникации.
В 2023-2024 гг. был реализован еще один масштабный проект -Международная выставка-форум «Россия» на ВДНХ. Указ о ее проведении был подписан президентом В.В. Путиным 29 марта 2023 г. Объявленные цели выставки - «демонстрация важнейших достижений Российской Федерации в различных отраслях экономики... положительного опыта развития субъектов Российской Федерации» и «содействие международному сотрудничеству»1 -очевидно учитывали перспективу президентских выборов. На это указывало и назначение председателем оргкомитета первого заместителя руководителя Администрации Президента РФ С.В. Кириенко. И действительно, хотя Путин не участвовал, как ожидалось, в открытии выставки 4 ноября 2023 г., он посетил ее за время избирательной кампании четыре раза. В интенсивной программе тематических мероприятий, развернутой на площадках выставки-форума, активно участвовали представители власти, как федерального, так и регионального уровня. Популярность выставки у посетителей побудила продлить ее работу до 8 июля 2024 г. (первоначально закрытие планировалось на 12 апреля)2. А 1 июля 2024 г. президент Путин подписал распоряжение о создании Национального центра «Россия» в «Экспоцентре» на Красной Пресне3. Филиалы центра предполагается создать в регионах. Таким образом, и этот проект планируется превратить в постоянно действующую сеть тематических мультимедийных комплексов.
Столь последовательное внедрение практик коммуникации, использующих мультимедийные технологии, в арсенал российской
1 Указ об оргкомитете по подготовке и проведению Международной выставки-форума «Россия» // Президент России. - Режим доступа: http://www.kremlin.ru/ acts/news/70803 (дата посещения: 16.07.2024).
2 По данным официального сайта, с 4 ноября 2023 г. по 8 июля 2024 г. выставку на территории ВДНХ посетило «более восемнадцати с половиной миллионов человек» (Национальный центр «Россия». - Режим доступа: https://russia.ru/ (дата посещения 20.07.2024). И хотя рекрутирование «организованных групп» и мобилизация участия в специальных мероприятиях форума безусловно имели место, большую часть посетителей составляли добровольцы. То, что посещение выставки было бесплатным, вероятно послужило дополнительным стимулом.
3 Распоряжение о создании Национального центра «Россия» // Президент России. - Режим доступа: http://www.kremlin.ru/acts/news/74441 (дата посещения: 16.07.2024).
политики ставит перед политологами не только исследовательские вопросы, но и методологические вызовы. То, что делает такие практики эффективными и привлекательными - возможность трансляции множественных потоков информации по каналам, задействующим разные способы чувственного восприятия, - оказывается проблемой для традиционных методов анализа, сфокусированных на конкретных свойствах лингвистического или визуального контента.
Мультимедийные выставки как методологический вызов
Как правило, исследователи мультимедийных выставок стремятся собирать разные типы данных и комбинировать методы анализа1. При этом они нередко ориентируются на наработки этнографов и на методики, разработанные для экспозиций исторических музеев и музеев памяти, которые в свою очередь тоже активно используют визуальный контент и интерактивные инструменты коммуникации [Политика аффекта, 2019, с. 7-11]. Так, Е. Клименко для своего исследования российских исторических парков использовала «систематический дискурс-анализ» - подход социологии знания, предполагающий не только изучение представленных в экспозиции текстов и визуальных материалов (фотографий, изображений, графиков, карт), но и фиксацию пространственной организации, цвета и света, музыки и звуковых эффектов [Klimenko, 2020, 2023]. В.П. Казьмина опиралась на методологию анализа исторического нарратива на эпистемологическом, эстетическом и моральном уровне, предложенную Хейденом Уайтом, дополняя ее «некоторыми идеями» из media studies [Казьмина, 2020]. И.А. Вальдман, Е.И. Красильникова и С.С. Наумов, сравнивавшие региональные компоненты сибирских исторических парков, ориентировались на методику Е. Махотиной, разработанную для изучения музеализации памяти [Вальдман, Красильникова, Наумов, 2019]. Эта методика предлагает сосредоточиться на трех уровнях анализа: на уровне авторов (здесь главным источником выступают интервью), уровне репрезентации (здесь предлагается уделить внимание структуре и порядку организации пространства
1 Работы, ограничивающиеся анализом текстов, представленных на информационных стендах и в буклетах (напр.: [СоИеу8Иа%г, 2021]), - скорее исключение.
экспозиции) и уровне дискурса (здесь исследователю предлагается ответить на набор вопросов, вытекающих из предположения, что музей «является местом интерпретации прошлого для определенных политических целей» [Махотина, 2020, с. 18]). Для изучения выделенных уровней формируется гайд с вопросами, ответы на которые исследователь должен искать, анализируя собранные данные.
В принципе, именно такой подход - фокусировка анализа с помощью вопросов, сформулированных на основе литературы и знаний о контексте, - лежит в основе большинства исследований. Преимущественно нарративное структурирование информации о прошлом, составляющей основу экспозиций исторических парков, не только побуждает сосредоточиться на реконструкции рассказываемых и показываемых историй, но и позволяет сравнивать их с другими нарративами о тех же событиях / периодах, выявляя специфические акценты, очевидные для внимательного аналитика лакуны, неоднозначность и уклончивость интерпретаций. При этом даже если при сборе данных исследователь стремится зафиксировать смыслы, транслируемые через разные каналы, при анализе они редко оказываются задействованы в равной мере. Текст и изображение по умолчанию рассматриваются как средства репрезентации одного и того же нарратива. А анализ структуры пространства, цвета, света, звуковых эффектов играет вспомогательную роль, позволяя выделить акценты. В случае исторических парков такая исследовательская стратегия более или менее оправдывает себя, поскольку литература и контекст позволяют достаточно уверенно поставить вопросы, существенные для исследования, а способ организации экспозиций парков, сочетающий модульность с хронологической линейностью, и визуальный (и частично аудио-) ряд - с текстовыми пояснениями, помогает собрать данные, релевантные этим вопросам.
Иначе обстоит дело в случае с выставкой «Россия»: демонстрация «важнейших достижений» в различных отраслях экономики и «положительного опыта развития субъектов Российской Федерации» не предполагает единой нарративной схемы (и даже не обязательно требует хронологически связанного рассказа), а знание о политическом контексте и очевидной «сверхзадаче» проекта само по себе вряд ли объясняет его популярность у москвичей и гостей столицы. Авторы экспозиций, представлявших федеральные ведомства, корпорации и общественные организации, а также регионы России по-разному решали общую задачу, причем различия
касались не только того, о каких «достижениях» и «опыте» следует рассказать, но и как, с помощью каких информационных, художе -ственных и технических средств это сделать. Вместе с тем и посетители выставки по-разному «потребляли» ее «контент»: кто-то посещал экспозиции с групповыми экскурсиями, внимая комментариям гида, кто-то активно взаимодействовал с экспонатами, загружая дополнительную информацию, кто-то просто фотографировался на фоне изображений на огромных экранах, кто-то посещал официальные мероприятия форума, не задерживаясь у экспозиций, кто-то участвовал в мастер-классах или конкурсах на площадках региональных экспозиций. Формат выставки-форума предусматривал широкий спектр активностей, предоставляя потребителям информационно-развлекательного контента свободу выбора в гораздо большей мере, чем это имеет место в исторических парках с их линейно-хронологическим принципом организации экспозиции.
По-видимому, для исследования политически мотивированных мультимедийных проектов, которые прочно вошли в арсенал символической политики в России, недостаточно комбинации лингвистических и визуальных методов, собранной ad hoc. Следует признать, что мы имеем дело со сложными комплексами семиотических практик, которые являются не только мультимедийными, поскольку предполагают одновременную передачу информации в разных формах, но и мультимодальными, то есть обеспечивают эффективную коммуникацию благодаря комбинации выразительных ресурсов, каждый из которых играет свою «партию» в «оркестре». Поскольку это так, в поисках подходящей методологии было бы логично обратиться к литературе, посвященной феномену мультимодальности.
Мультимодальность как предмет научного исследования
Хотя одновременное использование в коммуникации разных форм выразительных ресурсов - это скорее норма, на эффекты мультимодальности стали обращать внимание сравнительно недавно, когда развитие информационно-компьютерных технологий пошатнуло «центральное положение речи и письма в социально-семиотическом мире» [Кресс, 2016, с. 79]. Исследования, стимулированные интересом к новым способам коммуникации, заставили
увидеть, казалось, бы очевидное: в действительности и «старые» способы отнюдь не «одномодальны». Так, язык всегда существует в ансамбле с другими модусами: на устную коммуникацию влияет выражение лица, тембр голоса, интонация, поза и т.п., а на восприятие письменного текста - характеристики материала, в котором он запечатлен, его визуальная структура и проч. [Kress, van Leeuwen, 2021, p. 39-40]. Но обычно исследователи игнорируют модусы, представляющиеся им несущественными, рассматривая, к примеру, видео и стенограмму речи политика на официальном сайте как взаимозаменяемые способы фиксации одного и того же социального факта - выступления, в действительности состоявшегося перед аудиторией, с которой оратор взаимодействовал как вербально, так и невербально, и имевшего место в физическом пространстве, характеристики которого влияли на процесс коммуникации (акустика, расстояние между оратором и аудиторией, использование инструментов мультимедиа и т.п.).
Нельзя сказать, что культурные ресурсы, привлекшие внимание в связи мультимодальностью, прежде не изучались: различные аспекты производства смыслов с помощью стационарных или движущихся изображений, звука, дизайна вещей и пространств и т.п. всегда были предметами интереса в соответствующих областях исследований. Но логика развития научного знания оказалась противоположна задаче осмысления мультимодальности: разрабатывая свои методы и методологии, традиционные дисциплины скорее двигались в направлении сегментации изучаемых явлений, членения их на составляющие, существенные для анализа, нежели стремились к пониманию закономерностей функционирования комбинаций выразительных ресурсов [Bateman, Windfeuer, Hiippala, 2017, p. 8].
Такая специализация сказалась и на проблеме определения мультимодальности. Как писал в статье, ранее опубликованной в этом журнале, один из отцов-основателей социальной семиотики Гюнтер Кресс, «не существует никакого согласованного определения мультимодальности как таковой... Отношение к термину мульти-модальность и его использование в общей области гуманитарных и социальных наук варьируются в широком спектре: от того, что можно было бы охарактеризовать как "позицию здравого смысла" (common sense positions), к "позиции теории" (theory-based positions)» [Кресс, 2016, с. 80]. В первом случае мультимодаль-
ность зачастую рассматривается «как "добавление" чего-то, чему стоит уделить внимание» [Кресс, 2016, с. 81], и это обстоятельство способствует умножению определений и подходов. В результате «то, что разные исследователи считают мультимодальностью - и даже то, называют ли они это мультимодальностью или как-то иначе, - обычно зависит от того, в каких исследовательских традициях они работают и какие исследовательские вопросы в рамках этих традиций ставятся» [Ба1ешаи, Windfeuer, Нпрра1а, 2017, р. 74]. В силу этого разные дисциплины фокусируются на разных аспектах мультимодальности, которые не так просто соединить. Имеется обширный корпус эмпирических работ, делающих заявку на муль-тимодальный анализ, но при этом предлагающих существенно разные подходы к организации исследования и оперирующих разной терминологией. Хотя искать в этой россыпи идей нечто полезное для изучения мультимедийных выставок и увлекательно, для поиска осмысленной методологии такой путь не слишком эффективен.
Говорить об устоявшемся понимании мультимодальности «с позиций теории» тоже пока рано. Впрочем, по мысли Кресса, муль-тимодальность и не является теорией, она «называет и описывает область для работы», имеющую значение «как с исследовательской, так и с прикладной точки зрения» (например, в образовании или в дизайне). Однако эта область нуждается в интегрирующей теоретической рамке, и в качестве таковой многие вслед за ним рассматривают социальную семиотику, которая «предоставляет категории и инструменты (их большую часть)» [Кресс, 2016, с. 82]. Российские читатели могли познакомиться с этой теорией благодаря представленным в ряде научных статей обзорам [Гаврилова, 2016; Ильин, Фомин, 2018; Фомин, Ильин, 2019]. В рамках так называемого мультимодального поворота, свидетельствующего о «готовности и осознаваемой потребности в целенаправленном и систематическом исследовании комбинаций выразительных ресурсов» [Ба1ешап, Windfeuer, Нпрра1а, 2017, р. 15], появляется немало работ, применяющих такой «целенаправленный и систематический» подход к решению тех или иных задач. Однако было бы тщетно искать в этом потоке литературы готовые решения для анализа мультимедийных выставок.
В настоящем методологическом эссе я попытаюсь наметить некоторые шаги к разработке таких решений, опираясь на фундаментальное проблемно-ориентированное введение в мульти-
модальность, написанное британским лингвистом и семиотиком Джоном Бейтманом, нидерландским лингвистом Яниной Вильдфер и финским лингвистом Туомо Хииппалой. Его авторы совершают непростое интеллектуальное упражнение: они предлагают отказаться от привычной для исследователей практики - выбирать методы, исходя из подхода, - дабы не закрывать глаза на возможности, которых мы исходя из своих предпочтений и подготовки попросту не замечаем, и начать с теоретического разбора феномена мультимодальности на более высоком уровне абстракции, нежели это предполагается перспективами отдельных дисциплин.
Онтология коммуникативных ситуаций и возможности «мультимедиа» (на примере выставки «Россия»)
Говоря о мультимодальности, часто делают упор на то, что обработка информации, получаемой с помощью разных органов чувств, происходит неодинаково, и, в частности, есть важные различия в восприятии вербальных и визуальных сигналов. Визуальные изображения во многом работают в логике ассоциации, поскольку мы способны распознавать в них сходства и различия на ранних этапах обработки нервной системой [Bateman, Windfeuer, 2014, р. 181]. Это одна из причин, по которой попытки применить лингвистические модели к визуальному материалу оказываются неудачными. Вербальные естественные языки имеют иную логику. Они конвенциональны (слова не отражают вещи, но называют их), композициональны (используют композиции звуков, чтобы образовать слова, и определенный порядок слов, чтобы сформировать предложение) и функциональны [Bateman, Windfeuer, Hiippala, 2017, p. 15]. Однако в мультимодальной коммуникации вербальные и визуальные сигналы воспринимаются не по очереди, а вместе, поэтому задача заключается не в том, чтобы разработать методы для анализа разных типов коммуникации (арсенал таких методов уже в значительной мере создан), а в том, чтобы понять, как разные способы означивания функционируют в ансамблях.
Бейтман, Вильдфер и Хииппала предлагают начать с онтологического анализа феномена коммуникативной ситуации, под кото -рым они понимают «любые ситуации, в которых реципиент или
группа реципиентов "получают нечто" благодаря взаимодействию с чем-то таким, чему они в процессе взаимодействия придают смысл» [Bateman, Windfeuer, Нпрра1а, 2017, р. 77]. Каковы условия, при которых мы уверенно можем говорить о наличии комму -никативной ситуации? Для ответа на этот вопрос авторы приводят пример с галькой, на которой видны следы, оставленные волнами и ветром. Хотя эти следы могут что-то напоминать, они не коммуникативны, поскольку не были созданы с целью, чтобы кто-то что-то получил, взаимодействуя с ними. Таким образом, первым условием является интенция к коммуникации. Предположим, что след на гальке имеет определенную форму, например, крест. В таком случае есть основания полагать, что кто-то оставил этот след намеренно, но наверняка мы этого знать не можем. Чтобы правильно фиксировать то, что, возможно, является знаком, нужно задаться вопросом: какие физические свойства или проявления семиотической активности выступают его носителями? Теоретически это может быть любая материальная регулярность: форма следа, его локация, глубина выемки и т.п. Но чтобы таковая могла быть использована для коммуникации, нужно, чтобы об этом знали как производители, так и потребители знака. Поэтому вторым условием коммуникативной ситуации является наличие сообщества, которое знает, как интерпретировать отличительные материальные регулярности. На этом шаге мы обнаруживаем, что семиотическая деятельность социальна: то, какие материальные регулярности несут значащие различия и как эти различия следует интерпретировать, не определяется ни самим материалом, ни чувственным доступом к нему. Согласно социальной семиотике, это определяется исключительно сообществом, использующим конкретные материальные различия для порождения смысла. При этом способность производить и интерпретировать отличительные материальные регулярности может быть распределена неравно: производство знаков может быть коллективным, предполагать сложные технологии, а их интерпретация - требовать специальных компетенций.
Мультимедийные выставки несомненно подпадают под описанные условия коммуникативной ситуации (точнее, представляют множество таких ситуаций): здесь налицо и интенция, и конвенциональное использование имеющих различную материальную природу артефактов для порождения смыслов. С точки зрения социально-онтологической картины, описанной Бэйтменом, Вильдфер и
Хииппалой, стоит обратить внимание на два обстоятельства. Во-первых, как на стороне производителей, так и на стороне потребителей знаков мы имеем дело не с индивидами, а с сообществами или группами. В процесс создания выставки вовлечено множество разных акторов, политические, экономические и эстетические отношения между которыми влияют на ее содержание. Вместе с тем и посетители потребляют это содержание, взаимодействуя не только с коммуникативными артефактами, но и друг с другом, с гидами, персоналом экспозиции и т.п. Иными словами, предметом нашего анализа является процесс, состоящий из нескольких систем взаимодействий, про которые необходимо помнить, даже если их невозможно охватить в рамках одного исследования. Во-вторых, возможности потребления контента мультимедийных выставок существенно опосредованы навыками работы с используемыми в них коммуникативными артефактами, которые могут быть распределены неравно. В этом смысле включение во многие экспозиции выставки «Россия» коммуникативных ресурсов, очевидно ориентированных не только на разные интересы, но и на разные компетенции - от видеоигр, требующих навыков работы с джойстиком, до песочниц с «кладами» и мастер-классов по рукоделию - является эффективным решением.
Традиция социальной семиотики уделяет большое внимание материальным основаниям процесса порождения смысла (meaning-making), понимая материальное как то, что воспринимается человеческими органами чувств [Кресс, 2016, р. 78]. Для обобщенного обозначения «материалов», способных быть носителями регулярных характеристик, используемых для выражения смыслов, Бейтман, Вильдфер и Хииппала вводят термин «холст» (canvas). Согласно их определению, «холст - это все, во что могут быть вписаны материальные регулярности, которые затем будут восприниматься и интерпретироваться» [Bateman, Windfeuer, Hiippala, 2017, p. 87]. Это интерфейс, через который транслируются сообщения [ibid., p. 101]. В роли холста могут выступать как материальные или виртуальные (цифровые) артефакты, так и длящиеся во времени взаимодействия, в том числе - реализуемые по заранее продуманным сценариям перформансы. Холсты могут иметь разную степень сложности: нередко мы имеем дело не с одним носителем различий, предназначенных выражать смысл, а с их комбинацией. Поэтому нужно уметь вычленять составляющие сложных комму-
никативных ситуаций, задействующих одновременно несколько холстов.
Потенциальные возможности холстов описываются понятием affordance (возможность, доступ). Переводчики статьи Г. Кресса оставили этот термин калькой с английского (аффорданс), пояснив, что он указывает на «побудительное, "приглашающее" качество объекта, показывающее способ использования этого объекта» [Кресс, 2016, р. 83]. Чтобы поддержать складывающуюся терминологическую конвенцию, я тоже будут использовать термин аффорданс без перевода. Различие характеристик аффордансов холстов, т.е. возможностей действия, которые они предлагают агентам, находящимся в соответствующей среде - необходимый отправной пункт в анализе мультимедийной коммуникации, поскольку для того, чтобы определить, каким образом смыслы порождаются и интерпретируются одновременно на нескольких холстах, нам нужно иметь представление о возможностях взаимодействия с каждым из них. Это не значит, что все потенциально имеющиеся аффордансы должны быть задействованы, но именно они определяют, какие материальные регулярности данного холста использовать легко (и привычно), а какие -непривычно (но иногда, при творческом подходе, возможно).
Это обстоятельство указывает на ту роль, которую в коммуникативных ситуациях может играть дизайн, особенно функциональный: он намеренно создает или увеличивает аффордансы для предполагаемого использования и при определенных условиях может указывать на то, какие способы использования предполагаются. Этот принцип представляется важным для понимания ком -муникативных ситуаций, имеющих место в рамках мультимедийных выставок: во многих случаях производители контента не посылают его потребителям однозначное сообщение, но выступают в роли дизайнеров. Дизайнерские решения «не стремятся подвести "получателя" к простым интерпретациям, но нацелены на то, чтобы сделать определенное поведение [в рамках коммуникативной ситуации. - О. М.] более вероятным, или легким» [Bateman, Windfeuer, Нпрра1а, 2017, р. 98]. В таких случаях мы имеем ситуации, отличные от намеренно сформированных регулярностей воздействия на материал. Холст, на который наносится смысл, - сугубо физическая ситуация, в которой происходит взаимодействие. Она сформирована не только местом, объектами и средой, но и вербальными звуками, выражением лиц, позами и расстоянием
между взаимодействующими. Потребитель знаков может быть зрителем спектакля, происходящего на сцене, или участником компьютерной игры (рассчитанной на одного игрока). Во втором случае интерпретатор помещается внутрь мира игры. Но в отличие от обычной ситуации взаимодействия с естественным окружающим миром, холст и знаки на нем созданы производителем(-ями) [Bateman, Windfeuer, Hiippala, 2017, р. 95-97], и поведение их потребителя так или иначе направляется сценарием. Многие коммуникативные артефакты, использованные в мультимедийных выставках, работают по тому же принципу: они предоставляют пользователю возможность самостоятельно выбирать способ потребления контента, но в рамках сценариев, созданных дизайнерами.
Картографирование доступных материальных различий является отправной точкой мультимодального анализа. Бейтман, Вильдфер и Хииппала предлагают принципы систематизации коммуникативных ресурсов в зависимости от аффордансов холстов, которая может быть полезна для осмысления коммуникативных ситуаций мультимедийных выставок. Первое измерение для систематизации оценивает свойства самих холстов. Во-первых, репрезентации, поддерживаемые разными холстами, могут быть статическими или динамическими. Динамические репрезентации изменяются во времени независимо от действий зрителя / читателя / пользователя, и эти изменения имеют значение для их семиотической функции (пример: видеофильм). Статические репрезентации (примеры: текст, напечатанный в книге, или фотография) не поддерживают такие изменения. Во-вторых, если холст имеет пространственные характеристики1, он может быть плоским / двухмерным или объемным / трехмерным. Важно уточнить, что это относится к холсту, а не к изображению: картина на двухмерном полотне может отображать объем. В-третьих, имеет значение временная продолжительность процесса порождения знаков - насколько он быстротечен. Например, в случае коммуникации лицом к лицу мы имеем дело с процессом не просто динамическим, но быстротечным. В случае же с видео мы можем повторить просмотр. В-четвертых, может
1 С точки зрения чувственного восприятия некоторые холсты обладают только временными характеристиками. Это относится, например, к звукам и запахам. Хотя в физическом смысле звуковые волны или молекулы газов распространяются в пространстве, человеческие органы чувств фиксируют их как наборы сигналов, изменяющихся во времени.
варьироваться локация потребителя знака: он может находиться внутри изображения или текста, выступая в качестве участника (перформанса или видеоигры), или снаружи, в качестве наблюдателя (зрителя фильма или спектакля) [Bateman, Windfeuer, Hiippala, 2017, p. 103-105].
Второе измерение для систематизации оценивает усилия, которые читатель / зритель / пользователь должен инвестировать, чтобы добраться до того, что требуется интерпретировать. Для характеристики коммуникативных ресурсов по этому измерению Бейтман, Вильдфер и Хииппала вводят термин эргодический (от греческих корней ergon - работа и hodos - путь); он отражает то, в какой мере читатель / зритель / пользователь должен участвовать в конструировании «текста»1 в рамках коммуникативной ситуации [Bateman, Windfeuer, Hiippala, 2017, p. 105-108]. Введение данного измерения дает континуум типов по нарастанию сложности:
1) линейный холст (пример - традиционные линейно устроенные и неизменяемые тексты - например, текст книги с последовательным изложением);
2) микроэргодический холст: текст, в котором есть врезки и изображения, что позволяет читателю / пользователю определять, в какой последовательности двигаться (например, учебник, в котором разные типы материала графически отделены друг от друга);
3) эргодический холст: статический текст, который представляет собой сеть узлов, связанных в гиперструктуру; пользователь не просто определяет последовательность перемещения от узла к узлу, но по сути пересобирает сообщение (например, перемещение по гиперссылкам внутри сайта или между сайтами);
4) меняющийся эргодический холст: здесь читатель / зритель / пользователь может менять организацию и содержание текста (именно это имеет место в случае общения лицом к лицу).
Систематизация коммуникативных ресурсов, используемых в мультимедийных выставках, на основе этих принципов (см. таблицу) позволяет сделать ряд интересных наблюдений.
1 Бейтман, Вильдфер и Хииппала относят это понятие к широкому спектру семантических модусов - не только вербальным, но и визуальным, музыкальным или даже связанным с физическим движением (например, в перформансе). Использование термина «текст» применительно к этим разным модусам связано с одним общим свойством этих артефактов или модусов: «они структурированы с целью быть подвергнутыми интерпретации» [Bateman, Windfeuer, Нпрра1а, 2017, р. 132].
Таблица
Систематизация коммуникативных ресурсов, использованных в экспозициях регионов РФ на выставке-форуме «Россия» на территории ВДНХ в 2023-2024 гг. 1
Тип медиа / Характеристики, определяющие аффордансы холстов Пространственные Динамические / статические / интерактивные Продолжительность знака(ов) Роль потребителя Эргодичность Реальный / виртуальный
Экран для демонстрации видео / клипов / фото плоский или объемный динамический воспроизводимый наблюдатель*) линейный / эргоди-ческий виртуальный
Интерактивный экран / планшет плоский интерактивный воспроизводимый участник эргоди-ческий виртуальный
Экран, генерирующий дополненное изображение плоский интерактивный быстротечный участник эргоди-ческий виртуальный
Очки дополненной реальности объемный динамический быстротечный участник линейный виртуальный
Интерактивный макет объемный интерактивный воспроизводимый участник эргоди-ческий реальный
Робот объемный интерактивный быстротечный наблюдатель / участник меняющийся эргоди-ческий реальный
Объемная фигура объемный статический стационарный наблюдатель*) линейный / эргоди-ческий реальный
Муляж, имитирующий объект объемный интерактивный стационарный участник линейный / эргоди-ческий реальный
Стенд / лайтбокс плоский статический стационарный наблюдатель линейный реальный
Предметы в витринах объемный статический стационарный наблюдатель линейный реальный
Звуки / запахи не пространственный динамический воспроизводимый участник эргоди-ческий реальный
*) в зависимости от способа взаимодействия. Источник: составлено автором.
1 На основе данных, собранных методом включенного наблюдения 27 июня -
6 июля 2024 г.
Во-первых, данный формат предполагает широкое использование экранов разного размера и конфигурации. В складывающихся при этом коммуникативных ситуациях имеет место динамическое и линейное представление смыслов с помощью преимущественно визуальных средств. Как правило, это видео и / или набранные тексты: в условиях павильона, где на относительно малом расстоянии друг от друга сосредоточены десятки экспозиций, сложно использовать аудиозаписи, во всяком случае, синхронно с изображениями на больших экранах. Казалось бы, холст с линейной структурой создает идеальные условия для целенаправленной трансляции заданных сообщений. Однако одновременное наличие не одного, а множества таких холстов оставляет потребителю информации определенную свободу выбора - как минимум в пользу более интересного экрана. Кроме того, особенностью динамического контента является быстротечность: в поле внимания посетителя, перемещающегося по выставке, попадает случайная часть клипа, и нет гарантии, что клип будет досмотрен до конца. Таким образом, идеологическое воздействие выставки едва ли правильно оценивать, опираясь на «почтовую» модель коммуникации, в кото -рой реципиенту отводится пассивная роль потребителя сообщения, созданного отправителем, - даже в случае, когда холст, казалось бы, предназначен именно для такой коммуникации.
Во-вторых, наряду с коммуникативными артефактами, транслирующими контент в заданной последовательности, в экспозициях используется много медиа, предполагающих интерактивное взаимодействие. Это дает посетителям возможность выступать в роли участников, самостоятельно выбирая линию поведения, хотя и в рамках заданного сценария. При этом сценарии могут быть разными: на выставке «Россия» интерактивные планшеты использовались в качестве интерфейсов не только для получения дополнительной информации (принцип, широко используемый в исторических парках), но и для виртуальных игр. Нетрудно догадаться, что второй вариант пользовался большей популярностью. Однако и взаимодействие с артефактами, казалось бы предполагающими пассивную роль наблюдателя, может быть превращено в перформанс -например, фотосессию на фоне изображений на экранах.
В-третьих, по сравнению с историческими парками, на выставке «Россия» заметно большая часть смысловой нагрузки ложится на реальные объекты, выполняющие символическую и / или
функциональную роль (чтобы выделить это обстоятельство, я добавила характеристику реальный / виртуальный к критериям, предложенным Бейтманом, Вильдфер и Хииппалой). Это могут быть аллегорические фигуры (например, женские головы, олицетворяющие Волгу и Оку в экспозиции Нижегородской области), копии известных памятников, (в экспозициях Волгоградской, Мурманской и Кемеровской областей), муляжи, имитирующие пространственные объекты (юрта, партизанская землянка, кабина электровоза), чучела или стилизованные фигуры животных и др. Аффордансы этих коммуникативных ресурсов зависят от того, как они размещены: одни предметы можно только разглядывать, поскольку они находятся в витринах или расположены высоко, другие же приглашают к взаимодействию: их можно трогать, в них можно забираться, нажимать на кнопки и рычаги, с ними можно фотографироваться и др.
В-четвертых, в некоторых экспозициях участвуют непространственные коммуникативные ресурсы - звуки или запахи (напр., трели курских соловьев, шум прибоя в бухтах Приморского края, комбинации запахов, специфических для городов Ивановской области и др.). В этих примерах эффекты мультимодальной коммуникации особенно очевидны: непространственные коммуникативные ресурсы могут быть использованы только в комбинации с предметами, имеющими пространственные характеристики - информационными стендами, наушниками и иными специальными приспособлениями.
Семиотические модусы и (мульти)медиа
Однако вопрос заключается не только в том, какие материальные различия используются для порождения смыслов, но и в том, что мы понимаем, считывая эти различия. У семиотических модусов (т.е. форм, которые могут принимать практики образования и считывания смыслов) есть два измерения - материальное, связанное с чувственными каналами восприятия, и семиотическое, отвечающее за смысл, который придается используемому материалу. Бейтман, Вильдфер и Хииппала считают оба измерения составляющими семиотических модусов: материальная сторона предопределяет возможные для семиотического использования манипуляции, семиотическая - то, какие именно различия свойств материала в действительности значимы для данной модальности
[Bateman, Windfeuer, Hiippala, 2017, p. 114-115]. Один и тот же материал может быть по-разному использован в разных семиотических модусах. В примере выше экран, транслирующий видео, может работать как «телевизор» (когда посетитель выставки в роли наблюдателя линейно потребляет динамический контент) или служить задником для фотосессии и возможно быть частью связанного с этим процессом перформанса, после чего изображение перекочует на другой холст и станет частью фотоснимка.
За то, как именно мы взаимодействуем с семиотическими ресурсами, отвечает дискурсивная семантика, которая обеспечивает связь интерпретативных механизмов, характерных для конкретного модуса, с контекстом [Bateman, Windfeuer, Hiippala, 2017, p. 116-117]. Дискурсивная семантика посредничает между материальными различиями, возможными для холста, и тем, что мы понимаем, считывая эти различия. Чтобы различать эти стороны, Бейтман, Вильдфер и Хииппала используют введенное Г. Крессом понятие досягаемость (reach). Разные модальности «могут иметь разную досягаемость в смысле того, что с ними можно сделать, а что - нет. Досягаемость семиотического модуса обычно является уточнением и расширением аффорданса материала» [Bateman, Windfeuer, Hiippala, 2017, p. 119].
Применяя эти аналитические инструменты, мы обнаруживаем, что некоторые семиотические ресурсы распадаются на семиотические модусы не так, как мы интуитивно ожидаем. Например, разговорная и письменная речь образуют разные модусы, поскольку они основаны на разной материальности. Это важно понимать, чтобы оценивать, что мы теряем при переводе из одного модуса в другой. Однако, разумеется, у устной и письменной речи немало общего. Для обозначения этого Бейтман, Вильдфер и Хииппала предлагают понятие «семья»: разговорная и письменная речь принадлежат к семиотической семье «вербальный язык».
Поскольку один и тот же материал может поддерживать разные семиотические модусы, для эффективного мультимодального анализа требуется еще одно понятие - медиум (медиа - во множественном числе). Медиум в этом контексте понимается как социально и исторически сложившаяся практика комбинирования модусов для достижения коммуникативных целей [Bateman, Windfeuer, Hiippala, 2017, p. 123-124]. Наш пример с фотосессией на фоне экрана правильно описать именно в этих терминах: здесь не просто задейст-
вованы разные холсты (экран с изображением, тело фотографирующегося - его поза, выражение лица и проч.), но также имеет место перенос знакомой социально-исторической практики («сфоткаться на фоне») в новый контекст. Медиумом, в рамках которого происходит потребление смыслового контента, в данном случае оказывается сама практика - фотографирование на фоне. Однако тот же самый холст - большой экран с изображением - используется и другим медиумом, когда он работает как «телевизор». При этом данные медиа по-разному используют аффордансы холста.
Введение понятия медиа в арсенал мультимодального анализа полезно еще и тем, что оно позволяет заметить некоторые эффекты комбинации. Так, медиа могут «представлять» друг друга. Например, мы можем видеть в браузере цифровую версию газеты, воспроизводящую бумажную верстку. Для данного феномена Бейтман, Вильдфер и Хииппала вводят понятие media depiction, которое, на мой взгляд, правильно перевести как имитацию другого медиума. Согласно авторскому определению, «можно говорить, что медиа функционируют в качестве имитаций (depiction), когда их (виртуальный) материал позволяет применять семиотические модусы других медиа» [Bateman, Windfeuer, Hiippala, 2017, p. 126]. В таком случае не требуется полной эквивалентности материальной формы (для воспроизведения верстки газеты на странице сайта не нужна бумага; изображение на достаточно большом экране может заменить натуральный вид, и при должном умении фотографа разница не будет бросаться в глаза). Нужен лишь элемент материальных различий, достаточный, чтобы поддержать сходные различия из имитируемого семиотического уклада.
Феномен имитации (media depiction) типичен для коммуникативных ресурсов, основанных на информационно-компьютерных технологиях. Экраны, планшеты и прочие гаджеты, используемые на выставках, представляют собой виртуальные холсты, способные имитировать другие медиа. Собственно, это основной принцип мультимедийных выставок: они могут транслировать широкий спектр информации за счет имитации холстов, которые потребителю физически недоступны (во всяком случае, в данный момент).
Впрочем, имитация - не единственный возможный вариант комбинации медиа. У разных медиа, задействованных в коммуникативной ситуации, может быть общий семиотический модус, или их модусы могут иметь частичные пересечения. Распутывание
комбинаций семиотических модусов, имеющих место в конкретном случае - это всегда эмпирическая задача, ключом к решению которой является выделение холстов, их аффордансов и медиумов [Bateman, Windfeuer, Hiippala, 2017, p. 127-128].
Теоретически многообразие семиотических модусов должно вести к чудовищной какофонии, однако на практике мы легко ориентируемся в кажущемся хаосе сигналов. Этому способствует понимание конвенций, на основе которых формируются смыслы, а также наличие инструментов, структурирующих семиотическую деятельность. Бейтман, Вильдфер и Хииппала описывают их с помощью понятий жанр, текст и дискурс. Жанр - это «способ характеристики паттернов конвенций, вырабатываемых некоторым обществом или культурой для выполнения "коммуникативной работы" определенного рода» [Bateman, Windfeuer, Hiippala, 2017, p. 129]. Так, нарратив нужен, чтобы рассказывать истории, научная статья - чтобы излагать научные аргументы и сообщать о полученных результатах, комедия - чтобы заставить людей смеяться, и т.д. Таким образом, жанры определяют цели коммуникации. Жанры -это распознаваемые социально сконструированные способы использования определенных медиумов, причем один и тот же жанр может поддерживаться разными медиа [Bateman, Windfeuer, Hiippala, 2017]. Когда зритель / читатель / потребитель относит артефакт или перформанс к определенному жанру, это помогает сформировать фреймы интерпретации, которые будут помогать извлекать смысл из того, что он(а) видит, слышит, делает и т. п. Текст - это то, что мы получаем, когда используем семиотические модусы конкретного медиума, чтобы произвести смысл. Как уже отмечалось, Бейтман, Вильдфер и Хииппала относят это понятие к широкому спектру семантических модусов (вербальных, визуальных и не только) и связывают его со «специфическим свойством... коммуникативных и означающих артефактов или действий», которое заключается в том, что «все они структурированы с целью быть подвергнутыми интерпретации» [Bateman, Windfeuer, Hiippala, 2017, p. 132]. Такое структурирование всегда «материально» в том смысле, что оно связано с использованием конкретных холстов, на которые наносятся материальные различия, участвующие в формировании смысла. Это отличает понятия текста и дискурса: последнее является понятием более высокого уровня абстракции. Авторы считают полезными оба широких значения
дискурса, принятые в литературе - в качестве способа думать о чем-то, или общего стиля формирования смысла (дискурс с большой буквы «Д») и в качестве инструмента утонченного анализа конкретных случаев коммуникации (дискурс с маленькой буквы «д») [Bateman, Windfeuer, Hiippala, 2017, p. 133-134].
Как с этим работать: алгоритмы мультимодального анализа
Рассмотренные выше понятия помогают описать феномен мультимодальной коммуникации. Как применить этот арсенал на практике? Как от описания, помогающего увидеть важные свойства коммуникативных ситуаций, из которых состоит мультимо-дальная выставка, перейти к исследованиям, отвечающим на конкретные вопросы?
Прежде всего, нужно помнить, что любая мультимодальная коммуникация является сложной: она опирается на разные медиа, использующие разные холсты. Бейтман, Вильдфер и Хииппала предлагают начинать с сортировки медиа и их холстов. Пример, который они предлагают - фрагмент урока в классе, в ходе которого учитель использует для объяснения доску, - может быть переложен на ситуацию условной экспозиции выставки. В обоих случаях мы имеем дело с телами (людей и предметов), помещенными в трехмерное пространство (класса или выставочной экспозиции), которое допускает свободное перемещение (как правило, людей, но не предметов) и возможность видеть и слышать. В принципе это открывает широкий спектр коммуникативных активностей, поддерживаемых таким холстом. Однако в действительности в обоих случаях у агентов есть ограничения, связанные как с их ролями (в случае учителя и учеников, посетителей выставки и персонала экспозиции они асимметричны), так и особенностями холста (есть очевидные ограничения по количеству посетителей, которые могут одновременно находиться на подиуме экспозиции; для чтения информационного экрана нужно подойти к нему достаточно близко, для фотографирования крупного объекта - наоборот, отойти достаточно далеко и т.п.). Что более существенно, в обоих примерах мы имеем множество агентов, участвующих во множестве коммуникативных актов и использующих при этом разные медиа и
объединяемые ими холсты. Как все это различить? Здесь нам на помощь приходит знание о жанрах: зная, какие коммуникативные активности происходят в определенной ситуации, мы можем обнаружить, что учитель взаимодействует не только с доской, но и с учениками, а те в свою очередь могут параллельно работать с учебниками, да еще и общаться друг с другом. Это позволяет нам «нарезать» коммуникативную ситуацию урока на «кусочки», выделив задействованные холсты (доска, физическое взаимодействие с помощью речи, жестов и т.п., учебник) и медиа, которые они поддерживают (объяснение с помощью доски, живое общение, чтение и т.п.). Ту же операцию мы можем проделать применительно к выставочной экспозиции: выделив составляющие ее холсты, мы можем предположить возможные жанры, и это позволит обнаружить коммуникативные взаимодействия, а также холсты и медиа, посредством которых эти взаимодействия осуществляются. При этом каждый из выделенных кусочков при необходимости можно сегментировать дальше. Анализ всегда предлагается начинать с более широкой ситуации, включающей в себя остальные [Bateman, Windfeuer, Hiippala, 2017, p. 221-225]. Это упражнение помогает увидеть ситуацию через «мультимодальные очки».
Однако подобное картографирование - не цель мультимодаль-ного анализа, а лишь его отправная точка. Далеко не всегда требуется дотошно выделять и анализировать все «кусочки», из которых складывается коммуникация: ведь любой семиотический артефакт - результат паутины развертывающихся контекстов, каждый из которых может играть значимую роль в производстве объекта нашего исследования. В конечном счете все зависит от исследовательского вопроса [Bateman, Windfeuer, Hiippala, 2017, p. 221-222]. Именно он побуждает нас фокусироваться на конкретных медиа и их холстах. Однако при этом важно понимать общую композицию.
Согласно рекомендации Бейтмана, Вильдфер и Хииппалы, начиная анализ коммуникативной ситуации, следует категоризиро-вать ее холсты и медиа (если есть встроенные субхолсты, их нужно характеризовать тем же способом). Для этой операции они предлагают алгоритм, опирающийся на серию вопросов.
1. Имеет ли холст пространственное измерение (форма, расстояние, связанность и т.п.), которым можно манипулировать, создавая знаки? Если нет, то единственное доступное измерение -темпоральное, и наш холст однозначно является динамическим.
2. Если пространственное измерение есть, то является ли холст динамическим или статическим?
3. Используется ли холст в рамках рассматриваемого медиума по свободному усмотрению или по заданному дизайну, т.е. есть ли сценарий?
4. Поддерживает ли холст интерактивное взаимодействие?
В зависимости от ответов мы получаем набор возможных комбинаций для квалификации холстов: темпоральные холсты могут включать или не включать сценарий, пространственные холсты могут быть статическими или динамическими, при этом динамические холсты могут предполагать использование по свободному усмотрению или по сценарию, а также быть интерактивными [Bateman, Windfeuer, Hiippala, 2017, p. 226-229]. Это определяет аф-фордансы холстов и досягаемость семиотических модусов, задействованных теми или иными медиумами.
Вопрос о том, какие материалы окажутся релевантными для анализа, и как эти материалы собрать, зависит от цели анализа и исследовательского вопроса. Разумеется, мы можем двигаться индуктивно, разбираясь с тем, как устроена определенная область мультимодальных коммуникаций. В таком случае исследовательские вопросы могут появиться позже. Но если мы уже понимаем, что именно хотим узнать, то стоит заняться сбором данных и определиться с аналитическим каркасом исследования. Учитывая, что мультимедийная коммуникация имеет множество разных характеристик, на этом этапе есть риск потерять контроль. Чтобы этого избежать, Бейтман, Вильдфер и Хииппала советуют определиться с тем, какие медиа используются и какие коммуникативные действия с ними предпринимаются (здесь полезным будет знание о жанрах). Выделение медиа поможет определиться с потенциально применимыми аналитическими конструкциями: здесь можно ориентироваться на исследовательские традиции, релевантные для соответствующих жанров [ibid., P. 229-230]. Чтобы дать представление о том, как это может быть реализовано на практике, в третьей части введения в мультимодальность анализируется опыт изучения кейсов, соответствующих типам коммуникативных ситуаций, кате-горизированным выше.
Хотя теоретизируя мультимодальность, Бейтман, Вильдфер и Хииппала сознательно ставят во главу угла феноменологическое описание, мультимодальный анализ, как и другие исследования,
нуждается в фокусе, который обычно задается исследовательскими вопросами. О них следует помнить, описывая результаты исследования. В противном случае есть опасность угодить в ловушку, подменяя анализ коммуникации ее описанием или техническим отчетом о процессе анализа [Bateman, Windfeuer, Hiippala, 2017, p. 231-232].
Заключение
Краткий экскурс в анализ мультимодальных коммуникаций, представленный в настоящем эссе, помогает лучше понять феномен мультимедийных выставок, но не предлагает готовой методологии для их анализа. Очевидно, что описательный анализ многочисленных коммуникативных площадок выставки с подробным картографированием медиа и их холстов - задача чрезвычайно объемная, но, скорее, техническая. Ее необходимо решать на этапе сбора данных, но сама по себе она не исчерпывает то, что важно узнать. Исследователей символической политики и политических коммуникаций скорее будет интересовать, что транслируют медиа, кто и каким образом этот контент создавал и как он воспринимается. Это разные исследовательские вопросы, методологические решения для которых еще предстоит разрабатывать. При разработке таких решений полезно углубляться в исследования мультимодаль-ности: представленный в настоящем эссе обзор проблемно-ориентированного введения Бейтмана, Вильдфер и Хииппалы не далеко исчерпывает наработки, сделанные в рамках предлагаемого ими подхода, не говоря уже о том, что этот подход - не единственный. Вместе с тем сами исследовательские вопросы должны вырастать из предметных полей, связанных с политическим анализом: ведь политологов мультимодальные выставки интересуют прежде всего как инструмент символической политики, который власть считает эффективным. Таким образом, задача заключается не в том, чтобы переключиться на технический анализ коммуникативных ресурсов таких выставок, а в том, чтобы научиться использовать возможности такого анализа для объяснения их эффектов для легитимации власти, продвижения одобряемых ею интерпретаций социальной реальности, а также неизбежной конкуренции, связанной с производством таких интерпретаций.
O.Yu. Malinova* Multimedia exhibitions as an object of political analysis: the challenge of multimodality
Abstract. The methodological essay argues for the need to rely on the literature on multimodality research in studies of multimedia exhibitions. The rise of the role of such projects in Russia is demonstrated by the cases of the historical parks "Russia - My History", and of the exhibition-forum "Russia" on the territory of VDNH, that is also planned to be transformed into a long-term project. Modern technologies create ample opportunities for broadcasting the necessary information content and at the same time make the consumption of such content an exciting form of entertainment. However, facilitating use of such exhibitions as a tool of symbolic politics, i.e. the ability to broadcast multiple streams of information through channels that involve different modes of sensory perception, it hampers their study by the traditional methods focusing on specific characteristics of either linguistic or visual content.
Searching for relevant methodological solutions, the author addresses the litera-ture on multimodality. The essay seeks to apply the system of concepts and principles proposed by J. Bateman, J. Wildfeuer and T. Hiippala in their problem-oriented intro-duction to multimodality to the cases of regional exposition of the exhibition "Russia". It presents the ontological analysis and systematization of the communicative resources used in these expositions. According to the author's argument, it is hardly correct to assess the ideological impact of the exhibition within the framework of a model that considers communicants as passive recipients of messages, because the most part of the employed communicative resources provide customers with active participative roles, although in the boundaries established by designed scripts.
Keywords: multimodality; methodology; symbolic polotics; multimodal analysis; multimedia exhibition; historical park "Russia - My History"; exhibition-forum "Russia".
For citation: Malinova O.Yu. Multimedia exhibitions as an object of political analysis: the challenge of multimodality. Political science (RU). 2024, N 4, P. 17-44. DOI: http://www.doi.org/10.31249/poln/2024.04.01
References
Bat378-2166., Wildfeuer J. A multimodal discourse theory of visual narrative. Journal of Bateman J., WilOfeuer J., Hiippala T. Multimodality:founda0ions, research and analysis. A problem-oriented introduction. Berlin: Mouton de Gruyter, 2017, 4f5 p.
* Malinova Olga, HSE University (Moscow, Russia); INION (Moscow, Russia), e-mail: omalinova@hse.ru
Colleyshaw J. The Romanovs revisited: the reimagining of the romanovs within "Russia my history" history Parks. Laboratorium: Russian review of social research. 2021, Vol. 13, N 3, P. 158-174. DOI: https://doi.org/10.25285/2078-1938-2021-13-3-158-174 Fomin I.V., Ilyin M.V. Social semiotics: paths towards integrating social and semiotic knowledge. Sotsiologicheskiy zhurnal = Sociological journal. 2019, Vol. 25, N 4, P. 123-141. DOI: https://doi.org/10.19181/socjour.2019.25.4.6822 (In Russ.) Gavrilova M.V. Social semiotics: theoretical foundations and principles of analysis of
multimodal texts. Political science (RU). 2016, N 3, P. 101-117. (In Russ.) Ilyin M.V., Fomin I.B. Social semiotics: study of discourses and practices of social interaction. Discourse-P (RU). 2018, N 3-4 (32-33), P. 15-24. DOI: https://doi.org/10.17506/dipi.2018.32.3.1524 (In Russ.) Kazmina P. Reconstruction of the historical park «Russia - My History»: changes of symbolic politics? Political science (RU). 2020, N 2, P. 143-162. DOI: http://www.doi.org/10.31249/poln/2020.02.07 (In Russ.) Klimenko E.V. Building the nation, legitimizing the state: Russia - My history and memory of the Russian revolutions in contemporary Russia. Nationalities papers. 2020, Vol. 49, N 1, P. 72-88. DOI: https://doi.org/10.1017/nps.2019.105 Klimenko E.V. Politically Useful tragedies: the soviet atrocities in the historical park(s) "Russia - My History". Problems of post-communism. 2023, Vol. 70, N 5, P. 544556. DOI: https://doi.org/10.1080/10758216.2021.1974884 Kress G. Social semiotic and the challenge of multimodality. Political science (RU).
2016, N 3, P. 77-100. (In Russ.) Kress G., van Leeuwen T. Reading images: the grammar of visual design. Third edition. Milton Park etc.: Routledge, 2021, xviii, 291 p. Laruelle M. Commemorating 1917 in Russia: ambivalent state history policy and the Church's conquest of the history market. Europe-Asia studies. 2019, Vol. 71, N 2, P. 249-267. DOI: https://doi.org/10.1080/09668136.2018.1552922 Makhotina E. Refractions of memory: the Second World War in the memorial culture of Soviet and post-Soviet Lithuania. Saint Petersburg: Publishing house of the European University in St. Petersburg, 2020, 256 p. (In Russ.) Malinova O. The official historical narrative as a part of identity policy of the Russian state: from the 1990s to the 2000s. Polis. Political studies. 2016, N 6, P. 139-158. DOI: https://doi.org/10.17976/jpps/2016.06.10 (In Russ.) Valdman I.A., Krasilnikova E.I., Naumov S.S. Historical Park "Russia - My History": regional content versus ideology and meanings of the main exposition of a multimedia project. Prepodavatel'XXIvek. 2019, N 3, part 2, P. 219-238. (In Russ.) Zavadsky A., Sklez V., Suverina K. (eds). The politics of affect: museum as a site of public history. Moscow: Novoe literaturnoe obozrenie, 2019, 400 p. (In Russ.)
Литература на русском языке
Вальдман И.А., Красильникова Е.И., Наумов С.С. Исторический парк «Россия -моя история»: региональный контент versus идеология и смыслы основной экс-
позиции мультимедийного проекта // Преподаватель XXI век. - 2019. - № 3, Ч. 2. - С. 219-238.
Гаврилова М.В. Социальная семиотика: Теоретические основания и принципы анализа мультимодальных текстов // Политическая наука. - 2016. - № 3. -С. 101-117.
Ильин М.В., Фомин И.В. Социальная семиотика: изучение дискурсов и практик социального взаимодействия // Дискурс-Пи. - 2018. - № 3-4 (32-33). - С. 1524. - Б01: http://www.doi.Org/10.17506/dipi.2018.32.3.1524
Казьмина В.П. Реконструкция исторического парка «Россия - моя история»: Смена вектора символической политики? // Политическая наука. - 2020. - № 2. -С. 143-162. - Б01: http://www.doi.org/10.31249/poln/2020.02.07
Кресс Г. Социальная семиотика и вызовы мультимодальности // Политическая наука. - 2016. - № 3. - С. 77-100.
Малинова О.Ю. Официальный исторический нарратив как элемент политики идентичности в России: от 1990-х к 2010-м годам // Полис. Политические исследования. -2016. - № 6. - С. 139-158. - Б01: https://doi.org/10.17976/jpps/2016.06.10
Махотина Е. Преломления памяти: Вторая мировая война в мемориальной культуре советской и постсоветской Литвы. - СПб.: Изд-во Европейского университета в Санкт-Петербурге, 2020. - 256 с.
Политика аффекта: Музей как пространство публичной истории / под ред. А. Завадского, В. Склез, К. Сувериной. - М.: Новое литературное обозрение, 2019. - 400 с.
Фомин И.В., Ильин М.В. Социальная семиотика: Траектории интеграции социологического и семиотического знания // Социологический журнал. - 2019. - Т. 25, № 4. - С. 123-141. - Б01: http://www.doi.org/10.19181/socjour.2019.25.4.6822