CC BY
41УДК 070 (81'42)
DOI: 10.18413/2408-932X-2023-9-1-0-7
Загидуллина М. В.
Современное состояние мультимодального анализа: к вопросу о перспективах метода_
Челябинский государственный университет, ул. Братьев Кашириных, д. 129, г. Челябинск,
454001, Россия; [email protected]
Аннотация. Статья посвящена исследованию современного состояния метода мультимодального анализа в российском исследовательском пространстве. Автор пользуется методом системного обзора научной литературы (systematic literature review), порядок применения которого предполагает точную постановку вопросов, на которые должен дать ответ такой обзор, и соблюдение процедуры выборки, делающей полученные в ходе анализа результаты достоверными. Соответственно, в работе поставлено четыре исследовательских вопроса, ответы на которые организуют полное представление о состоянии метода: 1) определение мультимодального анализа; 2) сфера применения метода; 3) алгоритмы анализа; 4) значение метода в философии коммуникации. Для получения ответов на эти вопросы автором проведен поиск в eLIBRARY.RU за период с 2018 по 2022 год и составлена база в 16 статей, которые и стали основой обобщенных ответов на поставленные вопросы. Результат исследования: 1) авторы избегают давать четкое определение метода; 2) метод применяется к неограниченно широкому кругу медиафеноменов и фактов коммуникации; 3) четкий протокол применения метода отсутствует либо применяется фрагментарно; 4) основное значение метода видится в инструментализации анализа медиафеноменов как целостных и неделимых явлений. Автор приходит к выводу о необходимости ревизии процедур мультимодального анализа с целью повышения эффективности его применения и преодоления интерпретационной субъективности.
Ключевые слова: философия коммуникации; мультимодальность; системный обзор научной литературы; мультимодальный анализ
Для цитирования: Загидуллина М.В. Современное состояние мультимодального анализа: к вопросу о перспективах метода // Научный результат. Социальные и гуманитарные исследования. 2023. Т. 9. № 1. С. 84-99. DOI: 10.18413/2408-932X-2023-9-1 -0-7
Chelyabinsk State University, 129 Bratiev Kashirinykh St., Chelyabinsk, 454001, Russia;
Abstract. The article is devoted to the study of the current state of the multimodal analysis method in the Russian research field. The author refers to the systematic lit-
M. V. Zagidullina
The current state of multimodal analysis: on the question of the prospects of the method
erature review method (SLR), the procedure for which involves the precise formulation of the questions that such a review should answer, and the explanation of the sampling procedure, which makes the results reliable. Accordingly, the paper posed four research questions, the answers to which organize a complete SLR method: 1) the definition of multimodal analysis; 2) objects of the analysis; 3) analysis algorithms; 4) the meaning of the method in the philosophy of communication. To get answers to these questions, the author conducted a search in elibrary.ru for the period 2018-2022 and compiled a database of 16 articles, which became the basis for generalized answers to the questions. The result of the study: 1) the researchers avoid giving a clear definition of the method; 2) the method is applied to an unlimitedly wide range of media phenomena and facts of communication; 3) there is no clear protocol for applying the method or it is applied fragmentarily; 4) the main significance of the method is considered as the instrumentalization of the analysis of indivisible media phenomena. The author concludes that it is necessary to revise the procedures of multimodal analysis to increase the efficiency of its application and overcome interpretative subjectivity.
Keywords: philosophy of communication; multimodality; systematic literature review; SLR; multimodal analysis
For citation: Zagidullina M. V. (2023), "The current state of multimodal analysis: on the question of the prospects of the method", Research Result. Social Studies and Humanities, 9 (1), 84-99, DOI: 10.18413/2408-932X-2023-9-1-0-7
Введение
Вопросы мультимодального анализа (и его разновидностей, например, мультимодального дискурс-анализа, критического мультимодального дискурс-анализа) относятся к актуальной ветви современных Media Studies, а также представляют интерес в области философии коммуникации в целом. Это обусловлено как постоянно увеличивающейся «медиапресыщенностью» современного информационно-коммуникационного пространства и в целом мира повседневности (см. недавний обзор теории ме-диапресыщенности: (Kopecka-Piech, 2019)), так и возникновением новых и техническим совершенствованием прежних форм коммуникационного обмена, основанных на гибридизации семиотических ресурсов и поставке информации, «упакованной» в самые различные форматы. Исторически мультимодальный анализ формировался в русле «визуального поворота» в основном как ответ на фасилитацию обмена изображениями в различных каналах интернет-коммуникации (и, следовательно, фактиче-
ски полностью формировался как ответвление исследований сетевых форм взаимодействия пользователей). Зачастую «муль-тимодальность» понималась и толковалась как «текст + изображение», реже как совокупности других модусов или визуально-изобразительные аспекты самого текста (шрифт, организация текстовой информации и т. д.). Однако мультимодальный анализ также распространился и на межличностную коммуникацию во всем многообразии семиотических ресурсов, ее организующих: например, жестов, мимики, взглядов, действий, интонации и т. п. Как видим, эти два основных направления мультимодального анализа разнятся и по методам, и по эмпирическому материалу, и по целям. Однако для настоящего исследования было важно увидеть разные варианты применения самого понятия «мультимодальный анализ» в российских исследованиях. Целью статьи является анализ современного состояния мультимодального анализа в философской перспективе, то есть предполагается ответить на следующие исследовательские вопросы (ИВ1-4):
ИВ1. Какие определения мультимо-дальному анализу дают современные исследователи?
ИВ2. Каков репертуар применения мультимодального анализа?
ИВ3. Какие процедуры/алгоритмы предлагаются авторами работ?
ИВ4. Каковы интерпретационные границы полученных в ходе мультимодального анализа сведений с точки зрения философского подхода к коммуникации, направленного на выяснение ее онтологического и социетального статуса?
Первые три вопроса предполагают формализованные ответы (перечни конкретных фрагментов статей или описаний их содержания); четвертый исследовательский вопрос содержит формализованную и интерпретационную составляющие: с одной стороны, планируется обнаружить все варианты обобщений и извлечения смыслов из процедур мультимодального анализа, а с другой, дать качественную интерпретацию этих данных с целью установления дальнейших перспектив мультимодаль-ного анализа как инструмента постижения глубинных смыслов современной коммуникации - зеркала состояния и развития всего общества. При этом автор считает особенно значимым обнаружить перспективы развития метода, направленные на преодоление интерпретационной субъективности исследователя.
Теоретические и методологические основания исследования
В центре внимания в настоящей статье - современное состояние исследовательского поля в той его части, что связана с мультимодальным анализом. Таким образом, теоретическим и методологическим основанием исследования является SLR (systematic literature review <algorithm>), в свою очередь, тесно связанный с теориями многоступенчатости информационных потоков и общего уплотнения информационного пространства (см., например: (Щепи-лова, 2013)). Применительно к материалу настоящей статьи (научные публикации,
посвященные мультимодальному анализу), исследование относится к типу так называемой «вторичной библиографии», то есть обзору и концептуализации различных научных подходов к мультимодальному анализу, обнаруженных в современном исследовательском научном пространстве.
Сам способ SLR как процедура получения объективированных данных из больших объемов информации хорошо известен в науке с момента ее превращения в социальный институт и складывания стандартов академического письма, одним из которых являлось требование знакомства с трудами предшественников и подробное объяснение своего понимания этих источников. Этот элемент сохраняется и в требованиях к сегодняшним научным работам («степень разработанности научной темы», «состояние научных исследований данной тематики» и т. п. разделы квалификационных работ, включая кандидатские и докторские диссертации). Однако многоступенчатость и нарастающая плотность информационных потоков создают условия невыполнимости задач исчерпывающего знакомства с исследованиями по какой-либо теме (даже довольно узкой) в силу как увеличения общего числа публикаций, так и открытости исследователю публикаций ученых других стран (такая открытость сохраняется благодаря онлайн-инструментам и в настоящее санкционное время). В силу этих факторов исследователь оказывается перед необходимостью использования определенных инструментов сбора информации и ее концептуализации. Именно эти обстоятельства и привели к разработке различных «гайдов» по SLR в западной науке и педагогике высшей школы. Обобщение таких инструментов применительно к началу массового использования интернет-коммуникаций выполнено в работе Барбары Китченхэм (Kitchenham, 2004); далее SLR исследовался множеством авторов с целью внесения уточнений при переходе к большим данным (когда материал анализа включал тысячи статей, а концептуализация прово-
дилась на основе методов цифровой гума-нитаристики, включая автоматический и полуавтоматический анализ текстового массива (см., например: (Snyder, 2019)). В то же время сутью SLR все равно оставалась «ручная» работа с выбранными статьями, требующая упорядоченного чтения статей с целью найти ответ на поставленные исследовательские вопросы (см., например, в одной из наиболее быстро уплотняющихся областей исследования -маркетинге - статьи по теоретическим и практическим аспектам SLR: (Palmatier, Houston and Hulland, 2018; Paul and Criado, 2020; Williams, Clark, Clark and Raffo, 2021) и другие примеры современной процедуры SLR).
В результате был осуществлен следующий алгоритм работы, отвечающий требованиям SLR.
Проведен полуавтоматический поиск электронной базы российской научной литературы в соответствии с целями исследования; окончательная выборка составлена на основе ручной работы с подборкой.
Отобранные статьи изучены с целью поиска ответа на вопросы 1 -3 и формализованную часть вопроса 4.
Проведено обобщение полученных результатов с целью исчерпывающего ответа на вопрос 4.
Результаты исследования
В данном разделе результаты представлены в соответствии с выработанным алгоритмом.
1. Создание выборки статей для дальнейшего изучения. Выборка в рамках исследования, описанного в данной статье, проводилась по электронной библиотеке eLIBRARY.RU (без обращения к англоязычному исследовательскому полю). Решение сохранить разделение на «отечественный» и «зарубежный» исследовательский подход связано с различиями научных систем и наличием национальной специфики в российских гуманитарных исследованиях в целом. Выбор именно этой базы
данных обусловлен, во-первых, ее масштабностью (eLIBRARY.RU - крупнейшая институционализированная электронная библиотека российского исследовательского поля). Библиотека обладает удобными инструментами поиска и систематизации найденной информации. Имеются многоступенчатые фильтры: по годам, тематике, аффилиациям, авторам и другие; встроены системы автоматического анализа создаваемых подборок.
Для исследования были выбраны пять лет, предшествующих моменту исследования: 2018-2022 гг. Ограниченность пятью последними годами вызвана интенсификацией научных исследований, что, с одной стороны, ведет к быстрому устареванию информации (вытесняемой более новыми исследованиями), а с другой - отличается закрепленной включенностью ставших известными в научном сегменте исследований и мнений в научный оборот. Таким образом, статьи 2018-2022 гг. с высокой степенью вероятности опираются на круг известных источников ученых-предшественников и включают в себя более ранние наработки по данной тематике. Выборка проводилась через расширенный поиск по ключевым словам «мультимодальный анализ». При этом первоначально была выбрана опция поиска этого словосочетания в заглавии, ключевых словах и/или аннотации, с указанием места поиска «статьи в журналах», «книги» и «диссертации». В результате была получена выборка в 681 статью. Выборочная ручная проверка полученных данных показала, что в большей части статей мультимодальный анализ не поставлен в центр внимания, упоминается лишь вскользь. Поэтому поиск был сокращен до статей, где выражение «мультимодальный анализ» встречается в заглавии. Таким образом была получена выборка, включающая 26 результатов, из числа которых были исключены все англоязычные статьи, а также статьи с «омонимичным» использованием ключевого выражения (прежде всего, это области медицины и логистики, где имеется выражение «мультимодальный
анализ», не имеющее отношения к дискурсу; одна статья из тематического поля программирования). Окончательный состав выборки включал 16 русскоязычных статей, опубликованных с 2018 по 2022 год.
2. Данные вносились в таблицу в виде краткого пересказа и цитирования фрагментов статей в ячейки таблицы, соответствующие исследовательским вопросам (табл. 1).
Таблица 1 Сводный анализ выборки Table 1
No Источник/ Sorce ИВ 1. Определение муль- тимодального анализа (МА) / Question 1. Definition of multimodal analysis ИВ 2. Репертуар / Quest. 2. Repertoire ИВ 3. Алгоритм / Question 3. Algorithm ИВ 4. Философский уровень обобщения / Question 4. Philosophical level of generalization
1. Корот- ков, 2022 выявление функций и роли различных элементов и их влияния на интерпретацию <видеоигры> видеоигры 1) разбивка событий видеоигры на кадры; 2) помещение кадра в таблицу и аннотирование (текст, визуальное, аудиальное и кинетическое). Количество кадров -на усмотрение исследователя (зависит от плотности событийного ряда) мультимодальный дискурс-анализ позволяет рассмотреть все смысловые элементы текста отдельно и при этом оценить вклад каждого из них в общее значение
2. Ильина, 2022 нет (косвенно: общая отсылка к трудам А.А. Кибрика) жесты переводчиков программа ELAN: разметка видеоролика, аннотирование микрокомпозиции мультимо-дального контекста, которое позволяет наглядно продемонстрировать явление синхронии и выделить факторы, влияющие на успешность коммуникации нет
3. Трушина, 2022 нет (косвенно: важно не только вербальный компонент анализировать) перевод эвфемизмов без протокола; учитывать социокультурный контекст нет
4. Дубровская, 2022 нет (косвенно: специфика мультимодальности по Е.А. Кожемякину: семиотическая гетерогенность, симультативная многока-нальность трансляции сообщения, коммуникативная комбинаторность) анализ цветных туристических буклетов выбор базовой единицы (элемента) анализа; свободная интерпретация элемента (в данной статье - цвет, фото, карта) неязыковые элементы могут выполнять базовые коммуникативные функции, например, быть дикту-мом жанра
5. Цзян, 2022 нет (косвенно: специфика мультимодальности по А.А. Кибрику: понятие рукопожатие политиков слои в программе ELAN: автоматическое нет
No Источник/ Sorce ИВ 1. Определение муль- тимодального анализа (МА) / Question 1. Definition of multimodal analysis ИВ 2. Репертуар / Quest. 2. Repertoire ИВ 3. Алгоритм / Question 3. Algorithm ИВ 4. Философский уровень обобщения / Question 4. Philosophical level of generalization
«(мульти)модальность» в узком смысле слова относится к различию между человеческими органами чувств, в первую очередь, различию между зрительными и слуховыми каналами. Однако в рамках каждого из этих каналов есть дальнейшие, более дробные различия, которые также охватываются понятием мультимодаль-ности) аннотирование жестов, действий, мимики
6. Чэнь, 2022 нет (косвенно: специфика мультимодальности по Г. Крессу, «модальность» как уровень) общение педагога с учениками без протокола; видеоролики со сценами общения с анализом (аннотацией) невербальной части; свободная интерпретация нет
7. Го, Ван, 2021 мультимодальный дискурс-анализ, по Г. Крессу, есть анализ модальностей, к которым, по Гу Юэго, относится звук, изображение, цвет, действие и проч., среди которых язык является только одной из форм. Системный анализ дискурса, в котором комплексно используются эти символические ресурсы, становится мультимодальным анализом дискурса пропагандист-ский мультфильм без протокола; выбрано три аспекта: аудиальный, визуальный, текстовый - и последовательно дана их свободная интерпретация воздействие на аудиторию усиливается при учете модальностей
8 Позднякова, 2021 нет (косвенно: отсылка к двум источникам: (Арте-мова, 2002; Эбзеева и др., 2018)). политическая карикатура 1) идентификация информационного повода, изображенных персоналий; 2) анализ иконического компонента (цвет, шрифт, графика, размещение надписей на плоскости и др.); 3) анализ вербального компонента; нет
No Источник/ Sorce ИВ 1. Определение муль- тимодального анализа (МА) / Question 1. Definition of multimodal analysis ИВ 2. Репертуар / Quest. 2. Repertoire ИВ 3. Алгоритм / Question 3. Algorithm ИВ 4. Философский уровень обобщения / Question 4. Philosophical level of generalization
4) сопоставление ико-нического и вербального компонентов; 5) анализ «скрытых ресурсов политической карикатуры» (интертекстуальность, преце-дентность)
9. Сушкова, 2021 нет (косвенно: с отсылкой к Г. Крессу - порядок описания контекста коммуникативной ситуации (каковы отношения между рассматриваемым и рассматривающим? как изображено рассматриваемое?); сосредоточенность на анализе комплекса имплицитного и эксплицитного) трейлеры выяснение ситуации (по Крессу) - ее описание - интерпретация важны связи между модусами
10. Савельева, 2020 нет (косвенно: текст, по Г. Крессу, рассматривается как материальное воплощение, характеризующееся целостностью, однако состоящее из разнородного знакового комплекса: жесты, речь, изображение (статичное или подвижное), письмо, музыка (на веб-сайте или в фильме)) уроки иностранного языка видеозапись урока - ее аннотирование (жесты и поведение педагога -реакции обучающихся) - анализ вместе с педагогами причин коммуникационных провалов и успехов в мультимодаль-ном анализе все модальности соединены как единое поле, единая сфера. В таком единстве их возможно изучать в качестве источника (воспроизводства (репрезентации) смыслов членами сообщества/культуры в конкретный момент времени
11. Кислицына, 2020 существует два основных направления мультимо-дального дискурс-анализа. Первое направление представлено исследованиями, выполняемыми в рамках социальной семиотики (Кресс, ван Ли-увен); второе направление - непосредственно англоязычные блоги психологической направленности автоматические и ручные способы разметки корпуса с назначением каждому изображению системы тегов текст важен, изображение - только его подпорка
Источник/ Sorce ИВ 1. Определение муль- ИВ 2. Репертуар / Quest. 2. Repertoire ИВ 4. Философский уровень
No тимодального анализа (МА) / Question 1. Definition of multimodal analysis ИВ 3. Алгоритм / Question 3. Algorithm обобщения / Question 4. Philosophical level of generalization
мультимодальный дис-
курс-анализ (Ventola,
2004).
12. Детинко, нет (косвенно: есть три новости с без протокола; свобод- важно единство
2020 вида МА, из которых автор выбирает социально-семиотический, по Крессу и Лиувену) изображением ная интерпретация с учетом социальной ди-станции/взаимодействия, без протокола всех модусов
13. Коно- нет (есть определение научные без протокола; указан нет
нова, «мультимодального доку- статьи перечень возможных
2020 мента»: любой текстовый документ, объединяющий в себе две или более семиотических систем для создания смысла) поля «информатизация науки» элементов
14. Плеша- нет (косвенно - определе- создание программное обеспече- нет
кова ние мультимодальности: мульти- ние ELAN (разметка-
(Вильсон), визуальный ряд и звуко- модаль- аннотирование видео-
2019 вой ряд для нас одинаково важны) ных корпусов ряда)
15. Краси- выявление и интерпрета- телевиде- без протокола; предла- методология дис-
кова, Ко- ция смыслообразующего ние гается детальное опи- курс-анализа
жемякин, действия различных (не сание ТВ-дискурса; в нацелена на обна-
2018 только вербальных) элементов текстов и их социального эффекта мультимодальном анализе сосредоточенность на плане, ракурсе, кадре (затем кадр меняется на взгляд), проводится параллель этих категорий с социальной дистанцией, отношением и взаимодействием ружение не только лексических и формальных составляющих конструирования ме-диареальности, но и социокультурных, интенцио-нальных и идеологических аспектов этого процесса
16. Пильгун, нет (косвенно - через про- без протокола; выде- нет
2018 определение мультимо-дальности: это социальный семиотический подход к современной коммуникации, поскольку в медиапространстве преобладают смешанные и ремиксные изображения, вербальные, невербальные формы взаимодействуют с 3D-объек- тестные посты ВК лено три модуса -лингвистический, визуальный и сетевой (действия в сети). По каждому из них заявлены большие данные (есть их визуализация). Протокола анализа нет, предлагается свободная интерпретация с приведением отдель-
No Источник/ Sorce ИВ 1. Определение муль- тимодального анализа (МА) / Question 1. Definition of multimodal analysis ИВ 2. Репертуар / Quest. 2. Repertoire ИВ 3. Алгоритм / Question 3. Algorithm ИВ 4. Философский уровень обобщения / Question 4. Philosophical level of generalization
тами и др. Мультимо-дальность позволяет выйти за пределы анализа языковых структур и рассмотреть новые разнообразные способы коммуникации и создания смыслов, по Г. Крессу). ных примеров, без статистики и объяснений, как получены результаты (например, три типа акторов, типы поведения и т. п.). Отсутствует пояснение значимости анализа визуальной составляющей или сведения воедино полученных данных по трем модусам
3. Обобщение полученных данных и свободная часть ответа на исследовательский вопрос 4 представлены в следующем разделе статьи.
Дискуссия
В этой части статьи предлагается интерпретация полученных результатов в соответствии с вопросами, поставленными в начале исследования.
ИВ 1. Какие определения мультимо-дальному анализу дают современные исследователи?
Для удобства указания на разных авторов будут даны в виде номеров соответствующих строк в таблице. Как показывает таблица (табл. 1), только в четырех статьях выборки встретилось определение мульти-модального анализа; в остальных случаях авторы ссылаются на авторитетные источники. В большинстве случаев косвенные определения (ссылки, прежде всего, на Гюнтера Кресса (6, 7, 9-12, 16), А.А. Кибрика (2, 5), других авторов (4, 7, 8, 11)) и включенные в текст статьи пояснения сути мультимодального анализа сводятся к констатации ряда элементов, составляющих феномены коммуникационного обмена и требующих равного внимания исследователя. Под множеством элементов
понимаются, в первую очередь, комбинации вербального и невербального, а последнее понимается при этом преимущественно как визуальное (изображение). Иногда определение метода заменяется определением самого феномена мультимодальности (например, с отсылкой к Е.А. Кожемякину: семиотическая гетерогенность, симульта-тивная многоканальность трансляции сообщения, коммуникативная комбинатор-ность: 4; см. другие варианты: 16). В двух случаях встретилось определение мульти-модального дискурс-анализа как способа установления социальной дистанции/отношения/взаимодействия (9, 15).
В целом можно заключить, что определение мультимодального анализа в современной российской гуманитаристике сведено к представлению о необходимости учитывать в анализе коммуникационных феноменов разные каналы, модусы, элементы и способы подачи (упаковки) информации, не полагаясь исключительно на текстовую/вербальную информацию (это касается анализа как сетевой, так и межперсональной коммуникации). В отдельных случаях делается попытка в определении установить цель муль-тимодального анализа: что именно необходимо раскрыть/установить при обращении к этим разным элементам, одновременного воздействующим на реципиента.
ИВ 2. Каков репертуар применения мультимодального анализа?
По полученным данным (табл. 1), круг объектов исследования не ограничен; в выборке почти нет повторяющихся элементов. Их можно подразделить на две основные группы: (1) анализ межперсональной коммуникации (по А.А. Кибрику - с особым вниманием к жестам, мимике, интонации и т. п.): жесты переводчиков, рукопожатие политиков, общение педагога с учениками, уроки иностранного языка и (2) анализ медиафеноменов: телевидения, видеоигр, переводов эвфемизмов, цветных туристических буклетов, пропагандистского мультфильма, политической карикатуры, трейлеров, англоязычных блогов психологической направленности, новостей с изображением, научных статей поля «информатизация науки», протестных постов ВК, создания мультимодальных корпусов.
Можно заключить, что мультимо-дальный анализ захватывает все новые исследовательские сферы (например, педагогику), одновременно два его основные «крыла» все более автономизируются (анализ экстралингвистических факторов межперсонального общения строится иначе, чем анализ медиафеноменов).
ИВ 3. Какие процедуры/алгоритмы предлагаются авторами работ?
Так как в настоящей статье исследуется метод, то особый интерес представляет протокол проведения исследований - то есть следование определенным алгоритмам, использование исследовательских техник, которые могут быть применены в иных ситуациях другими исследователями. Вопрос о методе в гуманитарных науках до сих пор остается достаточно проблемным: отечественное понятие «методологии» мало соотносится с западной традицией указывать «теорию», в рамках которой ведется исследование, а сами методы до сих пор даже в работах высокой квалификации (например, кандидатских диссертациях) описываются исследователями формально, без каких-либо «обязательств» при прове-
дении исследований. Такой подход неизбежно ослабляет работы, а также снижает конкурентоспособность российских исследований по сравнению с западной традицией, основанной на строгой процедурно-сти и определенности методов. В российской научной практике методами называются обычно общие подходы (аспекты) проблем (например: «историко-социологи-ческий», «лингвокультурный» и т. п.). Но когда мы говорим о мультимодальном анализе, то он рассматривается прежде всего именно как алгоритм действий, определенная процедура, позволяющая извлекать смыслы из анализируемого материала в соответствии с исследовательскими вопросами. Важнейшая задача любого метода -обеспечить исследованию достоверность, которая основывается в первую очередь на преодолении исследовательской субъективности, случайности заключений и выводов. Именно поэтому ИВ 3 особенно важен в нашем исследовании.
Полученные результаты отражены в таблице (табл. 1). В некоторых статьях предложены образцы мультимодального анализа, следующего определенному протоколу. Так, в исследованиях межперсональной коммуникации трижды упомянуты распознавание/разметка изображений с помощью программного обеспечения ELAN (2, 5, 14). Также авторы предлагают свои интерпретационные алгоритмы (1, 4, 8, 9). В некоторых случаях алгоритмы обосновываются и соотносятся с теоретическими подходами (8). В других случаях при анализе данных была сделана попытка извлечь возможные алгоритмы из приведенных примеров анализа. В результате выяснилось, что сами авторы, предлагая алгоритмы, придерживаются их лишь в общих чертах: либо анализ сводится к последовательному аннотированию выбранных элементов (их описанию - см. 4, 6, 7), либо авторы сосредоточены на каком-то отдельном элементе и предлагают его интерпретацию (например, 16). Ни в одной из статей не был представлен полноценный мультимодаль-
ный анализ, следующий какому-либо протоколу (поскольку авторы и не ставили такие цели); тем более показательно, что, возможно, такие статьи и не готовятся из-за трудоемкости и необходимости включения в публикацию обширных аннотаций и разметок.
Полученные данные позволяют обнаружить основные вызовы мультимодаль-ного подхода: программное обеспечение (российские авторы работают с программой ELAN, есть упоминания Sketch Engine) дает информацию, которая не может быть охвачена и обобщена в силу ее переизбыточности, отсутствия возможности учесть и охватить в анализе все представленные такими инструментами элементы, а главное -определенной «ненужности» этих данных для получения необходимых выводов. Именно поэтому большинство исследователей «оставляют» мультимодальному анализу только сам подход: внимание к элементам, которые обычно ускользали от интерпретации, а далее обнаруживают эти элементы и интерпретируют их, не придерживаясь никаких алгоритмов или порядка процедуры. В таблице такие способы применения мультимодального анализа обозначены выражением «свободная интерпретация»: исследователь характеризует выбранный элемент интуитивно, опираясь на метод свободных ассоциаций или культурный фон (см. например, 4). Встречаются и случаи внутреннего конфликта заявленного метода и его реализации. Так, в статье 16 обнаруживаем включение данных программной обработки больших массивов информации, но далее автор опирается на традиционный способ приведения отдельных примеров сетевой коммуникации в подтверждение своих выводов, оставив большие данные в стороне.
Обобщая полученные данные в части использования схем и алгоритмов анализа, можно отметить общую логику протокола мультимодального анализа, сложившегося в российских исследованиях:
1) выделение элементов (базовых единиц, аспектов и т. п.);
2) фиксирование элементов и их аннотирование;
3) извлечение смыслов.
При реализации этой общей схемы обнаружены следующие отступления от планируемого протокола действий:
1) отказ от учета всех элементов в силу неизбежной перегруженности, а главное, трудоемкости исследования; замена полного рассмотрения феномена во всех его аспектах отдельными наблюдениями над элементами, наиболее интересными исследователю (см. 4, 15);
2) отказ от протокола интерпретации - исследователь свободно рассуждает об изучаемом объекте, не связывая свою интерпретацию какими-либо ограничениями;
3) нередко: отказ от обобщающих выводов, «увязание» в интерпретациях отдельных элементов, отсутствие синтетической части исследования.
С этими наблюдениями перекликается и анализ данных, полученных в ответ на ИВ 4.
ИВ 4. Каковы интерпретационные границы полученных в ходе мультимодаль-ного анализа сведений с точки зрения философского подхода к коммуникации, направленного на выяснение ее онтологического и социетального статуса?
В этой части в таблице (табл. 1) собраны общие выводы, к которым авторы приходят на основе проведения мультимо-дального анализа (либо рассуждений о нем). Нас интересовал общефилософский аспект мультимодального анализа, поскольку изначально он был введен в научный оборот Гюнтером Крессом и Тео ван Лиувеном именно как инструмент философской деконструкции привычных дискурсов с целью обнаружения глубинных структур социальной системы, препятствующих ее развитию, гармонизации, усилению позиций демократии и т. п. (Kress and van Leeuwen, 1996).
Частотным становится вывод авторов, что отдельные модусы (коды, элементы)
обретают силу своего значения исключительно как часть общего ансамбля, представленного феноменом (1, 7, 10, 12). Также отмечены разные аспекты медиареально-сти, которые с помощью мультимодального анализа поддаются дешифровке и «расколдовыванию» (см., например, 15). Авторы исследования 11 указывают, что текстовая информация все равно доминирует в муль-тимодальных феноменах, а изображение лишь дополняет его. В работе 4 подчеркнуто, что мы можем рассматривать мульти-модальные (неязыковые) элементы как жанрообразующие признаки/факторы. В работе 9 отмечено, что итогом мультимо-дального анализа должна быть не интерпретация самих элементов, но обнаружение связей между ними как смысловых констант целого. В половине работ не предлагается обобщений, проясняющих философский функционал мультимодального анализа.
Таким образом, проблема формулирования значения метода мультимодального анализа как инструмента постижения ме-диареальности еще ждет своего решения. Нельзя не согласиться с мнением авторов статьи 15: «В то же время главной задачей сегодня является разработка такой методологической базы дискурс-аналитического исследования, которая позволила бы интерпретировать связь между ключевыми элементами дискурсивной практики телевидения (слово, звук и изображение) и социокультурными категориями, такими как социальная дистанция, властные отношения, социальное включение и исключение, социальная идентичность и т. д.» (Красикова, Кожемякин, 2018).
Эту идею можно распространить и на другие типы медиафеноменов, обобщив ее как основную задачу метода, его целепола-гание: мультимодальный анализ имеет смысл в том случае, когда с помощью его процедур исследователь выходит на уровень социокультурных значений, включая убедительную интерпретацию основных особенностей современной медиареально-сти.
Заключение
Проведенный анализ направлен на выяснение состояния мультимодального анализа в современном исследовательском поле с целью установления его значимости как способа получения философских обобщений о медиареальности и коммуникации. Как следует из материалов статьи, мультимодальный анализ в большей мере декларируется, то есть освоен, скорее, теоретически, нежели практически. В практическом применении метода возникают различные препятствия, связанные с трудоемкостью метода, неизменным отказом от полноценного анализа, обращением исследователей к отдельным аспектам этого инструментария для решения своих задач. В тех случаях, когда исследователи акцентируют такую задачу метода, как анализ социальных отношений-взаимодействий-дистанций, они неизбежно оказываются в методологическом пространстве символического ин-теракционизма, а собственно мультимо-дальный анализ тяготеет к обнаружению социально-семиотической нагрузки отдельных элементов изучаемого объекта. Однако стоит заметить, что именно такие примеры разборов приводили и Гюнтер Кресс, и Тео ван Лиувен (Kress and van Leeuwen, 1996).
По всей видимости, назревает необходимость не столько в новых программных продуктах и создании мультимодальных корпусов (хотя это тоже важно), сколько в «перезагрузке» самого метода. Важна мысль о том, что мультимодальный анализ не должен быть тотальным исследованием абсолютно всех модусов, собранных в ме-диафеномене. Так же, как отсеивание маргинального и сосредоточенность на важном обнаруживаются при айтрекинг-анализе, мультимодальный анализ, возможно, должен включать процедуру вычленения коммуникационного центра, работающего на производство смыслов активнее, чем периферия. Основная задача исследователей, заинтересованных в совершенствовании метода мультимодального анализа, во многом сводится к упрощению и значимостной пе-
реоценке протокола этого метода. Определенную перспективу такой «перезагрузки» открывает медиаэстетический подход, поскольку суть эстетического суждения (по И. Канту) - его дорациональность, мгновенность (с последующей когнитивной коррекцией). Очевидна сложность включения в процедуру метода элементов, не обладающих строгим рациональным содержанием, но, скорее всего, задача решается именно с помощью четкого протокола (как, например, сделано в ассоциативных экспериментах). Думается, что предложенная 25 лет назад схема медиаэстетического анализа Герберта Зеттла (Zettl, 1998) вполне согласуется с основным призывом Гюнтера Кресса помнить о единстве медиафеномена и симультанности его мультимодального воздействия на реципиента, но при этом обеспечивает четкий протокол исследования и способы преодоления исследовательской субъективности.
Также отметим ряд ограничений примененного в статье метода SLR: во-первых, мультимодальный анализ может проводиться авторами, не включающими его обозначение в заглавие (или даже в аннотацию и ключевые слова); во-вторых, отдельное рассмотрение именно российского исследовательского поля в отрыве от международной науки также может дать несколько предвзятую картину (из выборки были исключены англоязычные статьи российских авторов); в-третьих, объем выборки, возможно, требует расширения (например, охват более ранних периодов) и обнаружения определенной эволюции понимания и использования метода мультимодального анализа для получения более значимых выводов и обнаружения перспектив развития метода.
Литература
Го, Л., Ван, Ц. Анимационный фильм как средство политической коммуникации: мультимодальный анализ // Знак: проблемное поле медиаобразования. 2021. № 4 (42). С. 176-185. DOI: 10.47475/2070-0695-202110420.
Детинко, Ю.И. Мультимодальный текст как предмет анализа // Казанская наука. 2020. № 10. С. 113-116.
Дубровская, Т.В. Мультимодальный анализ в жанроведении: семиотика туристического буклета // Жанры речи. 2022. Т. 17. № 4 (36). С. 250-261. DOI: 10.18500/2311-0740-2022-17-4-36250-261.
Ильина, Е.В. Синхрония в устном последовательном переводе: опыт мультимо-дального анализа невербальной коммуникации // Вестник Томского государственного педагогического университета. 2022. № 1 (219). С. 123-131.
Кислицына, Н.Н., Чернявская, О.Г. Мультимодальный анализ дискурса в англоязычных блогах психологической тематики // Вопросы когнитивной лингвистики. 2020. № 2. С. 64-76. DOI: 10.20916/18123228-2020-2-64-76.
Кононова, О.В., Прокудин Д.Е. Применение технологий извлечения, экспликации и анализа мультимодального контекстного знания при исследовании терминологической базы междисциплинарного направления «Информатизация научной деятельности» // International Journal of Open Information Technologies. 2020. Т. 8. № 12. С. 133-145.
Коротков, Е.А. Применение мульти-модального дискурс-анализа при исследовании локализации видеоигр // Актуальные проблемы лингвистики: взгляд молодых исследователей: Сб. науч. статей. Вып. 7 / под ред. Г.Р. Власян, М.А. Самковой. Челябинск: Библиотека А. Миллера, 2022. С. 7478.
Красикова, Т.Р., Кожемякин, Е.А. Телевидение как объект мультимодального дискурс-анализа // Ученые записки Казанского университета. Серия: Гуманитарные науки. 2018. Т. 160. № 4. С. 894-907.
Пильгун, М.А. Психолингвистический анализ медиаконтента в мультимо-дальном аспекте: протестные коммуникации & большие данные // Вопросы психолингвистики. 2018. № 36. С. 99-117. DOI: 10.30982/2077-5911-36-2-99-117.
Плешакова (Вильсон), А. Мультимо-дальный анализ международных новостей: о Красной курочке // Международные отношения и общество. 2019. Т. 1. № 4. С. 9-13.
Позднякова, Е.М., Блинова, О.А. Пандемия Covid-19 в политических карикатурах американской прессы: опыт мультимо-дального анализа // Научный диалог. 2021. № 1. С. 48-62. DOI: 10.24224/2227-12952021-1-48-62.
Савельева, И.В. Глава 2. Исследование педагогической интеракции в вузе методом мультимодального анализа // Модели педагогической интеракции в процессе обучения иностранному языку в полиэтнической среде вуза: Колл. моногр. / науч. ред. И.В. Савельева. Кемерово: Кемеровский государственный университет, 2020. С. 32-63.
Сушкова, В.И. Особенности мульти-модального подхода к анализу поликодовых текстов // Современный дискурс-анализ. 2021. № 2 (28). С. 72-76.
Трушина, М.К. Мультимодальный дискурс-анализ как актуальный метод сопоставительных дискурсивных исследований // Глобальный научный потенциал. 2022. № 10 (139). С. 293-295.
Цзян, Ш., Чулкина, Н.Л. Мультимо-дальный анализ этикета рукопожатия при приветственной церемонии государственного визита на основе программы ELAN // Litera. 2022. № 11. С. 95-104. DOI: 10.25136/2409-8698.2022.11.39252.
Чэнь, С. Мультимодальный анализ педагогического дискурса в Китае: новый подход для профессиональной подготовки педагога // Педагогическое образование. 2022. Т. 3. № 12. С. 141-144.
Щепилова, Г.Г. Теория многоступенчатого потока информации: новое прочтение // МедиаАльманах. 2013. № 5. С. 8-13.
Kitchenham, B. Procedures for performing systematic reviews. Keele, UK: Keele University, 2004. 26 p.
Kopecka-Piech, K. Mediatization of Physical Activity: Media Saturation and Technologies. New York, London: Rowman & Lit-tlefield, 2019. 226 p.
Kress, G., van Leeuwen, T. Reading Images: The Grammar of Visual Design. London: Routledge, 1996. 312 p.
Palmatier, R.W., Houston, M.B., Hul-land, J. Review articles: Purpose, process, and structure // Journal of the Academy of Marketing of Science. 2018. No. 46. Pp. 1-5. DOI: https://doi.org/10.1007/s11747-017-0563-4.
Paul, J., Criado, A. R. The art of writing literature review: What do we know and what do we need to know? // International Business Review. 2020. Vol. 29. P. 101717.
Snyder, H. Literature review as a research methodology: An overview and guidelines // Journal of Business Research. 2019. No. 104. Pp. 333-339.
Williams, R.I., Clark, L.A., Clark, W.R., Raffo, D.M. Re-examining systematic literature review in management research: Additional benefits and execution protocols // European Management Journal. 2021. No. 39 (4). Pp. 521-533.
Zettl, H. Contextual Media Aesthetics as the Basis for Media Literacy // Journal of Communication. 1998. Vol. 48. Iss. 1. Pp. 81-95.
References
Chen, X. (2022), "Multimodal Analysis of Pedagogical Discourse in China: A New Approach for Teacher Training", Pedagogical Education, 3 (12), 141-144 (in Russ.).
Detinko, Yu. I. (2020), "Multimodal text as a subject of analysis", Kazan Science, 10, 113-116 (in Russ.).
Dubrovskaya, T. V. (2022), "Multimodal analysis in genre studies: semiotics of the tourist booklet", Speech Genres, 17 (4), 250-261, DOI: 10.18500/2311-0740-2022-17-4-36-250-261 (in Russ.).
Guo, L. and Wang, C. (2021), "Animated film as a means of political communication: multimodal analysis", Znak: problemnoye pole me-diaobrazovanija, 4, 176-185,
DOI: 10.47475/2070-0695-2021-10420 (in Russ.).
Ilina, E. V. (2022), "Synchrony in consecutive interpretation: practice in multimodal analysis of non-verbal communication", Tomsk State Pedagogical University Bulletin. Humanities (Philology), 1, 123-131 (in Russ.).
Jiang, Sh. and Chulkina, N. L. (2022), "Multimodal analysis of handshake etiquette during a state visit welcome ceremony based on the ELAN program", Litera, 11, 95-104, DOI: 10.25136/2409-8698.2022.11.39252 (in Russ).
Kislitsyna, N. N. and Chernyavskaya, O. G. (2020), "Multimodal analysis of discourse in English-language blogs of psychological topics", Issues of Cognitive Linguistics, 2, 64-76, DOI: 10.20916/1812-3228-2020-2-64-76 (in Russ).
Kitchenham, B. (2004), Procedures for performing systematic reviews, Keele University, Keele, UK.
Kononova, O. V. and Prokudin, D. Ye. (2020), "Application of technologies for extraction, explication and analysis of multimodal contextual knowledge in the study of the terminology base of the interdisciplinary direction 'Informatization of scientific activity'", International Journal of Open Information Technologies, 8 (12), 133-145 (in Russ.).
Kopecka-Piech, K. (2019), Mediatization of Physical Activity: Media Saturation and Technologies, Rowman & Littlefield, New York, USA; London, UK.
Korotkov, Ye. A. (2022), "The use of multimodal discourse analysis in the study of video game localization", Aktual'nyye problemy lingvis-tiki: vzglyad molodykh issledovateley: Sbornik nauchnykh statey. Vyp. 7 [Actual problems of linguistics: the view of young researchers: A collection of scientific articles. Iss. 7], in Vlasyan, G. R., Samkova, M. A. (eds.), Biblioteka A. Millera, Chelyabinsk, Russia, 74-78 (in Russ.).
Krasikova, T. R. and Kozhemyakin, Ye. A. (2018), "Television as an object of multimodal discourse analysis", Uchenyye Zapiski Kazanskogo Universiteta. Seriya: Gumanitarnyye Nauki, 160 (4), 894-907 (in Russ.).
Kress, G. and van Leeuwen, T. (1996), Reading Images: The Grammar of Visual Design, Routledge, London.
Palmatier, R. W., Houston, M. B. and Hul-land, J. (2018), "Review articles: Purpose, process, and structure", Journal of the Academy of Marketing of Science, 46, 1-5.
Paul, J. and Criado, A. R. (2020), "The art of writing literature review: What do we know and what do we need to know?", International Business Review, 29, 101717.
Pilgun, M. A. (2018), "Psycholinguistic analysis of media content in the multimodal aspect: protest communications & big data", Journal of Psycholinguistics, 36, 99-117,
DOI: 10.30982/2077-5911-36-2-99-117 (in Russ.).
Pleshakova (Wilson), A. (2019), "Multimodal analysis of international news: about the Red Hen", International Relations and Society, 1 (4), 9-13 (in Russ.).
Pozdnyakova, E. M. and Blinova, O. A. (2021), "The Covid-19 pandemic in the political cartoons of the American press: the experience of multimodal analysis", Nauchnyi dialog, 1, 48-62, DOI: 10.24224/2227-1295-2021-1-48-62 (in Russ).
Savelyeva, I. V. (2020), "Chapter 2. The study of pedagogical interaction at the university by the method of multimodal analysis", Modeli pedagogicheskoy interaktsii v protsesse obucheniya inostrannomu yazyku v polietnich-eskoy srede vuza [Models of pedagogical interaction in the process of teaching a foreign language in a multiethnic environment of a university], in Savelyeva, I. V. (ed.), Publishing House of Kemerovo State University, Kemerovo, Russia, 32-63 (in Russ).
Schepilova, G. G. (2013), "The theory of multi-stage information flow: a new approach", MediaAlmanah [Media Almanac], 5, 8-13 (in Russ).
Snyder, H. (2019), "Literature review as a research methodology: An overview and guidelines", Journal of Business Research, 104, 333-339.
Sushkova, V. I. (2021), "Peculiarities of the multimodal approach to the analysis of polycode text", Sovremenny diskurs-analiz [Modern discourse analysis], 2 (28), 72-76 (in Russ.).
Trushina, M. K. (2022), "Multimodal discourse analysis as an actual method of comparative discursive research", Global Scientific Potential, 10, 293-295 (in Russ.).
Williams, R. I., Clark, L. A., Clark, W. R. and Raffo, D. M. (2021), "Re-examining systematic literature review in management research: Additional benefits and execution protocols", European Management Journal, 39 (4), 521-533.
Zettl, H. (1998), "Contextual Media Aesthetics as the Basis for Media Literacy", Journal of Communication, 48 (1), 81-95.
Информация о конфликте интересов: автор не имеет конфликта интересов для деклараций.
Conflict of Interests: the author has no conflict of interests to declare.
ОБ АВТОРЕ:
Загидуллина Марина Викторовна, доктор филологических наук, профессор, профессор кафедры теории медиа факультета журналистики, Челябинский государственный
университет, ул. Братьев Кашириных, д. 129, г. Челябинск, 454001, Россия;
mvzagidullina@yandex. ru
ABOUT THE AUTHOR:
Marina V. Zagidullina, Doctor of Philology, Professor, Department of Theory of Media, Faculty of Journalism, Chelyabinsk State University, 129 Bratiev Kashirinykh St., Chelyabinsk, 454001, Russia; [email protected]
