CC BY
555
ТЕОРИЯ ЖУРНАЛИСТИКИ И ВОПРОСЫ МЕТОДОВ МЕДИАИССЛЕДОВАНИИ
УДК 141, 316.6, 070
М. В. Загидуллина
Челябинский государственный университет, Челябинск
МУЛЬТИМОДАЛЬНОСТЬ: К ВОПРОСУ О ТЕРМИНОЛОГИЧЕСКОЙ
ОПРЕДЕЛЕННОСТИ
Исследование выполнено за счет гранта Российского научного фонда,
проект 18-18-00007
Статья посвящена теоретическим аспектам исследования современной коммуникации: исследуется, каким образом понятие «мультимодальность» реализуется в современном интернациональном научном дискурсе и какие перспективы открывает перед специалистами, изучающими комплексный феномен информационно-коммуникативного обмена. Основное внимание в статье уделено истории термина и его омонимических вариантов в различных дисциплинах, а также формированию понятия «мультимодальность» для обозначения феномена целостного акта коммуникации, состоящего из множества различных способов (модусов) передачи смысла. Рассмотрены подходы к анализу коммуникации методами мультимодального дискурс-анализа, указано на перспективы и ограничения такого подхода. С точки зрения автора, само понятие «мультимодальность» вступает в противоречие с понятием «мультимодальный дискурс-анализ», поскольку при разложении коммуникативного события на единицы утрачивается целостность, присущая феномену. Дальнейшее развитие мультимодального подхода связано с поиском центра коммуникативного эффекта (смысла), «упакованного» в виде системы взаимосвязанных модусов.
Ключевые слова: мультимодальность, модальности онтологические, теория коммуникации.
В российской коммуникативистике понятие «мультимодальность» относится к числу недостаточно проясненных терминов: в большинстве работ, где оно встречается, его значение выглядит синонимичным понятиям, выражающим множественность способов передачи сообщения (из которых самый распространенный вариант - «текст» + «изображение»). В лингвистике получил достаточное признание термин «креолизованный текст» в том же значении; из-за омонимии с лингвистическим понятием «креолизованного языка» этот термин был заменен на выражение «поликодовое сообщение». В настоящей статье мы остановимся исключительно на понятии «мультимодальность» с целью уточнения и прояснения этого термина.
Следует отметить, что в основе термина «мультимодальность» - философское значение слова «модальность» (явленность), не имеющее отношения к лингвистической категории «модальность» (отношение). Образованное от латинского понятия modus, что переводится как «вид», «способ», «мера», существительное «модальность» означает, согласно Большой советской энциклопедии, «способ существования какого-либо объекта или протекания какого-либо явления (онтологическая модальность)», и было введено в философские системы еще Аристотелем [1]. Аналогичные определения находим в англоязычной справочной литературе (A particular mode in which something exists or is experienced or expressed [12]). Особенность этого понятия -использование исчисляемого существительного (и в английском языке, и в русском - то есть в данном значении возможна форма множественного числа). Тогда возникаетвопрос - что происходит с понятием, когда к нему добавляется приставка «мульти», означающая множественность? Ведь, по логике, тогда само понятие «мультимодальность» соответствует понятию «модальности» (множественное число от «модальность»). Однако в слове «модальности» ощущается обозначение классифицирующей категории («много разных модальностей»). А понятие «мультимодальность» воспринимается иначе - как обозначение феномена соединенности многих модальностей в некой общей субстанции.
Говоря о терминологическом качестве понятия, отметим, что слово «мультимодальность» теряет свою исчисляемость и становится неисчисляемым, что создает перекличку с лингвистическим термином «модальность» и вносит определенную путаницу в словоупотребление. Это особенно существенно в силу того, что коммуникативистика развивалась как отрасль лингвистических учений, а следовательно, перекличка с лингвистической категорией «модальность» могла ощущаться как нежелательная. Однако - судя по работам в разных областях гуманитаристики -этот переход от «онтологических модальностей» к «мультимодальности» оправдывается задачей найти термин для общего феномена (а не отдельных его сторон). Тема соотнесения целого и части в понятии онтологических модальностей рассматривалась в российской философии (см. подробный обзор и заключение в диссертации А. А. Медовой [6]). Важно, что модальность рассматривается в этой работе (и иных трудах, на которые ссылается А. А. Медова) как способ существования, явленности предмета, одновременно реализующего в этой явленности свои различные модусы. Мы можем предположить, что понятие «мультимодальность» в своей плеоназмо-избыточности призвано преодолеть а) омонимию с лингвистической категорией, указывающей исключительно на оценочность высказывания; б) односторонность философского понятия «модальность» (в единственном числе, но с возможностью использования во множественном числе), означающего фактически то же самое, что латинское понятие modus. Так, в диссертации А. А. Медовой «модальность» застывает в единственном числе как обозначение комплексного феномена, а не его отдельных сторон. Стоит также обратить внимание на восходящие к «Курсу общей лингвистики» Ф. де Соссюра концепции маргинализации языка как одной из многих семиологических систем [8. C. 23]. Языковые (вербальные) единицы рассматриваются как часть сложного семиотического комплекса, в рамках которого смысловой центр может быть перемещен с собственно вербального компонента на другие (Р. Йедема называет этот процесс «ресемиотизацией» [17]). Таким образом, мультимодальность и означает семиотический комплекс, «работающий» как единое целое.
Что касается российской истории термина «мультимодальность», то следует обратиться к масштабному исследованию Института языкознания РАН под руководством А. А. Кибрика (начато в 2014 году). Изначально тема проекта была заявлена как продолжение идеи «мультимодальной лингвистики» А. А. Кибрика [3], суть которой была в защите тезиса о сочетании в коммуникации трех основных компонентов - просодии, собственно вербальности и жестов/мимики. Проект, поддержанный грантом Российского научного фонда, назывался «Язык как он есть: русский мультимодальный дискурс» и предполагал изучение особенностей коммуникации в целостном подходе к речевому действию [4]. Однако по ходу проекта автор предложил термин «мультиканальный дискурс», дав следующее пояснение: «В настоящее время более распространен термин "мультимодальный", однако корректнее говорить именно о "мультиканальном" или "бимодальном" дискурсе, так как пока в основном изучаются только две модальности -вокальная (слуховая) и кинетическая (зрительная), а остальные модальности, напр., обоняние или осязание, остаются за пределами рассмотрения» [2. C. 181-182]. Из этого пояснения следует, что исследователи понимают под «мультимодальностью» психическую реальность восприятия (еще точнее - органы чувств, которые «обрабатывают» разные каналы информации). Такое значение мы можем найти в словарях узкой психологической направленности. Однако это понимание отдаляет нас от базовой дефиниции «модальность» в составе термина «мультимодальность» -способ или вид существования предмета, его воплощенность. А. А. Медова в своем исследовании подчеркивает холистические принципы модальности (в философском значении); об этом же многократно говорит Л. Мондала, на труды которого ссылается А. А. Кибрик.
По мнению Лоренца Мондалы, мультимодальность как раз и осуществляется в целостности и симультанности работы разных модусов, и рассматривать их как «набор» невозможно - теряется суть их связи (поэтому и уместен термин «мультимодальность» - как целостный феномен, см. [26]). Но и модусы здесь отнюдь не равны органам чувств (как сделано в исследовании А. А. Кибрика). Мондала - как и многие другие исследователи, обращающиеся к мульти-модальному анализу - опирается на понятие «семиотического ресурса» или «семиотического источника», как его определил М. Халлидей [16] (см. также [15]). И здесь как раз философское содержание понятия «модальность» проступает достаточно отчетливо: «ресурсы» выступают в качестве аналога модусов, а термин «мультимодальность» означает их единство, нерасторжимость, холистичность.
История понятия «мультимодальность» в англоязычной коммуникативистике представлена в статье Е. Н. Ремчуковой и В. А. Омельяненко [7]. Авторы статьи обобщают различные подходы к мультимодальности, указывая на социосемиотический характер ее изучения. В этой же работе содержится обзор разных подходов к пониманию мультимодальности в современной (преимущественно англоязычной) коммуникативистике. Однако утверждение, что термин «мультимодальность» был введен в научный оборот в начале XXI века [7. С. 69], представляется недостаточно взвешенным. Обращение к терминоупотреблению помогает понять, как формировалось само его наполнение, как сформировался термин и в какой части своего значения закрепился в современной науке о коммуникации.
Не задаваясь целью точно установить, когда впервые появляется понятие multimodality, отметим, что термин возникает в нескольких отраслях знания: философии, медицине, транспортной логистике, психологии, языкознании. Каждая из этих областей формировала терминологический аппарат независимо друг от друга, поэтому нейтральное латинское слово "modus" оказалось приемлемым для возникновения терминологических омонимов. Само понятие «модальности» в философии повлияло на выбор этого термина в языкознании, куда оно перекочевало во втором значении («отношения» к действительности). Первое значение («способ существования») осталось сугубо философским понятием, встречающимся в трудах по феноменологии (см., например, употребление понятия «мультимодальность» в значении многостатусности объекта в трудах Э. Шуха, середина XX века [31]; ему же принадлежит мысль о мультимодальности ценности [31. P. 232]). В психологии за «модальностью» закрепилось понятие, синонимичное «сенсориальности» (каждый орган чувств как отдельная «модальность»). Мы находим употребление термина «мультимодальность» в значении «мультисенсорность» в работах Т. Гарфа (первая треть XX века) по психологии обучения [13], а также, например, в трудах А. Робака, где речь идет о «мультимодальности интеллигентности» [29], см. также: [11]).
Таким образом, само понятие «мультимодальность» бытует в гуманитаристике более ста лет; теснее всего оно связано с философской и психологической интерпретацией. Собственно лингвистический термин «модальность» никогда не был транслирован в коммуникативистику и остается омонимичным по отношению к психологическому (сенсорика) и философскому (способ существования или явленности) значениям слова modality/модальность.
Разработка понятия «мультимодальность» в коммуникативистике активизировалась в период экспансии интернет-коммуникаций и фасилитации обмена неязыковыми формами сообщений. В начале XXI века - с опорой на социолингвистику М. Халлидея (см. также раннюю концепцию «социальной ситуации» Ирвина Гофмана [14], а также обзор социолингвистической проблематики, предопределяющей подходы к мультимодальности [18]) - в центре внимания оказалась «невербальная коммуникация», а сам феномен мультимодальности при перемещении коммуникации в интернет-пространство и освоение новых онлайн-форм стал восприниматься в большей мере ближе к понятию «поликодовости» (при этом собственно под «кодом» в этом выражении понимается тип сообщения - изображение, аудиофайл, видео и т. п.; см. в этом значении недавнюю работу и обзор в ней [30]). Интересно, что статья В. А. Омельяненко и Е. Н. Ремчуковой, содержащая довольно подробную историю изучения феномена мульти-модальности в коммуникативистике, вместо вывода содержит утверждение, что для российской традиции принято рассматривать не мультимодальность, а именно поликодовость - поскольку российская наука придерживается мнения, что в общем ансамбле способов передачи значения именно языку (вербальности) принадлежит основополагающая роль [7. С. 73]. Это заключение вызывает вопросы и некоторые сомнения, поскольку авторы статьи избегают аргументации и оставляют это утверждение без опоры на какую-либо систему доказательств. Но для нашей статьи интерес представляет сама мысль, что «мультимодальность» и «поликодовость» противопоставлены на основе принципа вербальной центрированности / децентрированности в коммуникации.
Между тем первоначальное понимание мультимодальности в коммуникации как соединения, например, жеста, мимики, движения тела, слова, невербальных звуков, характерное для исследований 1970-х годов, породивших также и конверсационный анализ, стало замещаться анализом элементов сообщений, передаваемых через интернет-каналы (и тем самым активизировалось представление о мультимодальности как мультимедийности, если под «медиумом» понимать изображение, звук, текст; здесь особенно важны исследования Кресса
и ван Лиувена, акцентировавших внимание на построении «визуальной грамматики», когда текст заменяется изображением, а страница книги - экраном, см. [22], [21], более поздняя работа [19]). Так у понятия «мультимодальность», сутью которого, как неоднократно отмечал, например, Л. Мондала, выступает «холистичность», симультанность и неразрывность формирования значения с помощью всего комплекса модусов (способов) его передачи, возникло значение «мультиканальности» или «мультимедийности» применительно к дисплейной культуре передачи информации.
Отдельно следует сказать о прикладных аспектах разработки понятия «мультимодальность». Это, прежде всего, мультимодальный дискурс-анализ: соединение процедур дискурс-анализа с включением в зону внимания неязыковых элементов сообщения (см. [20]). Если в исследовании научного коллектива под руководством А. А. Кибрика в центре внимания именно конверсационный анализ (ситуация «живого» общения как объект наблюдения), то для авторов техник мультимодального дискурс-анализа важна именно перенасыщенная невербальными элементами дисплейная реальность. И тот, и другой способы анализа «языка как он есть» (название проекта А. А. Кибрика) основаны на маргинализации собственно языкового (вербального) элемента в коммуникации (как наиболее изученного) и переключении исследовательского внимания на невербальные стороны коммуникации. Так, А. А. Кибрик предлагает сложную систему записи дискурса (жестов, мимики и т. п.) для последующего анализа коммуникативных комплексов, возникающих во время беседы, во многом опираясь на разработанные в западных лабораториях коммуникативистики методы. Кэй О'Халлоран дает подробное описание Multimodal discourse-analysis [28], где в центре внимания - положение камеры, жесты, мимика, текст [27]. И в том, и в другом случае мы обнаруживаем сходство самого подхода: попытку раздробить «единство» на составляющие части для выявления их особенностей и способов взаимодействия. Представить себе такой разбор больших массивов информации довольно сложно (поэтому в исследованиях фигурируют небольшие фрагменты, ограниченные по времени записи, см. [9], [10]). Чтобы преодолеть ограниченность трудоемкого метода, исследователи обратились к автоматизации этой работы и к различным программам, обеспечивающим автоматическую метаразметку текстового, видео-, аудиоматериала. Корпусный мультимодальный дискурс-анализ представляет собой отдельную ветвь исследований в этой области; его задача - высвободить время исследователей на интерпретацию полученных данных, а также обрабатывать мультимодальные массивы.
Следует отметить, что мультимодальный дискурс-анализ и его разновидности (например, критический мультимодальный дискурс-анализ, см. [23], [25]) направлены на интерпретацию коммуникативных практик в аспекте выявления смыслов, ускользающих при анализе отдельных аспектов коммуникации (например, выраженной только в форме записи вербального обмена). Важно, что оба направления мультимодальных изысканий (как в области интерперсональной коммуникации, где изучается семиотика жестов, взглядов, мимики, движения и т. п., так и в области изучения современных сообщений, представляющих собой единство изобразительного, текстового, звукового, графического и т. п.) разрабатывают методы, способы, техники, воплощающие лингвистический подход к реальности (в рамках «чтения образов», вскрытия метафор, пронизывающих повседневность, попыток выявлять особенности модальностей, составляющих контекст коммуникации и наполняющих социальные интеракции). В этом смысле исследования в области мультимодальности можно рассматривать как родственные, например, акторно-сетевой теории Бруно Латура [5], где каждый актор сети собственно является деятелем в том случае, если он хоть как-то меняет состояние цепи. Для Латура важно было показать, что язык (в его вербально-алфавитно-фонетическом виде) не может быть ни выразителем всего многообразия смыслов, формирующих сети повседневности, ни матрицей познания: мир требует «перезагрузки», осуществленной испытателем, который создает непредвзятое «насыщенное описание» того, что открывается его взору. В этом описании роль технических объектов, архитектуры, материалов, используемых в производстве необходимых предметов, форма жилища или цвет одежды могут оказаться куда более значимыми, чем слова. Фактически мультимодальный анализ стремится к тому же результату - обнаружить «ядро» коммуникации, движение от смысла к смыслу, которые продуцируются не только и не столько словами. Поэтому лингвисты, обратившиеся к мультимодальному анализу, открывают возможность интерпретировать с помощью мультимодального анализа, например, монументы Второй мировой войны [24].
Ключевая черта мультимодальности - симультанность воздействия, фактически закрывающая возможность расчленения дискурса, требующая во многом интерпретационного подхода (который часто критикуется за его высокую субъективность). Стремление сделать мультимодальный дискурс-анализ строго соответствующим принципам лингвистического анализа (с выделением соответствующих единиц и рассмотрения закономерностей их функционирования) выглядит задачей исполнимой, но чрезвычайно трудоемкой. В свое время Фердинанд де Соссюр посчитал эту задачу (применительно даже хотя бы к обычной речи) невозможной, поскольку речь слишком «кровно» врастает как в физиологию участников разговора, их физическую уникальность, так и в неповторимость социального контекста [8. C. 22-24]. В настоящее время та часть мультимодальных изысканий, что посвящена «запечатленному» коммуницированию (например, видео), мало отличается от первой, связанной с изучением «языка как он есть»: перед нами попытки построения матриц, накладываемых на бесконечное множество сочетаний различных действий, каждое из которых имеет свою семантику, чаще всего прочно укорененную в культурных паттернах.
В заключение статьи отметим, что в условиях перехода практик, опробованных в области искусства (художественных фильмов, изобразительного искусства, литературы, музыки и т. п.), в сферу повседневной коммуникации (в виде креативных форм пользовательского обмена) мультимодальный анализ ведет к выявлению закономерностей эстетизации повседневности - как в области коммуникации, так и в организации пространственно-временных констант, культурных моделей, предопределяющих «консервацию смыслов», их «упаковку» в материальных, доступных «отложенному» восприятию формах (или модусах, симультанное соприсутствие которых и обеспечивает феномен мультимодальности).
Список литературы
1. Гастев, Ю. А. Модальность [Текст] / Ю. А. Гастев // Большая советская энциклопедия: в 30 т. / под ред. А. М. Прохорова; изд. 3-е. - Т. 16. - М.: Сов. энциклопедия, 1974. - С. 390.
2. Кибрик, А. А. К вопросу о структуре мультиканального дискурса [Текст] / А. А. Кибрик, О. В. Федорова // Образы языка и зигзаги дискурса: сборник научных статей к 70-летию В. З. Демьянкова / В. В. Фещенко (ред.). - М.: Культурная революция, 2018. - С. 180-191.
3. Кибрик, А. А. Мультимодальная лингвистика [Текст] / А. А. Кибрик // Когнитивные исследования: сборник научных трудов. - М.: Ин-т психологии РАН, 2010. - С. 135-152.
4. Кибрик, А. А. Язык как он есть: русский мультимодальный дискурс: карточка проекта [Электронный ресурс] / А. А. Кибрик. - URL: http://rscf.ru/prjcard_int?14-18-03819 (дата посещения 08.01.2019).
5. Латур, Б. Пересборка социального: введение в акторно-сетевую теорию [Текст] / Б. Латур; пер. с англ. И. Полонской; под ред. С. Гавриленко; Нац. исслед. ун-т «Высшая школа экономики». - М.: Изд. дом Высшей школы экономики, 2014. - 384 с.
6. Медова, А. А. Онтология модальности: диссертация ... д-ра философских наук: 09.00.01 [Текст] / А. А. Медова. - Омск: Омский государственный педагогический университет, 2016. -303 с.
7. Омельяненко, В. А. Поликодовые тексты в аспекте теории мультимодальности [Текст] /
B. А. Омельяненко, Е. Н. Ремчукова // Коммуникативные исследования. - 2018. -N 3 (17). -
C. 66-78. - doi: 10.25513/2413-6182.2018.3.66-78.
8. Соссюр, Ф. де. Курс общей лингвистики [Текст] / Ф. де Соссюр; редакция Ш. Балли и А. Сеше; пер. с франц. А. Сухотина; под общ. ред. М. Э. Рут. - Екатеринбург: Изд-во Урал. унта, 1999. 432 с.
9. Bateman, J. A. Using Multimodal Corpora for Empirical Research [Text] / J. Bateman // The Routledge Handbook of Multimodal Analysis / C. Jewitt (ed.). - London: Routledge, 2014. - Pp. 238252. - doi: https://doi.org/10.1080/17405904.2013.813770.
10. Bateman, J. Multimodality. Foundations, Research and Analysis: A Problem-Oriented Introduction [Text] / J. Bateman, J. Wilfeuer, T. Hippala. - London: De Gruyter Mouton, 2017. - 424 p.
11. DePaulo, B. M. The structure of nonverbal decoding skills [Text] / B. M. DePaulo, R. Rosenthal // Journal of Personality. - 1979. - N 47 (3). - Pp. 506-517.
12. English Oxford Living Dictionary [Electronic resource]. - URL: https://en.oxforddictionaries. com/definition/modality (дата обращения 08.01.2019).
13. Garth, T. R. Work curves [Text] / T. R. Garth // Journal of Educational Psychology. - 1919. - N 10 (5-6). Pp. 277-283. - doi: http://dx.doi.org/10.1037/h0071759.
14. Goffman, E. The neglected situation [Text] / E. Goffman. - American anthropologist. - 1964. -N 66 (6_PART2). - Pp. 133-136.
15. Halliday, M. A. K. Introduction to Functional Grammar [Text] / M. A. K. Halliday. - London: Edward Arnold, 1985.
16. Halliday, M. A. K. Language as Social Semiotic: The Social Interpretation of Language and Meaning [Text] / M. A. K. Halliday. - London: Edward Arnold, 1978. - 256 p.
17. Iedema, R. (2003). Multimodality, resemioticization: Extending the analysis of discourse as a multisemiotic practice [Text] / R. Iedema // Visual Communication. - 2003. - N 2 (1). - Pp. 29-57.
18. Johnstone, B. Language theory in contemporary sociolinguistics: Beyond Dell Hymes? [Text] / B. Johnstone // Sociolinguistics: Theoretical Debates / N. Coupland (ed.). - Cambridge: Cambridge University Press, 2016. - Pp. 417-432. - doi:10.1017/CB09781107449787.020.
19. Kress, G. Multimodality. A Social Semiotic Approach to Contemporary Communication [Text] / G. Kress. - London: Routledge, 2010. - 232 p.
20. Kress, G. R. Multimodal Discourse: The modes and media of contemporary communication [Text] / G. Kress, T. van Leeuwen. - London: Edward Arnold, 2001. - 152 p.
21. Kress, G. Reading images: Multimodality, representation and new media // Information Design Journal. - Jan 2004. - Volume 12, Issue 2. - Pp. 110-119. - doi: https://doi.org/10.1075/idjdd.12.2.03kre.
22. Kress, G. Reading images: The grammar of visual design [Text] / G. Kress, T. van Leeuwen. -London: Routledge, 1996. - 312 p.
23. Machin, D. How to Do Critical Discourse Analysis: A Multimodal Introduction [Text] / D. Machin, A. Mayr. - London: SAGE Publications, 2012. - 240 p.
24. Machin, D. Introduction to Multimodal Analysis [Text] / D. Machin. - London: Hodder Arnold, 2007. - 224 p.
25. Machin, D. What is multimodal critical discourse studies? [Text] / D. Machin // Critical Discourse Studies. - 2013. - N 10 (4). - Pp. 347-355. - doi: 10.1080/17405904.2013.813770.
26. Mondada, L. Challenges of multimodality: Language and the body in social interaction [Text] / L. Mondala // Journal of sociolinguistics. - 2016. - N 20 (3). - Pp. 336-366. - doi: 10.1111/josl.1_12177.
27. O'Halloran, K. L. Introduction [Text] / K. L. O'Halloran // Multimodal Discourse Analysis: systemic functional perspectives / K. L. O'Halloran (ed.). - London: Continuum, 2004. - Pp. 1-7.
28. O'Halloran, K. L. Multimodal Discourse Analysis [Text] / K. L. O'Halloran // Companion to Discourse / K. Hyland and B. Paltridge (eds.). - London and New York: Bloomsbury Publishing, 2011.
- Pp. 120-137.
29. Roback, A. A. Intelligence and Intellect [Electronic resource] / A. A. Roback // The Journal of Philosophy. - Jun. 8, 1922. - Vol. 19, No. 12. - Pp. 325-330. - URL: https://www.jstor.org/stable/2939874 (дата обращения 08.01.2019).
30. Sakr, M. Multimodal participation frameworks during young children's collaborative drawing on paper and on the iPad [Text] / M. Sakr // Thinking Skills and Creativity. - 2018. - N 29. - Pp. 1-11.
- doi: 10.1016/j.tsc.2018.05.004.
31. Schuh, E. Comparative, Relative, and Normal Value [Text] / E. Schuh // Philosophy and Phenomenological Research. - Dec. 1955. - Vol. 16, No. 2. - Pp. 229-236.
MULTIMODALITY: TO THE QUESTION OF TERMINOLOGICAL DEFINITION
Zagidullina M.V., Chelyabinsk State University, Chelyabinsk, mzagidullina@gmail.com
Supported by the Russian Science Foundation, project 18-18-00007
The article is devoted to theoretical aspects of modern communication: it explores how the concept of "multimodality" is realized in the modern international scientific discourse and what perspectives open-
up to specialists studying the complex phenomenon of information. The aim of the article is to describe the history of the term and its homonymous variants in various disciplines, as well as the formation of the concept of "multimodality" meaning the phenomenon of the holistic act of communication, consisting of many different ways (modes) of meaning transfer. The approaches to the analyses of communication by the methods of multimodal discourse analysis are considered, the prospects and limitations of these approaches are indicated. From the author's point of view, the concept of "multimodality" conflicts with the concept of "multimodal discourse analysis", because the decomposition of a communicative event into units leads to the reduction of the holistic status of the communication phenomenon. A further development of the multimodal approach is associated with the search for the centre ofthe communicative effect (meaning), "packaged" in the form of a system of interconnected modes.
Keywords: multimodality, ontological modalities, communication theory.
References
1. Gastev, YU. A. (1974) Modal'nost' [=Modality], in: Bol'shaya sovetskaya entsiklopediya [=The Great Soviet Encyclopedy], 30 vol., ed. A. M. Prokhorov; 3d edition, vol. 16, Moscow, p. 390. (In Russ.).
2. Kibrik, A. A., Fedorova O. V. (2018) "K voprosu o strukture mul'tikanal'nogo diskursa" [=On the question of the structure of multi-channel discourse], in: Obrazy yazyka i zigzagi diskursa: sbornik nauchnykh statey k 70-letiyu V. Z. Dem'yankova, red. V. V. Feshchenko [=Images of the language and zigzags of the discourse: a collection of scientific articles on the 70th anniversary of V. Z. Dem'yankov; V. V. Feschenko (ed.)], Moscow, pp. 180-191. (In Russ.).
3. Kibrik, A. A. (2010) "Mul'timodal'naya lingvistika" [=Multimodal linguistics], in: Kognitivnyye issledovaniya: sbornik nauchnykh trudov [=Cognitive studies: a collection of scientific papers], Moscow, pp. 135-152. (In Russ.).
4. Kibrik, A. A. YAzyk kak on yest': russkiy mul'timodal'nyj diskurs: kartochka proyekta [=Language as it is: Russian multimodal discourse: project card], available at: http://rscf.ru/prjcard_ int?14-18-03819, accessed 08.01.2019. (In Russ.).
5. Latour, B. (2014) Peresborkasotsial'nogo: vvedeniye v aktorno-setevuyu teoriyu [=Reassembling the social: An Introduction to Actor-Network-Theory], Moscow, 384 p. (In Russ.).
6. Medova, A. A. (2016) Ontologiya modal'nosti [=Modality Ontology]: PhD thesis, Omsk, 303p. (In Russ.).
7. Omel'yanenko, V. A., Remchukova, Ye. N. (2018) "Polikodovyye teksty v aspekte teorii mul'timodal'nosti" [=Polycode texts in the aspect of the theory of multimodality], in: Kommunikativnyye issledovaniya [=Communicative research], 3 (17), pp. 66-78, doi: 10.25513/2413-6182.2018.3.66-78. (In Russ.).
8. Saussure, F. de. (1999) Kurs obshcheilingvistiki [=General Linguistics Course], Yekaterinburg, 432 p. (In Russ.).
9. Bateman, J. A. (2014) Using Multimodal Corpora for Empirical Research, in: Jewitt, Carey (ed.): The Routledge Handbook of Multimodal Analysis. London, pp. 238-252, https://doi.org/10.1080/ 17405904.2013.813770.
10. Bateman, J., Wilfeuer, J. and Hippala, T. (2017) Multimodality. Foundations, Research and Analysis: A Problem-Oriented Introduction, London, 424 p.
11. DePaulo, B. M., Rosenthal, R. (1979) The structure of nonverbal decoding skills, in: Journal of Personality, 47 (3), pp. 506-517.
12. English Oxford Living Dictionary, available at: https://en.oxforddictionaries.com/definition/ modality, accessed 08.01.2019.
13. Garth, T. R. (1919) Work curves, in: Journal of Educational Psychology, 10 (5-6), pp. 277-283, http://dx.doi.org/10.1037/h0071759.
14. Goffman, E. (1964) The neglected situation, in: American anthropologist, 66 (6_PART2), pp.133-136.
15. Halliday, M. A. K. (1985) Introduction to Functional Grammar, London.
16. Halliday, M. A. K. (1978) Language as Social Semiotic: The Social Interpretation of Language and Meaning, London, 256 p.
17. Iedema, R. (2003) Multimodality, resemioticization: Extending the analysis of discourse as a multisemiotic practice, in: Visual Communication, 2 (1), pp. 29-57.
18. Johnstone, B. (2016) Language theory in contemporary sociolinguistics: Beyond Dell Hymes?, in: N. Coupland (ed.), Sociolinguistics: Theoretical Debates, Cambridge: Cambridge University Press, pp. 417-432, doi:10.1017/CB09781107449787.020.
19. Kress G. (2010) Multimodality. A Social Semiotic Approach to Contemporary Communication. London: Routledge, 232 p.
20. Kress, G. R., van Leeuwen, T. (2001) Multimodal Discourse: The modes and media of contemporary communication. London: Edward Arnold, 152 p.
21. Kress, G. (2004) Reading images: Multimodality, representation and new media, in: Information Design Journal, Vol. 12, Issue 2, pp. 110-119, doi: https://doi.org/10.1075/idjdd.12.2.03kre.
22. Kress, G., Van Leeuwen, T. (1996) Reading images: The grammar of visual design. London: Routledge, 312 p.
23. Machin, D., Mayr, A. (2012) How to Do Critical Discourse Analysis: A Multimodal Introduction, London: SAGE Publications, 240 p.
24. Machin, D. (2007) Introduction to Multimodal Analysis, London: Hodder Arnold, 224 p.
25. Machin, D. (2013) What is multimodal critical discourse studies?, in: Critical Discourse Studies, 10 (4), pp. 347-355, doi: 10.1080/17405904.2013.813770.
26. Mondada, L. (2016) Challenges of multimodality: Language and the body in social interaction, in: Journal of sociolinguistics, 20 (3), pp. 336-366, dois 10.1111/josl.1_12177.
27. O'Halloran, K. L. (2004) Introduction, in: K. L. O'Halloran (ed.) Multimodal Discourse Analysis: systemic functional perspectives. London: Continuum, pp. 1-7.
28. O'Halloran, K. L. (2011) Multimodal Discourse Analysis, in: K. Hyland and B. Paltridge (eds.) Companion to Discourse. London and New York, pp. 120-137.
29. Roback, A. A. (1922) Intelligence and Intellect, The Journal of Philosophy, Vol. 19, No. 12, pp. 325-330, available at: https://www.jstor.org/stable/2939874, accessed 08.01.2019.
30. Sakr, M. (2018) Multimodal participation frameworks during young children's collaborative drawing on paper and on the iPad, in: Thinking Skills and Creativity, 29, pp. 1-11, doi: 10.1016/j. tsc.2018.05.004.
31. Schuh, E. (1955) Comparative, Relative, and Normal Value, in: PhilosophyandPhenomenological Research, Vol. 16, No. 2, pp. 229-236, available at: http://www.jstor.org/stable/2103776, accessed 08.01.2019.
Загидуллина Марина Викторовна - профессор кафедры журналистики и массовых коммуникаций, доктор филологических наук, профессор, Челябинский государственный университет.
mzagidullina@gmail.com
