CC BY
20
https://doi.orq/10.30853/filnauki.2019.5.44
Гребенев Александр Николаевич, Шаюк Антонина Юрьевна
КОМПЕНСАТОРНЫЙ ЭФФЕКТ ПРАГМАТИЧЕСКОЙ ЮСТИРОВКИ В ИНТЕРПРЕТАЦИИ МУЛЬТИМОДАЛЬНЫХ ТЕКСТОВ ГАРИ ЛАРСОНА
В статье рассматривается специфика взаимодействия вербальных и визуальных модулей как составных компонентов единого мультимодального высказывания. В качестве материала в работе используются мультимодальные тексты карикатуриста Гари Ларсона, исследование которых ранее велось исключительно в контексте юмористического дискурса. Результаты анализа показали наличие нетипичных случаев возникновения в ходе прагматической юстировки компенсаторных эффектов, объяснение которых составляет цель исследования. С учетом полученных результатов в статье представлена модифицированная модель прагматической интерпретации, учитывающая специфику мультимодальной интеграции вербальных и визуальных модулей. Адрес статьи: www.aramota.net/materials/2/2019/5/44.html
Источник
Филологические науки. Вопросы теории и практики
Тамбов: Грамота, 2019. Том 12. Выпуск 5. C. 206-213. ISSN 1997-2911.
Адрес журнала: www.gramota.net/editions/2.html
Содержание данного номера журнала: www.gramota.net/materials/2/2019/5/
© Издательство "Грамота"
Информация о возможности публикации статей в журнале размещена на Интернет сайте издательства: www.aramota.net Вопросы, связанные с публикациями научных материалов, редакция просит направлять на адрес: [email protected]
MEANS OF CONVEYING EXPRESSIVE GRAPHIC-SYNTACTIC COMPONENT IN MEDICAL ADVERTISING TRANSLATION
Bredikhin Sergei Nikolaevich, Doctor in Philology, Associate Professor North Caucasus Federal University, Stavropol bredichinsergey@yandex. ru
Pisklova Marina Vital'evna
I. M. Sechenov First Moscow State Medical University of the Ministry of Healthcare of the Russian Federation
marinapisklova@mail. ru
The article studies the principles of constructing a primarily emotive slogan text in advertising. The main means of realizing expressive and emotive components in the German linguoculture at syntactic and graphemic levels are characterized. The authors analyse translation peculiarities of both expressive-emotional and allusive aspects of reaching the perlocution effect, specify the most efficient ways to preserve it in the target text. Scientific novelty of the study is in specifying the basic principles of conveying graphic derivates and other tools to express psycho-emotional illocution message of advertising text.
Key words and phrases: translation; emotional breadth; expressiveness; sense components' translation; medical discourse; primarily emotive information.
УДК 811.111 Дата поступления рукописи: 28.02.2019
https://doi.org/10.30853/filnauki.2019.5.44
В статье рассматривается специфика взаимодействия вербальных и визуальных модулей как составных компонентов единого мультимодального высказывания. В качестве материала в работе используются мультимо-дальные тексты карикатуриста Гари Ларсона, исследование которых ранее велось исключительно в контексте юмористического дискурса. Результаты анализа показали наличие нетипичных случаев возникновения в ходе прагматической юстировки компенсаторных эффектов, объяснение которых составляет цель исследования. С учетом полученных результатов в статье представлена модифицированная модель прагматической интерпретации, учитывающая специфику мультимодальной интеграции вербальных и визуальных модулей.
Ключевые слова и фразы: теория релевантности; мультимодальный анализ; специальные концепты; эмер-джентные атрибуты; прагматическая юстировка; компенсаторный эффект.
Гребенев Александр Николаевич, к. филол. н. Шаюк Антонина Юрьевна, к. филол. н.
Ленинградский государственный университет имени А. С. Пушкина, г. Пушкин [email protected]; [email protected]
КОМПЕНСАТОРНЫЙ ЭФФЕКТ ПРАГМАТИЧЕСКОЙ ЮСТИРОВКИ В ИНТЕРПРЕТАЦИИ МУЛЬТИМОДАЛЬНЫХ ТЕКСТОВ ГАРИ ЛАРСОНА
Актуальность работы определяется малоизученностью прагматических аспектов интерпретации муль-тимодальных текстов с позиции теории релевантности. Научная новизна исследования состоит в использовании модифицированной модели прагматической интерпретации, позволившей авторам описать феномен компенсаторного эффекта прагматической юстировки, ранее не встречавшегося в лингвистической литературе. Практическая польза исследования заключается в том, что предложенная авторами модифицированная модель прагматической интерпретации позволяет более детально анализировать прагмасемантические механизмы взаимодействия вербальных и визуальных модулей, что позволит достичь больших эвристических результатов в аналитической работе с другими мультимодальными текстами.
Целью данной статьи является теоретическое обоснование причин возникновения того, что мы называем компенсаторным эффектом прагматической юстировки, выявляемого в ходе прагматической интерпретации определенного класса мультимодальных текстов. Атипичность данного класса определяется тем, что компоненты концептуального содержания визуального и вербального модулей намеренно организованы автором таким образом, что нарушают типичную структуру риторико-дискурсивных отношений (комментарий, иллюстрация, расширение, дополнение и т.д.) между ними, меняя направления мультимодальной интеграции, необходимой для целостного восприятия сообщения. С нашей точки зрения, компенсаторный эффект является прямым следствием руководящей роли принципа релевантности, который обеспечивает пропорциональность когнитивных эффектов затрачиваемым на их получение когнитивным усилиям.
Достижение поставленной цели обусловливает решение следующих задач: 1) кратко изложить основные положения теории релевантности; 2) описать основные формы прагматической юстировки, а также модели
построения специальных концептов на примере анализа практического материала; 3) определить основные этапы реализации модели прагматической интерпретации по отношению к мультимодальным текстам; 4) выявить специфику взаимодействия вербальных и визуальных модулей в ходе прагматической интерпретации с использованием прагматико-коммуникативного метода и метода анализа мультимодального дискурса.
В теории релевантности общая процедура понимания состоит из двух этапов:
а) при вычислении когнитивных эффектов следуйте путем, требующим наименьшего приложения когнитивных усилий: проверьте интерпретативные гипотезы (устранение двусмысленности, уточнение референции, логическое обогащение экспликатурами/импликатурами) в порядке их доступности;
б) остановитесь, когда интерпретация будет соответствовать текущим требованиям релевантности [19].
К примеру, под одной из графических панелей карикатуриста Гари Ларсона содержится следующая подпись:
"Before paper and scissors" [17, р. 588]. / До появления бумаги и ножниц (здесь и далее перевод авторов
статьи. - А. Г., А. Ш).
В отсутствие визуального контекста, согласно первому этапу процедуры релевантного понимания, оптимальная интерпретация читателем данной подписи может иметь следующий вид:
[In times] before [the invention of] paper and scissors. / [Во времена] до [изобретения] бумаги и ножниц.
В этом случае привлекаемые к логическому достраиванию высказывания экспликатуры (in times, the invention of) также способствуют устранению двусмысленности и уточнению референции лексических единиц 'paper', 'scissors', которые на данном этапе интерпретируются в качестве метонимических субститутов технических изобретений, повлиявших на ход человеческой истории. На основании выстраивания первичных интерпретативных гипотез в порядке их доступности читатель вправе ожидать появления в визуальной репрезентации графически оформленных элементов, соответствующих его первичной когнитивной схеме, например древних представителей людей, использующих менее эффективные и затратные способы решения практических задач в отсутствие бумаги и ножниц. Однако актуальная визуальная репрезентация изображает древних предков человека, проводящих время за игрой 'камень, ножницы, бумага' с использованием всего одного жеста 'камень'. Гротескное упрощение правил ведет к абсурдности изображаемой ситуации: игра, в которой не может быть проигравших, теряет всякий смысл. Содержание визуального модуля в совокупности с намеренным нарушением интерпретируемых гипотез, порождаемых текстуальным компонентом, в конечном итоге создает требуемый в карикатурном дискурсе комический эффект.
Как и во многих других прагматико-теоретических моделях, в теории релевантности особое место уделяется контексту, поскольку ни одно остенсивное высказывание, репрезентированное одной (текст) или несколькими модальностями (изображение, жесты, звуки, осязание и др.), никогда не находится в коммуникативном вакууме. Более того, возникновение тех или иных интерпретативных гипотез напрямую зависит от ассоциативной «нагруженности», которая неотъемлемо присутствует и извлекается для оперативной обработки при понимании как визуального, так и текстуального модуля.
Например, при интерпретации графической панели Гари Ларсона, сопровождаемой подписью "Alien Family dinners" [Ibidem, р. 619]. / Семья чужих за обедом, большое влияние имеет знание интерпретатором сюжета и основных персонажей культового научно-фантастического фильма ужасов "Alien" («Чужой», 1979 г., режиссер Ридли Скотт), образы которых использовались карикатуристом в визуальном модуле.
Обратным примером, когда текстуальный модуль используется в качестве доминантного для привлечения дополнительных и необходимых контекстуальных ассоциаций, может служить панель, изображающая стадо антилоп, одна из которых нарисована с нарочитым искажением формы тела, геометрические очертания которого приближены к прямоугольнику, а не цилиндру. Текстуальный модуль панели содержит неологизм "Spamalope" [Ibidem, р. 387], отсылающий к известному бренду консервированного мяса "SPAM", который наносится на банки характерной прямоугольной формы, тем самым создавая комплекс фоновых знаний, необходимый для правильного понимания содержания карикатуры.
Необходимо также учитывать, что мультимодальные тексты Гари Ларсона, принадлежащие к жанру карикатур, изначально предназначены для публикации в качестве дополнительного блока журнальной или газетной статьи, являясь своеобразным комментарием к актуально описываемому событию или происшествию, в отрыве от которого большая часть сообщения, задуманного автором, может теряться. Так, в визуальном модуле одной из панелей, содержащем подпись "Business Lunch" [Ibidem, р. 628], мы можем видеть сцену приготовления бутерброда с сардинами. На картине изображены две руки, одна из которых держит банку с сардинами, а другая при помощи столового ножа извлекает одну из сардин, чтобы положить на ломтик тостового хлеба, лежащего рядом. Особенность изображаемой сцены состоит в том, что вместо требуемых (в контексте текстуального модуля) сардин нарисованы люди в характерных деловых черно-белых костюмах в очках и с портфелями в руках. Нам не удалось установить точное место изначальной публикации, однако нетрудно предположить, что данный мультимодальный текст, сопровождая, допустим, статью, освещающую детали переговоров руководителей крупных корпораций о необходимости оптимизации издержек и грядущих в этой связи сокращений, может нести больший интерпретативный потенциал, нежели простой образец черного юмора. Сочетание контекста конкретного события и гротескного содержания мультимодального текста за счет возникающей концептуальной метафоры "BUSINESSMEN ARE FOOD" (БИЗНЕСМЕНЫ - ЭТО ЕДА) может являться мотивацией к возникновению множества интерпретативных гипотез с отрицательной коннотацией, например о циничности мира больших денег или о неоправданно пренебрежительном, с моральной точки зрения, отношении руководителей к судьбам своих подчиненных.
Возможность рассмотрения компонентов, принадлежащих разным модальностям, в рамках единого высказывания объясняется тем, что согласно теоретической модели теории релевантности текст, изображение или любое другое средство остенсивной коммуникации неспособны до конца кодировать всю полноту мыслей, которую намеревается передать говорящий. Являясь модусами репрезентации входных данных, они выступают в качестве подсказок, на основании которых адресат выстраивает собственные субъективные предположения о целях текущего сообщения. Гарантией понимания в этом случае выступает так называемый принцип релевантности, определяемый двумя тезисами:
- когнитивный принцип релевантности: человеческое познание стремится к максимизации релевантности;
- коммуникативный принцип релевантности: каждое остенсивное высказывание передает презумпцию своей собственной оптимальной релевантности.
Оптимальная релевантность
Высказывание является оптимально релевантным если:
a. Оно является релевантным достаточно для того, чтобы считаться ценным при затрате когнитивных усилий на его обработку.
b. Оно является наиболее релевантным исходя из предпочтений и способностей говорящего [19].
В отличие от когнитивной лингвистики, базирующейся на гипотезе воплощенного сознания [13-15], теория релевантности отталкивается от идеи модульности восприятия Джерри Фодора, согласно которой узкоспециализированные модули сознания ответственны за обработку только определенного модуса репрезентации входных данных и их последующий перевод в единую амодальную форму, т.е. так называемый «язык мысли» [8; 9]. Исходя из этого, теория релевантности рассматривает две модели передачи информации или фазы интерпретации - «кодовую и выводную (инференционную)» [22, р. 149].
Первая модель, которая находится в прямой зависимости от работы языкового модуля сознания, предполагает перевод языкового стимула в деконтекстуализированную, но грамматически и логически выверенную форму, согласно процедуре прагматико-релевантного понимания, описанного ранее. Получаемая на выходе языковая структура является более приближенной, но «не исчерпывающей версией того, что намеревался передать говорящий» [Ibidem, р. 150]. Данное положение можно проиллюстрировать на примере сопоставления актуальной карикатурной подписи, выступающей в качестве начального языкового стимула, и его прагматически обогащенного варианта:
a. "I like it" [17, р. 54]. / Мне нравится.
b. "I definitely like the way you painted those wooden clamps". / Мне определенно нравится, как ты раскрасил деревянные зажимы.
a. "Hannibal's first attempt" [Ibidem, р. 517]. / Первая попытка Ганнибала.
b. "Carthaginian commander Hannibal's first attempt to lead his army across the Alps". / Первая попытка карфагенского полководца Ганнибала переправить свою армию через Альпы.
a. "This is the place, all right... and it looks like it's been stuck on 'Don't walk' for some time" [Ibidem, р. 36]. / Да, это то самое место... и, похоже, здесь уже некоторое время пробка у знака «Переход запрещен».
b. "This is the place, all right... and it looks like it's been stuck on 'Don't walk' sign for too long". / Да, это то самое место... и, похоже, здесь уже долгое время пробка у знака «Переход запрещен».
Как можно видеть, данная модель имеет существенные ограничения: во-первых, каждое отдельное высказывание, выступающее в качестве языкового стимула, может являться основанием для создания практически неограниченного числа допустимых вариантов прагматической трансформации; во-вторых, даже обогащенный вариант не может считаться конечной формой выражения всей полноты мыслей, которые намеревается передать говорящий. Создаваемая, таким образом, информационная пустота, возникающая между тем, что намеревался выразить говорящий, и актуальной языковой формой высказывания, при помощи которого данное сообщение кодировано, согласно теории релевантности заполняется в ходе реализации второй модели.
В инференции коммуникант, ведомый принципом релевантности, рассматривает языковой стимул в качестве первоначальной посылки, которая в сочетании с другими средствами остенсивной коммуникации, контекстом и комплексом индивидуальных фоновых знаний, позволяет структурировать множество интер-претативных гипотез согласно их доступности, что в итоге, согласно теоретико-релевантной процедуре понимания, ведет к выбору наиболее оптимального варианта интерпретации. Предполагается, что данная модель применима не только по отношению к высказываниям, репрезентированным языковыми средствами, но и по отношению к любому другому примеру остенсивной коммуникации, представляющему собой комбинацию коммуникативных средств, принадлежащих к разным модальностям [22, р. 150].
Исходя из того, что множество выводимых прагматической процедурой понимания интерпретативных гипотез или концептов значительно превышает множество концептов, кодируемых языковыми средствами, следует, что общая процедура интерпретации и понимания носит динамический характер, а именно критерии доступности должны варьироваться в зависимости от изменяемого контекста и речевой ситуации. В этой связи теоретически каждое слово в высказывании необходимым образом претерпевает подстройку или адаптацию к требованиям текущего контекста. Подобного рода подстраивание или адаптация в теории релевантности именуется прагматической юстировкой (adjustment), которая реализуется как на уровне высказывания в целом, так и на уровне интерпретации отдельной лексемы. Прагматическая юстировка имеет две формы - расширение (broadening), т.е. концептуальное содержание того, что намеревался передать говорящий менее конкретно,
чем закодированный концепт, и сужение (narrowing), т.е. то концептуальное содержание, которое намеревался передать говорящий более конкретно, чем закодированный концепт [6, р. 323-334; 20, р. 305; 22, р. 151].
Расширение
"Looks like some drifter comin' into town" [17, р. 63]. / Похоже, что какого-то бродягу занесло в наш город (DRIFTER* = vagabond).
"Varmints! <...> You're all just a bunch of cheatin' varmints!" [Ibidem, р. 510]. / Негодяи! <...> Вы просто кучка лживых негодяев! (VARMINT* = a contemptible person).
"Listen, I think we better keep this quiet" [Ibidem, р. 68]. / Слушай, я думаю, что пусть это лучше останется между нами (QUIET* = not telling anyone).
Сужение
"The contact points must be dirty. <...> Just click it up and down a few times" [Ibidem, р. 69]. / Контакты загрязнились. <...> Просто переключи рубильник несколько раз (DIRTY* = Oxidized).
"Set the hook! Set the hook!" [Ibidem, р. 46]. / Поймал! Поймал! (HOOK* = fishing hook).
"'It's no use. I drink and I drink, and I still can't forget" [Ibidem, р. 42]. / Не помогает. Я пью и пью, и все равно не могу забыть (DRINK* = alcoholic drink).
Таким образом, в теории релевантности подчеркивается, что построение и передача концептов, большинство которых может даже не осознаваться интерпретатором, поскольку «когнитивно существуют относительно недолго» [20, р. 304], носит подчеркнуто динамический характер: создание и возникновение концептов происходит в режиме реального времени в зависимости от конкретной ситуации общения. Психологическая основа и терминологический аппарат, описывающие данное явление, были заимствованы в теории релевантности из трудов Лоуренса Барсалу, который в ходе многочисленных экспериментов показал, что для успешного и оптимального достижения поставленной цели (сбор вещей для поездки на конференцию, замена лампочки и др.) испытуемые постоянно прибегали к виртуальному моделированию текущей ситуации и вариантов ее решения с целью выбора наиболее оптимального варианта (вещи, которые необходимо упаковать в чемодан, предметы, которые наиболее подходят для устойчивого положения при замене перегоревшей лампочки и т.д.). Формируемые таким образом в режиме реального времени концепты, получившие название специальных категорий (ad hoc categories), обладали структурой, определяемой двумя параметрами - идеальным прототипом и ограничениями, которые позволяли создавать виртуальные «пулы объектов», которые способствовали оптимизации действий для решения поставленных целей [1-3; 5].
В работах Гари Ларсона можно встретить множество примеров графических изображений, представляющих собой визуализацию одного из возможных специальных концептов, создаваемых в интерпретации вербального модуля в режиме реального времени.
Например, на панели, сопровождаемой подписью "Places never to set your electric eel" [17, р. 57]. / Никогда не оставляйте электрических угрей в этом месте, изображен человек, принимающий ванну, на краю которой стоит небольшой аквариум с электрическим угрем. Данное изображение визуализирует один из возможных когнитивных сценариев, наиболее приближенных к идеальному прототипу ситуации, параметры и атрибуты которой заявлены автором в вербальном модуле.
В теории релевантности предполагается, что в ходе прагматической юстировки слов в их переносном значении выделяют три возможные модели построения специальных концептов [6, р. 307; 22, р. 151].
1. Специальные концепты, которые содержат атрибуты, приложимые ко всем прототипичным референтам кодируемого концепта, а также к множеству других референтов:
"Ok, crybaby! You want the last soda? Well let me get it ready for you!" [17, р. 77]. / Ну что, плакса, хочешь еще содовой? Сейчас получишь! (CRYBABY* обозначает человека, в особенности ребенка, который часто капризничает без причин. Данные атрибуты приложимы ко всем детям-плаксам (как прототипичным референтам), а также к некоторым взрослым, которые часто жалуются, когда не могут получить желаемое).
2. Специальные концепты, которые содержат атрибуты, приложимые к некоторым прототипичным референтам кодируемого концепта, а также к множеству других референтов:
"Fuel... check. Lights... check. Oil pressure... check. We've got clearance. Ok, Jack - let's get this baby off the ground" [Ibidem, р. 528]. / Топливо... есть. Огни... есть. Давление масла... есть. Разрешение получено. Так, Джек, давай подымем эту малышку в воздух (BABY* обозначает подмножество детей, которым нужна забота и особенное обращение, а также подмножество транспортных средств, которые представляют особую ценность для владельца и нуждаются в тщательном уходе).
3. Специальные категории, которые содержат атрибуты, неприложимые ни к одному из прототипичных референтов кодируемого концепта, но приложимые к другим референтам:
"My marriage is in trouble, Barbara. You ever tried communicating with a hammerhead?" [Ibidem, р. 94]. / Наш брак в опасности, Барбара. Ты когда-нибудь пробовала общаться с ослом? (HAMMERHEAD* обозначает людей упрямых, сложных в общении и т.д., т.е. атрибуты, неприменимые по отношению к рыбе-молоту).
Третий тип специальных категорий вызывает наибольший интерес, поскольку является источником так называемых эмерджентных свойств или атрибутов (emergent attributes) [6; 10-12; 22], т.е. таких оттенков значения, которые возникают только в ходе интерпретации метафорических высказываний и изначально не принадлежат денотативному референту как области источника, так и области цели. Во многом процедуры построения специальных категорий и сопутствующих им эмерджентных атрибутов соответствуют процедурам, описываемым в ходе экспериментов по концептуальной комбинации в рамках исследований по искусственному
интеллекту. В рамках данных исследований эмерджентные свойства являются следствием креативного подхода реципиентов к разрешению конфликта наследования, при котором создаваемый из двух родительских классов подкласс не может унаследовать ни один из атрибутов родительского класса, образуя пустое множество. Разрешение конфликта возможно за счет расширения критериев допустимости атрибутов в новую, гибридную категорию, что предполагает создание ментальной модели, когнитивного сценария или теории, в рамках которой наследование логически несовместимых атрибутов будет оправданным [11; 12]. Необходимо отметить, что виртуально создаваемые в режиме реального времени ментальные сценарии [12], модели [5], теории [18] отражают безграничность креативной когнитивной деятельности человека, поэтому практически любая, даже самая фантастическая, комбинация может находить соответствующее объяснение.
К примеру, на одной из панелей Гари Ларсона, имеющей подпись "Amazon River Cows" [16, р. 49]. / Коровы Амазонки, нарисован испуганный путешественник, находящийся в реке, окружённый стаей хищных речных обитателей, готовящихся атаковать. Сами речные жители изображены лишь метонимически -мы можем наблюдать только торчащие из воды коровьи рога. Сочетание визуального и вербального модуля дает основание интерпретатору для расширения границ допустимости элементов создаваемого в режиме реального времени специального концепта AMAZON RIVER COWS*, который порождает множество эмер-джентных свойств - 'have gills', 'live underwater', 'carnivore', 'man-eaters', 'extremely dangerous', etc., которые учитываются в дальнейшем ходе прагматической процедуры понимания.
Поскольку в основе прагматической процедуры понимания предполагается динамическое построение специальных концептов, возникающих в ходе взаимной прагматической юстировки высказывания и контекста, эмерджентные атрибуты являются естественным следствием применения инференционной модели, а значит, в рамках теории релевантности, в отличие от других теоретических концепций, эмерджентные свойства или атрибуты «не являются проблемой» [6, р. 311]. Как показали работы Франсиско Йуса [21; 22], описанные процедуры интерпретации в равной степени применимы не только по отношению к вербальным высказываниям, но также и визуальным сообщениям, что послужило основанием для возможности описания и применения унифицированной модели интерпретации, применимой к вербальным и к визуальным сообщениям. Данная модель предполагает три этапа развития интерпретации.
На первом этапе происходит выявление адресатом так называемых специальных указателей (ad hoc pointers), т.е. любых форм наблюдаемых или воспринимаемых несоответствий, намеренно использованных автором для достижения определенной коммуникативной цели. Данные указатели функционируют в качестве сигнальных стимулов, намекая читателю о необходимости перехода от модели декодирования денотативного значения к инференционной модели, требующей привлечения множества коннотаций, а значит, и большего числа когнитивных усилий, необходимых для интерпретации.
Второй этап носит название визуально-концептуального интерфейса (visual-conceptual interface) и представляет собой промежуточный этап между обнаружением специальных указателей и полноценной интерпретацией. На этом этапе читатель, стремящийся к оптимально релевантной интерпретации, должен выдвинуть ряд предварительных гипотез относительно предполагаемой взаимосвязи, которая существует между изображениями и энциклопедической (концептуальной) информацией о референтах этих изображений, в основном стереотипного качества.
На третьем этапе, названном концептуальной загрузкой (conceptual upload), происходит полноценная ин-ференционная оценка и юстировка концептуальной информации.
Исходя из того, что практическая апробация данной модели осуществлялась Франсиско Йусом по отношению к примерам визуальных метафор, и того, что в нашем случае в качестве практического материала использовались нетипичные образцы мультимодальной организации, по нашему мнению, данная модель требует внесения ряда корректировок, главной из которых является введение дополнительного этапа интерпретации - этапа дезинтеграции, который предваряет финальный этап интеграции и способствует созданию компенсаторного эффекта. Модифицированная модель носит следующий вид.
1. На первом этапе происходит предварительная инспекция читателем содержания визуального и вербального модулей. Согласно принципу релевантности данная процедура осуществляется по модели декодирования и носит относительно автоматизированный характер, который прерывается при обнаружении специальных указателей. Специальные указатели могут присутствовать как в визуальном, так и в вербальном модуле.
2. Обнаружение несоответствий является сигналом перехода на промежуточный этап дезинтеграции, на котором осуществляется определение хода прагматической юстировки в каждом модуле по отдельности с целью дальнейшего установления направлений соответствия мультимодальной интеграции всего высказывания:
• мультимодальная интеграция по направлению от визуального модуля к вербальному с последующей юстировкой по типу расширения или сужения;
• мультимодальная интеграция по направлению от вербального модуля к визуальному с последующей юстировкой по типу расширения или сужения.
Как показал анализ мультимодальных текстов, направление соответствия - это всегда двунаправленный процесс, особенностью которого является присутствие того, что мы называем механизмом компенсации, т.е. прагматическая юстировка по типу сужения в направлении от вербального модуля к визуальному модулю подразумевает применение противоположного типа юстировки по типу расширения в обратном направлении.
3. Определение специальных указателей и типов интеграции вербального и визуального модуля позволяет читателю перейти на полноценную инференционную фазу интерпретации, в рамках которой предварительные
интерпретативные гипотезы, порождаемые специальными категориями и рассматриваемые в порядке их доступности, получают статус полноценного вывода, понимания.
Отметим, что прямолинейное пошаговое представление хода интерпретации, являясь определенным стандартом практической апробации теоретических положений в прагматико-релевантных исследованиях, не отражает реальной последовательности когнитивных действий читателя, находясь в зависимости от его личностных характеристик и комплекса имеющихся энциклопедических знаний, что предполагает параллельную активацию большинства релевантно-прагматических процедур анализа.
Пример 1
Содержание визуального модуля: панель показывает бармена, наполняющего стакан посетителя, сидящего перед ним за стойкой.
Содержание вербального модуля:
"Sho I shez to her, 'Hey, look! I'm tired of livin' in this hole, diggin' dirt, and eatin' worms!'" [17, р. 207]. / И я сказал ей: «Слушай, я устал жить в этой дыре, копаться в грязи и есть всякую дрянь!».
1. Читатель находит данный мультимодальный текст в газете (журнале, сборнике и т.д.) и делает вывод о том, что автор намеревается передать некоторую информацию посредством включения двух модулей, принадлежащих разным модальностям, в единое высказывание.
2. На этапе предварительной параллельной инспекции содержания двух модулей в режиме декодирования читатель за счет сопоставления имеющегося у него в памяти комплекса энциклопедических знаний о прототипичных референтах с визуальными образами, представленными на панели, определяет, что человек является барменом, посетитель является кротом, место действия - бар, слова, наблюдаемые в подписи к панели, принадлежат посетителю-кроту.
3. Дальнейшая инспекция позволяет установить наличие несоответствий как в визуальном, так и в вербальном модуле: крот не может быть завсегдатаем питейных заведений, слова в подписи должны принадлежать человеку. Наблюдаемые несоответствия, принимаемые в качестве специальных указателей, сигнализируют о завершении этапа декодирования, предваряя этап дезинтеграции.
4. На этапе дезинтеграции последовательно анализируется содержание каждого из модулей по отдельности с последующим построением в режиме реального времени специальных концептов посредством прагматической юстировки концептуального содержания.
Визуальные средства репрезентации посетителя бара, используемые автором, определяют характер прагматической юстировки концептуального содержания визуального модуля по типу сужения, поскольку атрибуты создаваемого специального концепта VISITOR OF A BAR* (looking like a rodent, shabby, untidy, repulsive, insignificant, etc.) применимы к подмножеству кодируемого визуальными средствами концепта 'VISITOR OF A BAR'. Создаваемый таким образом в режиме реального времени специальный концепт становится источником возникновения множества эмерджентных атрибутов (socially unsecured, unsuccessful, poor, financially ruined, alcoholic addict, etc.), некоторые из которых будут учитываться читателем на последующих этапах интерпретации.
Ход прагматической юстировки элементов вербального модуля (livin' in this hole, diggin' dirt, and eatin' worms) ведется в обратном направлении по типу расширения с последующим созданием в режиме реального времени специальных концептов HOLE*, DIRT*, WORMS*, концептуальные атрибуты (shabby, cheap, unhealthy, tiresome, repetitive, disgusting) которых неприменимы к соответствующим прототипичным референтам, кодируемым лексемами hole, dirt, worms. Создаваемая и обрабатываемая в режиме реального времени серия специальных концептов также является источником эмерджентных атрибутов (unsatisfied, disappointed, desperate, etc.), которые также будут учитываться на последующих этапах интерпретации.
5. Читатель, ведомый поиском релевантности, осознает необходимость привлечения большего количества когнитивных усилий с целью интегрирования информации, инференционно выводимой из анализа каждого из модулей с последующей интеграцией в рамках единого мультимодального высказывания. На этапе интеграции проявляется феномен, который мы назвали эффектом компенсации, благодаря которому происходит перенаправление хода прагматической юстировки от расширения к сужению, и наоборот, обусловлено взаимодействием модулей, каждый из которых выступает в качестве контекста для другого.
На этапе интеграции элементы вербального модуля (livin' in this hole, diggin' dirt, and eatin' worms) определяют ход прагматической юстировки элементов визуального модуля по типу расширения, становясь частью концептуального содержания, кодируемого визуальными средствами концепта 'mole'.
На этапе интеграции инференционно выводимые концептуальные атрибуты элементов вербального модуля интегрируются с элементами визуального модуля, определяя ход прагматической юстировки от сужения к расширению. Соответственно, инференционно выводимые концептуальные атрибуты элементов визуального модуля в интеграции с элементами вербального модуля определяют ход прагматической юстировки в обратном направлении - от расширения к сужению. Взаимонаправленная интеграция концептуального содержания визуального и вербального модулей также предполагает создание в режиме реального времени модифицированного специального концепта VISITOR OF A BAR** с последующим привлечением эмерджентных атрибутов ('miserable', 'insignificant', 'powerless', 'weak', 'cowardly', etc.). Результаты этапа интеграции позволяют читателю сформировать множество полноценных (с учетом содержания и инференции обоих модулей) интер-претативных гипотез о той информации, которую намеревался передать автор посредством мультимодальной презентации своего сообщения. Например, изображение посетителя бара в качестве крота, жалующегося
бармену на нелегкую, не устроенную в социальном отношении жизнь, является художественно-сатирическим выражением неодобрения поведения некоторых людей, стремящихся спрятаться в нору от своих проблем, неспособных преодолеть трудности или решать их самостоятельно, выбирающих наиболее простое решение.
Пример 2
Содержание визуального модуля: серия статичных изображений жирафа, особенность которой состоит в том, что каждый рисунок отличается от предыдущих уменьшением длины ног пропорционально увеличению длины шеи.
Содержание вербального модуля:
"Giraffe evolution" [Ibidem, р. 564]. / Эволюция жирафа.
1. Повторение первого шага, описанного в предыдущем анализе.
2. Повторение второго шага, описанного в предыдущем анализе.
3. Читатель устанавливает наличие несоответствий в визуальном и вербальном модуле: каждый рисунок жирафа отличается от предыдущих уменьшением длины ног пропорционально увеличению длины шеи, что противоречит прототипичным референтам, хранящимся в памяти читателя.
4. Идентификация несоответствий в вербальном и визуальном модуле на этапе дезинтеграции позволяет читателю установить, что характер юстировки концептуального содержания концепта, репрезентированного графическими средствами в визуальном модуле, осуществляется по типу расширения, т.е. репрезентированный графическими средствами концепт EVOLUTION* менее конкретен (a gradual process of change and development), что, в свою очередь, порождает множество эмерджентных атрибутов ('random', 'arbitrary', 'odd', 'incidental', etc.), которые могут использоваться в интерпретации впоследствии. Характер юстировки концепта EVOLUTION, репрезентированного вербальными средствами, осуществляется в обратном направлении по типу сужения, т.е. создаваемый в режиме реального времени специальный концепт EVOLUTION** более конкретен (evolution is change in the heritable characteristics of biological populations over successive generations), что, в свою очередь, является основанием для возникновения множества эмерджентных атрибутов ('defined', 'certain', 'definitive', 'scientifically vindicated', etc.), которые могут использоваться в интерпретации в дальнейшем.
5. Взаимонаправленная интеграция концептуального содержания визуального и вербального модулей также предполагает создание в режиме реального времени модифицированного специального концепта EVOLUTION*** с последующим привлечением эмерджентных атрибутов ('unsophisticated', 'innocent', 'naive', etc.). Результаты этапа интеграции позволяют читателю сформировать множество полноценных (с учетом содержания и инференции обоих модулей) интерпретативных гипотез о той информации, которую намеревался передать автор посредством мультимодальной презентации своего сообщения. Например, читатель может предположить, что выбор автором заведомо абсурдной картины в качестве иллюстрации хода эволюции животного был использован для демонстрации опасности поверхностного, наивного отношения к серьезным научным проблемам, что может приводить к произволу и непониманию.
Пример 3
Содержание визуального модуля: на переднем плане (нижняя половина панели) изображен накрытый для гостей стол. На заднем плане (верхняя половина панели) изображены стоящий в дверях мужчина с подарком в руках и встречающая его женщина в вечернем платье.
Содержание вербального модуля:
"Early Man" [Ibidem, р. 215]. / Нежданный гость.
1. Повторение первого шага, описанного в предыдущем анализе.
2. Повторение второго шага, описанного в предыдущем анализе.
3. Читатель устанавливает наличие несоответствий в визуальном и вербальном модуле: мужчина нарочито изображен в виде древнего предка человека, с характерными грубыми пропорциями тела и головы, шкурой животного в качестве единственного элемента одежды, что резко контрастирует с очевидно современной обстановкой дома и изображением женщины.
4. Идентификация несоответствий в вербальном и визуальном модуле на этапе дезинтеграции позволяет читателю установить, что характер юстировки концептуального содержания концепта, репрезентированного графическими средствами в визуальном модуле, осуществляется по типу расширения, т.е. репрезентированный графическими средствами концепт EARLY* менее конкретен ('anybody who comes before the usual or expected time'), что, в свою очередь, порождает множество эмерджентных атрибутов ('unpunctual', 'rude', 'unmannerly', 'barbaric', etc.), которые могут использоваться в последующей интерпретации. Характер юстировки концепта EARLY MAN, репрезентированного вербальными средствами, осуществляется в обратном направлении по типу сужения, т.е. создаваемый в режиме реального времени специальный концепт EARLY MAN** более конкретен ('early ancestor of humans'), что, в свою очередь, является основанием для возникновения множества эмерджентных атрибутов ('distinctive morphological features', 'use primitive tools', 'apex predators', 'making clothing from the skins of animals', etc.), которые могут использоваться в интерпретации в дальнейшем.
5. Взаимонаправленная интеграция концептуального содержания визуального и вербального модулей также предполагает создание в режиме реального времени модифицированного специального концепта EARLY MAN*** с последующим привлечением эмерджентных атрибутов ('inappropriate', 'inadequate', 'inconsistent', 'unsuitable', etc.). Результаты этапа интеграции позволяют читателю сформировать множество полноценных (с учетом содержания и инференции обоих модулей) интерпретативных гипотез о той информации,
которую намеревался передать автор посредством мультимодальной презентации своего сообщения. Например, читатель может предположить, что в качестве объекта сатирического изображения автор мог выбрать чрезмерно щепетильное отношение некоторых современных людей к существующим нормам и кодам общественного поведения, за нарушение которых следует всеобщее порицание и осуждение.
Результаты проведенного исследования показали следующее: 1) сохранение целостности высказывания при ослаблении структурной и композиционной связанности гарантируется принципом релевантности, что справедливо и по отношению к мультимодальным текстам; 2) принцип релевантности определяет то, что формы юстировки и модели специальных концептов, выявляемые в анализе вербальных и визуальных модулей по отдельности, впоследствии интегрируются на последних этапах прагматической интерпретации; 3) выявленный в прагматическом анализе компенсаторный эффект определяет форму прагматической юстировки, посредством которой происходит расширение границ доступности эмерджентных атрибутов в пределах формируемого в режиме реального времени специального концепта.
Список источников
1. Barsalou L. W. Ad hoc categories // Memory & Cognition. 1983. Vol. 11. № 3. Р. 211-227.
2. Barsalou L. W. Deriving categories to achieve goals // The Psychology of Learning and Motivation: Advances in Research and Theory / ed. by G. Bower. San Diego, CA: Academic Press, 1991. Vol. 27. Р. 1-64.
3. Barsalou L. W. Perceptual symbol systems // Behavioral and Brain Science. 1999. № 22. Р. 577-660.
4. Barsalou L. W. Situated Conceptualisation // Handbook of Categorization in Cognitive Science / ed. by H. Cohen and C. Lefebvre. Oxford: Elsevier, 2005. Р. 620-647.
5. Barsalou L. W. Situated simulation in the human conceptual system // Language and Cognitive Processes. 2003. № 18 (516). Р. 513-562.
6. Carston R. Thoughts and Utterances. Oxford: Blackwell, 2002. 430 p.
7. Clark E. V., Clark H. H. When nouns surface as words // Language. 1979. Vol. 55. № 4. Р. 767-811.
8. Fodor J. The Language of Thought. N. Y.: Crowell Press, 1975. 214 p.
9. Fodor J. The modularity of mind. Cambridge, MA: MIT Press, 1983. 158 p.
10. Gineste M. D., Indurkya B., Scart V. Emergence of features in metaphor comprehension // Metaphor and Symbol. 2000. Vol. 15. № 3. Р. 117-135.
11. Hampton J. Emergent attributes in combined concepts // Conceptual Structures and Processes: Emergence Discovery and Change / ed. by T. B. Ward, S. Smith, J. Vaid. Washington, DC: APA Press, 1996. Р. 83-110.
12. Hampton J. The Combination of Prototype Concepts // The Psychology of Word Meanings / ed. by P. Schwanenflugel. Hillsdale: Psychology Press, 1991. Р. 91-116.
13. Johnson M. The body in the mind. Chicago: The University of Chicago Press, 1987. 272 p.
14. Lakoff G. Women, fire, and dangerous things. Chicago: The University of Chicago Press, 1987. 614 p.
15. Lakoff G., Johnson M. Metaphors We Live by. Chicago: University of Chicago Press, 1980. 276 p.
16. Larson G. Cows of Our Planet: A Far Side Collection. Kansas City: FarWorks, 1992. 112 p.
17. Larson G. The Complete Far Side: 1980-1994. Atlanta: Andrews McMeel Publishing, 2003. 1272 p.
18. Murphy G. L., Medin D. L. The role of theories in conceptual coherence // Psychological Review. 1985. Vol. 92. № 1. Р. 289-316.
19. Sperber D., Wilson D. Relevance: Communication and Cognition. Oxford: Blackwell, 1995. 331 p.
20. Vega Moreno R. Metaphor interpretation and emergence // UCL Working Papers in Linguistics. 2004. № 16. Р. 197-322.
21. Yus F. Ad hoc concepts in visual metaphor? Towards relevant ad hoc pointers. Paper delivered at the 9th International Pragmatics Conference [Электронный ресурс]. Riva del Garda (Italy), 2005. URL: https://personal.ua.es/francisco.yus/rt2.html (дата обращения: 27.03.2019).
22. Yus F. Visual metaphor versus verbal metaphor: A unified account // Multimodal Metaphor / ed. by E. Urios-Aparisi, Ch. J. Forceville. Berlin - N. Y.: Mouton de Gruyter, 2009. Р. 147-172.
COMPENSATORY EFFECT OF PRAGMATIC ADJUSTMENT IN INTERPRETATION OF GARY LARSON'S MULTI-MODAL TEXTS
Grebenev Aleksandr Nikolaevich, Ph. D. in Philology Shayuk Antonina Yur'evna, Ph. D. in Philology Pushkin Leningrad State University, Pushkin [email protected]; [email protected]
The article examines the peculiarities of interaction of verbal and visual modules as components of a coherent multi-modal message. The study is based on the cartoonist Gary Larson's multi-modal texts, which have been previously examined exclusively in the context of humorous discourse. The analysis has identified non-typical compensatory effects, which occurred during pragmatic adjustment. The authors suggest their own interpretation of this phenomenon. Relying on the findings the paper introduces a modified model of pragmatic interpretation, which considers the specificity of multi-modal integration of verbal and visual modules.
Key words and phrases: relevance theory; multi-modal analysis; ad hoc concepts; emergent attributes; pragmatic adjustment; compensatory effect.
