CC BY
470
Вестник Томского государственного университета. 2014. № 378. С. 45-48
УДК 81'22
Е.Д. Некрасова
К ВОПРОСУ О ВОСПРИЯТИИ ПОЛИМОДАЛЬНЫХ ТЕКСТОВ
Разводятся понятия поликодовых и полимодальных текстов, а также раскрывается сущность последних. Описываются ход и результаты психолингвистического эксперимента по выявлению доминирующей модальности при полимодальном восприятии (одновременном поступлении по разным перцептивным каналам) информации, стилистически дифференцированной и апеллирующей к различным типам человеческого мышления.
Ключевые слова: полимодальность; полимодальные тексты; полимодальное восприятие; психолингвистический эксперимент; восприятие текста.
Наиболее разрабатываемыми и актуальными в ко-гнитологии на данный момент являются проблемы внутренней корреляции кодовых систем семиотически гетерогенных текстов, исследование взаимодействий между вербальным и иконическим1 [1] знаками в составе поликодового текста (Е.Е. Анисимова, А.М. Во-лоскович, О.Г. Веревкина) [2-3], а также их соединений со знаками аудиального характера (Л.С. Большакова, Т.М. Рогожникова, Э.Г. Никитина, Т.А. Винникова) [4-6], порождающие феномен полимодальности.
Необходимо развести эти два понятия.
Опоззиция моно- и поликодовых текстов была выделена еще в 1970-е гг. Г.В. Ейгером, В.Л. Юхтом [7. С. 103-109] и в отечественной лингвистике получила продолжение в трудах Ю.А. Сорокина и Е.Ф. Тарасова [8], терминологически оформившись в понятие креоли-зованных текстов. Однако некоторая несостоятельность подобной номинации (в силу неоднозначности) была отмечена уже в работе А.Г. Сонина [9]. В настоящее время тексты, содержащие разные семиотические визуальные (вербальные и иконические) знаки, принято именовать поликодовыми.
В поле исследовательских интересов попадают различные формы существования поликодовых конструкций: инструкции, открытки, искусствоведческие описания картин, тексты газетного дискурса (статьи, репортажи и др.), интернет-коммуникации (демотиваторы, веб-сайты) и др. Основную задачу исследователи видят в выявлении корреляций внутреннего взаимодействия символов и знаков разных кодов между собой в рамках исследуемого жанра (функции иконического знака внутри вербально представленной информации, формы взаимодействия вербальной и иконической информации и т.п.).
Совершенно иной тип организации имеют тексты2 полимодального характера. Сам факт наличия полимодальности (в зарубежной традиции - multimodal), апеллирующий к психологическому термину модальности как принадлежности к определенной сенсорной системе, связан с актуализацией нескольких перцептивных каналов, а потому изучаться должен на основании адресного восприятия респондентами. Не следует путать его с принятым в лингвистической традиции обозначением текстовой категории модальности, подразумевающей субъективно-оценочную характеристику предмета речи [10].
Если поликодовым является текст, соединяющий в себе разные семиотические коды, то полимодальным может быть назван текст, воспринимаемый при помощи
различных модальностей - каналов восприятия информации, в частности зрительной и аудиальной.
Таким образом, наличие кодов и модальностей становится двумя самостоятельными аспектами классификации: поликодовый текст (соединяющий в себе вербальный и визуальный код) может быть и мономодаль-ным, если он воспринимается исключительно при помощи зрительного анализатора.
В фокусе наших исследовательских интересов находятся прежде всего полимодальные тексты, поэтому в дальнейшем мы не будем останавливаться на их моно- и поликодовой характеризации.
Полимодальные экспериментальные исследования в основном сосредоточены вокруг проблемы «соревнующихся модальностей» при восприятии информации (например, временной [11]), при этом, согласно «гипотезе модальной целесообразности», вклад «различных сенсорных модальностей в мультимодальное восприятие связан с характером воспринимаемых стимулов» [11. С. 50]. Автор приводит в пример эксперимент (Welch, DuttonHurt, 1986) с использованием бимодальных стимулов с конфликтом временных частот в зрительной и слуховой модальностях, продемонстрировавший превалирование аудиального канала восприятия над визуальным: «...в случае “конфликта” зрительных и слуховых временных частот восприятие отдает предпочтение слуховой информации» [11. С. 51].
В зависимости от различных глубинных когнитивных основ при его восприятии текст может актуализировать различные типы мышления, в частности текст научного характера апеллирует прежде всего к абстрактному мышлению, тогда как художественный, сосредоточенный на фабульном описании, требует актуализации нагляднообразного мышления.
Гипотеза автора при выстраивании эксперимента заключалась в том, что при восприятии текста с одновременной актуализацией двух модальностей они обнаружат функциональную асимметрию, при этом характер асимметрии будет коррелировать с типом заложенной информации.
Эксперимент. Для проверки гипотезы нами был организован психолингвистический эксперимент, состоящий из двух этапов, для которых было отобрано два текста равного объема (133 и 138 слов). Оба носили нарративный характер и имели единообразное вступление, с которым соотносилось дальнейшее содержание: Редко встретишь трехцветную кошку. А трехцветного кота - еще реже. Принципиальное отличие составлял их когнитивный характер.
Текст художественного стиля содержал рассказ о приключениях трехцветного кота Фрости, названного так потому, что более месяца он прожил на складе продуктов, который, по сути, являлся большим холодильником. Попав на склад на грузовике, он питался замороженными продуктами, слизывал влагу со стен, в конце концов был найден и отвезен в клинику, где лишился отмороженных ушей и хвоста, однако остался жив. В настоящий момент он здоров и живет у работника склада, который его и обнаружил.
Научный текст с генетической стороны обосновывал редкость черепахового окраса у самцов: дело в том, что у котов и сирийских хомячков существует сцепленный с полом ген «orange», который передается только по женской линии (соответственно, с хромосомой X). Он и обусловливает наличие трехцветного окраса. Поскольку самцы обладают набором хромосом XY, то возникновение такого окраса у них возможно лишь при появлении лишней X-хромосомы в случае, когда хромосомный набор становится XXY. Однако в случае такой генетической аномалии самцы бесплодны.
При этом оба текста соотносились по количеству содержащихся в них единиц предикации (шестнадцать) и количеству смысловых блоков (по пять). Естественно, что специфика стилевых (следовательно, и когнитивных) различий текстов не позволяет говорить о полном типологическом пропозициональном тождестве, поэтому за основу бралось лишь их количественное соотношение.
Эксперимент проводился в два этапа.
В первом этапе участвовали две группы студентов филологического факультета (1a), которым визуально (на слайде) предъявлялся вербальный художественный текст, одновременно с которым аудиально поступал текст научного характера. При наличии ослабленного зрения оно было скорректировано очками или контактными линзами, отдельно опрашивалось удобство чтения шрифта со слайда (на примере инструкции). Ослабления слуха у испытуемых не наблюдалось.
Инструкция требовала сосредоточить внимание на поступающей информации. Скорость смены слайдов была рассчитана так, чтобы испытуемые могли комфортно прочесть предложенный текст, при этом поступление визуальной информации заканчивалось одновременно с аудиальной. Необходимость последующего воспроизведения усвоенного материала из обоих каналов заранее не оговаривалась, а шла в качестве дополнительной инструкции после окончания предъявления информации по обоим каналам.
Во втором этапе эксперимента, в котором также участвовали две группы студентов филологического факультета (1b), все прочие условия были повторены, однако типы информации в модальностях были заменены (при сохранении исходных текстов): визуально (на слайде) предъявлялся вербальный научный текст, одновременно с которым аудиально поступал текст художественного характера (таблица).
Таким образом, мы ввели две значимых независимых переменных, необходимых для экспериментальной проверки интересующей нас корреляции: тип текста и модальность (аудиальная и визуальная), через которые поступала информация.
Типы предъявляемой информации на каждом из этапов эксперимента
'ЧчМодальность Группа Visual Audial
1а Художественная Научная
1b Научная Художественная
Анализ результатов. Всего в эксперименте приняло участие 87 человек, однако при анализе учитывались результаты 71 респондента. В общую выборку не попадали анкеты, репрезентирующие только одну модальность либо воспроизводящие минимальное число единиц. Встречались анкеты, в которых испытуемые рефлексировали относительно собственного восприятия, например: Невозможно одновременно читать и слушать. Голос отвлекает; Не усваивается речь преподавателя в совокупности с текстом презентации. Почти ничего не запомнил. Отключился или Воспринимаемый на слух текст перебивает зрительное восприятие текста.
Для анализа процента усваиваемости информации каждый текст был разделен нами на девять смысловых частей (включая вступление, одинаковое для каждого из текстов). В основу деления легло членение на микротемы.
В дальнейшем подсчитывалось количество воспроизведенных элементов информации у каждого респондента и высчитывался средний процент воспроизводимости по каждой модальности и каждому типу текста. При подсчете вступление было выделено в отдельную единицу и суммировалось к результатам той модальности, к репрезентации которой было присоединено при воспроизведении информации самим респондентом. Например, если изначально участник рассказывал о приключениях кота (информация из текста художественного стиля), начиная со вступления, то оно суммировалось к той модальности, в которой шел художественный текст в момент проведения эксперимента (аудиальной или визуальной соответственно). Некоторые испытуемые воспроизводили вступление дважды: по разу для каждой из модальностей.
Естественно, подобный анализ носит относительный, а не абсолютный характер. Однако точный процент усвоения информации (который, на наш взгляд, принципиально невозможно высчитать) не представлял для нас исследовательского интереса, и подсчет его необходим прежде всего для адекватного сравнения количества воспроизводимой информации в рамках одного текста, транслируемого поочередно в разных модальностях, а также для сравнения аудиальной и визуальной модальностей между собой.
При этом, несмотря на то что тексты были максимально приближены по размеру (и в нашем случае выделялось равное количество смысловых частей для каждого), при анализе воспроизводимости минимальных частей точная их корреляция в обоих текстах не носит принципиального характера, поскольку среднее значение высчитывается из расчета количества воспроизведенных респондентами частей к максимальному для каждой из модальностей.
Визуальная у« аудиальная. Все этапы эксперимента показали превалирование визуальной модальности над аудиальной (при отсечении результатов-аутлаеров,
т.е. минимальных или максимальных результатов по одной из модальностей), что можно видеть по данным диаграммы (рис. 1).
50
40
30
20
10
0
У У
у /
У ✓ '
У
У
У
АШ г
□ визуальная
□ аудиальная
художественный
научный
Рис 1. Модальная асимметрия
При формулировке эксперимента мы также учитывали психологический факт наличия произвольности внимания, предполагая, что респондент может первично воспринимать тот канал, который посчитает главенствующим.
Для этого мы имплицитно ввели в инструкции указание на ведущую модальность. Так, инструкция первой части предлагала обратить внимание на «текст в презентации, сопровождаемый словесным комментарием». Легко видеть, что произвольность внимания в данном случае устанавливается на визуальную модальность (текст поставлен в сильную позицию).
Во второй серии мы изменили формулировку, уравновешивая внимание респондентов на каждую из модальностей, одновременно сместив в сильную позицию аудиальную модальность (вам будет предложена информация, часть из нее будет произнесена, часть вынесена на слайд).
Однако, несмотря на непрямое указание доминирующей модальности и вне зависимости от характера заложенных стимулов, при полимодальном восприятии доминирующей оказалась визуальная модальность.
Тип актуализируемого мышления. Наибольший интерес представляет анализ реакции в аспекте актуализируемого мышления.
На основе проанализированного материала можно выделить два типа репрезентации информации:
- последовательное воспроизведение, при котором сначала транслируется информация, поступавшая посредством одной модальности, затем - посредством другой;
- параллельное встраивание, предполагающее реакции с попеременным изложением художественного и научного материала.
В случаях параллельного встраивания (11 реакций из 71, или ~11%), как правило, художественный текст разбавлялся научными фактами. Респонденты начинали повествование о коте по имени Фрости, его особенности (трехцветном окрасе), после чего приводили информацию о генетической аномалии трехцветных котов и лишь затем завершали повествование.
На долю последовательного воспроизведения приходится ~89% репрезентаций (63 реакции из общего количества 71).
Учитывая уже сделанные на основе проанализированного материала выводы о главенствующей роли визуальной модальности, мы предположили, что информация будет воспроизводиться в соответствии с последовательностью визуальный ^ аудиальный канал (т.е. фактор перцептивного канала станет детерминировать последовательность репрезентации усвоенной информации и респонденты сначала обратятся к той, что получили визуальным путем, и лишь затем к полученной через аудиальный канал), однако из всех реакций последовательного воспроизведения огромный процент (~76% испытуемых - 48 реакций из 63) респондентов придерживались последовательности научный ^ художественный текст независимо от того, в какой модальности они были даны в каждом конкретном случае.
Получается, что визуальный перцептивный канал, несмотря на свою ведущую роль при восприятии текста (текст каждого типа усваивался лучше, поступая зрительно, что хорошо видно на рис. 1), выявленную на основе процента усвоенной информации, не обусловливает характер (и, соответственно, последовательность) репрезентации полученной информации.
Таким образом, при параллельном полимодальном восприятии текстов, имеющих различную когнитивную сущность, выявилась функциональная асимметрия каналов восприятия: в качестве доминирующей выступила визуальная модальность для каждого из типа текстов.
Как таковой корреляции модальности со стимулами (типами текстов, репрезентирующих на языковом уровне соответствующие типы актуализированного мышления) не обнаружилось. Однако при анализе репрезентаций информации была выявлена характерная последовательность при воспроизведении типов информации: наиболее частотными оказались реакции последовательного воспроизведения научный ^ художественный текст. Указанная последовательность не детерминирована фактом ведущей модальности, следовательно, обусловлена некоторыми собственно когнитивными процессами.
ПРИМЕЧАНИЯ
1 В данном случае мы следуем за терминологией А.М. Волоскович [1].
2 Данным подходам свойственно различное понимание текста. В первом случае это традиционное представление о сущности используемого термина, во втором - расширенное.
ЛИТЕРАТУРА
1. Волоскович А.М. Когнитивные и семиотические аспекты взаимодействия компонентов полимодального текста : автореф. дис. ... канд. фи-
лол. наук. М., 2012.
2. Анисимова Е.Е. Лингвистика текста и межкультурная коммуникация (на материале креолизованных текстов) : учеб. пособие для студ. фак.
иностр. яз. вузов. М. : Академия, 2003. 128 с.
3. ВеревкинаЮ.О. Немецкие рекламные поликодовые тексты: герменевтический подход : автореф. дис. ... канд. филол. наук. Самара, 2010.
4. БольшаковаЛ.С. О содержании поликодовых текстов // Вестник Новгородского государственного университета. № 49. С. 48-51.
5. Рогожникова Т.М., Навалихина А.И. Доминантные модальности восприятия и их динамика // Вестник Башкирского университета. 2011.
Т. 16, № 2. С. 469-473.
6. Никитина Э.Г. Экспериментальное исследование восприятия телевизионных спортивных репортажей // Вестник Череповецкого государ-
ственного университета. № 4. С. 72-76.
7. Ейгер Г.В., Юхт В.Л. К построению типологии текстов // Лингвистика текста : Материалы науч. конф. при МГПИИЯ им. М. Тореза. М.,
1974. Ч. I. С. 103-109.
8. Сорокин Ю.А., Тарасов Е.Ф. Креолизованные тексты и их коммуникативная функция // Оптимизация речевого воздействия. М., 1990. С. 180.
9. Сонин А.Г. Моделирование механизмов понимания поликодовых текстов : дис. ... д-ра филол. наук. М., 2006. С. 310.
10. Гальперин И.Р. Текст как объект лингвистического исследования. 4-е изд. М. : КомКнига, 2006. 144 с.
11. Данц А.Д. Зрительные и слуховые влияния на определение изменения временной частоты // Экспериментальная психология. 2011. Т. 4,
№ 2. С. 48-61.
12. Шехтман Н.А. Понимание речевого произведения и гипертекст : учеб. пособие. М. : Высш. шк., 2009. 159 с.
Статья представлена научной редакцией «Филология» 12 декабря 2013 г.
Nekrasova Yelena D. Tomsk State University (Tomsk, Russian Federation).
ON MULTIMODAL PERCEPTION OF THE TEXT (A PSYCHOLINGUISTIC EXPERIMENT).
Key words: multimodal perception; multimodal text; psycholinguistic experiment; multimodality; perception of the text.
The paper focuses on the main results of research in the field of multimodal perception of the texts. This research sphere is one of the most urgent in modern cognitive science. The term multimodality is associated with the psychological term modality as belonging to a particular sensory system. It is associated with the actualization of several perceptual channels, and therefore attention is focused on the study of the respondent's perception or these texts. The author offers her solution to the "competing modalities" in the bi-modal perception of the verbal information. The author takes into account the "hypothesis of modal expediency", according to which the contribution of different sensory modalities in a multimodal perception is linked to the type of the perceived stimulus. Psycholinguistic experiment was selected as the leading research method. It consists of two stages. The experiment is based on the hypothesis that the perception of the text with simultaneous updating of two modalities they will find a functional asymmetry, and the character of this asymmetry will be correlated with the type of the implied information. The correlation factors are: the type of modality (audial vs visual) and the type of the stimulus-text, varying according to the style features (scientific and poetic information). Texts have different cognitive essence. This texts were shown simultaneously in different modalities: visual and audial. At each stage of the experiment texts modalities interchanged. I further analysed the amount of displayed information on each text of each modality in comparison with the source texts. All phases of the experiment showed the presence of functional asymmetry of perception channels. The visual modality has become the dominant modality for each type of text. This was shown by analysing the amount of displayed information. In the analysis of representations I revealed two types of reproduction of the information. They were parallel insertion (~ 11%) - reaction reproducing the poetic and scientific material in turn and the playback sequence (~ 89%) in which first comes the information in one modality, then - in the other. The main feature of the representation types of information was revealed in the analysis of responses to the playback sequence. The reaction sequence scientific poetic text has been the most frequent (~ 76% of all reactions of this type). This sequence is not determined by the fact of the leading modality, therefore, depends on some cognitive processes.
REFERENCES
1. Voloskovich A.M. Kognitivnye i semioticheskie aspekty vzaimodeystviya komponentov polimodal'nogo teksta : avtoref. dis. ... kand. filol. nauk. M.,
2012.
2. Anisimova E.E. Lingvistika teksta i mezhkul'turnaya kommunikatsiya (na materiale kreolizovannykh tekstov) : ucheb. posobie dlya stud. fak. inostr.
yaz. vuzov. M. : Akademiya, 2003. 128 s.
3. Verevkina Yu.O. Nemetskie reklamnye polikodovye teksty: germenevticheskiy podkhod : avtoref. dis. ... kand. filol. nauk. Samara, 2010.
4. Bol'shakovaL.S. O soderzhanii polikodovykh tekstov // Vestnik novgorodskogo gosudarstvennogo universiteta. № 49. S. 48-51.
5. Rogozhnikova T.M., Navalikhina A.I. Dominantnye modal'nosti vospriyatiya i ikh dinamika // Vestnik Bashkirskogo universiteta. 2011. T. 16, № 2.
S. 469-473.
6. Nikitina E.G. Eksperimental'noe issledovanie vospriyatiya televizionnykh sportivnykh reportazhey // Vestnik Cherepovetskogo gosudarstvennogo
universiteta. № 4. S. 72-76.
7. Eyger G.V., Yukht V.L. K postroeniyu tipologii tekstov // Lingvistika teksta : Materialy nauch. konf. pri MGPIIYa im. M. Toreza. M., 1974. Ch. I.
S. 103-109.
8. Sorokin Yu.A., Tarasov E.F. Kreolizovannye teksty i ikh kommunikativnaya funktsiya // Optimizatsiya rechevogo vozdeystviya. M., 1990. S. 180.
9. SoninA.G. Modelirovanie mekhanizmov ponimaniya polikodovykh tekstov : dis. ... d-ra filol. nauk. M., 2006. S. 310.
10. Galperin I.R. Tekst kak ob"ekt lingvisticheskogo issledovaniya. 4-e izd. M. : KomKniga, 2006. 144 s.
11. Dants A.D. Zritel'nye i slukhovye vliyaniya na opredelenie izmeneniya vremennoy chastoty // Eksperimental'naya psikhologiya. 2011. T. 4, № 2.
S. 48-61.
12. ShekhtmanN.A. Ponimanie rechevogo proizvedeniya i gipertekst : ucheb. posobie. M. : Vyssh. shk., 2009. 159 s.
