CC BY
142
Вестник Томского государственного университета. 2016. № 402. С. 10-17. DOI: 10.17223/15617793/402/2
УДК 81'22
Е.Д. Некрасова
ВЗАИМОЗАВИСИМОСТЬ МОДАЛЬНОЙ СЕМАНТИКИ СЛОВА И ПЕРЦЕПТИВНОГО КАНАЛА ПРЕДЪЯВЛЕНИЯ ИНФОРМАЦИИ
Исследование выполнено при финасовой поддержке Программы «Научный фонд им. Д.И. Менделеева Томского государственного университета» в 2015-2016 гг.
Представлены результаты поведенческого эксперимента, направленного на выявление связи между сенсомоторным опытом человека, находящим отражение в семантике слова, и формами существования слова (последовательности звуков и последовательность графем), соотносимыми с физическими каналами восприятия информации (аудиальным и визуальным). Эксперимент выполнен на материале болгарского языка.
Ключевые слова: когнитивная лингвистика; воплощенное познание; модальное соответствие; психолингвистический эксперимент; время реакции; модальность.
Одно из центральных мест в когнитивной, «антропоцентрической» семантике занимает тезис о вопло-щенности познания. Теория воплощенного познания (embodied cognition) подразумевает зависимость ко-гниции от видов телесного опыта, опосредованного сенсомоторной системой человека [1. С. 172-173]. Так, при восприятии слова стул для понимания стоящего за вербальным кодом понятия (для воссоздания концепта1, сконструированного ранее на основе восприятия предмета или явления действительности) человеку необходимо задействовать свой моторный, визуальный, тактильный и другие типы перцептивного опыта [2. С. 164-167].
Особое место в когнитивной семантике занимает тезис модальной опосредованности понятий, вытекающий в том числе из теории Л. Барсалоу о системе перцептивных символов (perceptual symbols theory), сформулированной еще в 90-е гг. ХХ в. [3. С. 577-660].
Любой перцептивный опыт, по мнению исследователя, хранится в долговременной памяти в качестве перцептивных символов и носит модальный характер, поскольку действует в рамках той же системы, что и порождающий его модальный опыт. Одним из ключевых свойств перцептивных символов является создание «мультимодальных конструктов», или «симуляций» (multimodal simulations). Подобные конструкты необходимы для сохранения информации, поступающей посредством внешних органов чувств. Так, например, система перцептивных символов, соотносящаяся с понятием «велосипед», будет включать в себя зрительный образ велосипеда, звук велосипедного звонка или звон велосипедной цепи, определенное положение тела, необходимое для поддержания равновесия, моторное ощущение работы педалей, торможения, проприоцепцию (ощущение положения частей собственного тела относительного друг друга), тактильные ощущения поворота руля, в некоторых случаях - чувство эйфории от бьющего в лицо ветра и т.п.
В рамках данной теории любое концептуальное знание опосредовано модальностями (перцептивными каналами восприятия человека) [2].
Язык, по мнению Л. Барсалоу, ничем принципиально не отличается от иных способов воздействия на перцептивную систему человека, также порождая динамические конструкты. В данном случае полимо-
дальная информация будет аккумулироваться в словах, поэтому понимание текста и речи (вербального устного или письменного кода) может быть описано как создание динамических симуляций (конструктов), репрезентирующих значение высказывания.
Любой концепт, выражаемый в речи средствами вербального кода, содержит в себе информацию о перцептивном и модальном опыте. Как правило, количество актуализируемых словом модальностей оказывается больше одной. Например, слово лимон (корректнее в данном случае говорить о «модальном конструкте», концепте лимона, репрезентируемого в речи посредством слова) содержит в себе перцептивный визуальный опыт (потому что лимон может быть желтым или зеленоватым и т.п.), вкусовой (кислый лимон), тактильный (лимон может быть гладким или шершавым) и др. [4. С. 119-124].
Модальные конструкты Л. Барсалоу оказываются зависимы от ситуативных контекстов. Так, разворачивание модальной модели велосипеда для велосипедиста (1) и для человека, наблюдающего его движение со стороны (2), будет происходить разными путями: в одном случае определяющими будет моторное ощущение работы педалей, в другом - визуальный образ, в третьем - звук велосипедного звонка (например, для пешехода, которого велосипедист таким образом просит уступить дорогу) и т. п. Наглядный пример приводит В. В. Глебкин: «Ножницы в руках парикмахера и у ребенка на уроке труда будут вызывать различные семантические ассоциации и, следовательно, возбуждать различные перцептивные структуры, связанные с этим понятием» [5. С. 83].
В вербальных конструкциях актуализация модальной информации также происходит в контексте, более того, именно через контекст можно сделать акцент на ту или иную модальность, репрезентируемую представленным словом. Например, в уже рассмотренном слове «велосипед», содержащем целый комплекс сенсорных ощущений, при помощи контекстуального распространения можно актуализировать какую-то одну модальную составляющую: велосипед прошумел по мостовой (аудиальная модальность), зеленый велосипед (визуальна модальность) и т. п.
Д. Пичер, исследуя влияние контекста на восприятие слова, утверждает, что подобная актуализация
10
модального контекста способна провоцировать перенос «ведущей» модальности на следующие воспринимаемые слова: если реципиенту путем контекстного расширения сначала сделать акцент на один тип модальной информации («красная вишня»), то при восприятии следующего слова он автоматически будет настроен на визуальные характеристики репрезентируемого этим словом объекта (воспринимая слово «яблоко», он сначала актуализирует его цвет, например «зеленое яблоко»).
Выявленный эффект схож с эффектом предшествования (priming effect)2: предъявление контекстов, актуализирующих однотипную модальную информацию, повышает вероятность обращения к той же информации при восприятии следующего объекта.
Одним из эффективных методов изучения заключенной внутри слова перцептивной информации является поведенческий эксперимент. Безусловными его достоинствами являются возможность построения направленных экспериментов со сбором данных времени реакции и процента допускаемых ошибок при выполнении задания, а также обращение к методам математической статистики, что позволяет говорить о высокой степени верифицируемости полученных результатов и, следовательно, достоверности получаемых выводов. Недостатком подобного метода является ограниченность задачи (в отличие от традиционных интроспективных методов анализа, позволяющих путем анализа семантики слова и его реализации в различных контекстах выстраивать масштабную картину модальных компонентов конструкта).
Обращаясь к подобному методу исследования заключенной внутри слова модальной информации, Д. Пичер говорит об эффекте переключателя (switch) между модальностями. Для проведения эксперимента она использует слова, называющие объекты, которые совмещают в себе различный модальный и перцептивный опыт (например, банан). Каждое слово распространено до словосочетания, в котором прилагательное указывает на одну из модальностей (например, банан: желтый (визуальная модальной), сладкий (вкусовая), мягкий (тактильная) и др.) Исследователь устанавливает, что актуализация (через согласование с прилагательным) одной из модальностей в предшествующей пробе (trial) ускоряет обработку стимула соответствующей модальности в основной пробе. Например, если в предшествующей пробе респонденту предъявляется словосочетание «шуршащие листья» (аудиальная модальность актуализируется прилагательным «шуршащие»), он быстрее и вернее обработает следующее за ним словосочетание «громкий звук» в основной пробе, нежели если сначала ему будет предъявлено словосочетание «горькая клюква» (в этом случае происходит актуализация вкусовой модальности посредством согласования со словом «горькая»).
Наиболее широким спектром возможностей актуализации модальностей в контекстах (в отличие от других частей речи) в русском языке обладает имя прилагательное (ср. шершавая /мягкая ягода, красная ягода, сладкая ягода и т. п.), поскольку значение признака - основное категориальное значение указанной
части речи. Исследователи также указывают, что прилагательные не могут быть описаны без непосредственного обращения к чувственному опыту человека, следовательно, их связь с сенсомоторным опытом наиболее сильна [7]. Именно эта особенность имен прилагательных легла в основу выбора материала для исследования.
Очевидно, что не все прилагательные имеют связь с перцептивными каналами человека (напр., абсурдный, конкретный, умозрительный, абстрактный и т. д.). При этом прилагательные, тесно связанные с сенсомоторным опытом человека, как правило, репрезентируют не одну модальность восприятия. Вопрос заключается не только в количестве репрезентируемых именем прилагательным модальностей, но также в «степени, силе репрезентации». В данном случае показательны прилагательные типа «мокрый», актуализирующие параллельно несколько модальностей: тактильную (мокрый камень отличается от сухого тактильно), а также визуальную (мокрый камень темнее сухого).
Говоря о концептуальном знании, опосредованном модальностями, и о собственно модальных конструктах (симуляциях), Л. Барсалоу говорит об информации, заключенной внутри самого слова, репрезентирующего указанные конструкты. Информация о перцептивном опыте (например, опыт зрительного, вкусового, тактильного восприятия банана) хранится в долговременной памяти человека и актуализируется в момент прочтения слова (если речь идет о визуальном вербальном коде). Тот же спектр информации о модальном перцептивном опыте человека относительно этого объекта действительности (банана) актуализируется в случае, если человек услышит произнесенное кем-то слово «банан», если он увидит изображение банана на картинке и т. п. Иными словами, модальный конструкт, созданный на основе первоначального перцептивного опыта, относительно независим от канала репрезентации перцептивного символа (слова «банан»). Мы говорим относительно независим по двум причинам: во-первых, спектр актуализируемых модальных ассоциаций является контекстуально, ситуативно зависимым, о чем мы уже говорили выше. Во-вторых, на наш взгляд, должен существовать эффект, подобный эффекту переключателя (switch), только для физической и семантической модальности.
Однако тут необходимо понимать, что слово как объект восприятия человека совмещает в себе несколько особенностей. Во-первых, оно актуализирует разворачивание модального конструкта, составленного из ранее полученного перцептивного опыта восприятия предметов и явлений действительности. Во-вторых, в силу своей специфики слово само по себе может быть объектом восприятия двух модальностей: аудиальной (как последовательность звуков: [кн’и'гь]) и визуальной (как последовательность графем: «книга»). В таком случае восприятие любого модального конструкта опосредовано восприятием слова (и, вероятно, не может не зависеть от его формы):
перцептивный канал форма слова (аудиальная или визуальная) модальная симуляция (конструкт).
11
При анализе восприятия ментальных конструктов исследователями, как правило, выбирается одна форма существования слова (последовательность графем). Однако форма существования слова, на наш взгляд, должна оказывать существенное влияние на восприятие всего модального конструкта.
Теперь, говоря о модальности, мы будем разграничивать два существенных аспекта (см. рис. 1):
- семантическая информация о канале восприятия, содержащаяся в слове и актуализирующая перцептивный опыт человека, приобретенный им при восприятии объектов действительности и легший в основу формирования модальных конструктов (симуляций): например, слово «красный» актуализирует визуальный канал восприятия, так как цветовая гамма
может быть воспринята исключительно визуально и является зрительным опытом человека. Все то, о чем шла речь выше;
- физическая модальность, посредством которой в актуальный момент времени (например, при проведении эксперимента) происходит репрезентация и восприятие информации (тот канал восприятия, через который респонденты получают информацию, например аудиальный (через наушники) vs визуальный (на экране монитора)). Обусловлено это тем, что означающее языкового знака существует в двух формах. Само слово воспринимается как образ звучания - последовательности звуков -или визуальный образ - последовательность графических единиц.
Рис. 1. Связь физической и семантической модальностей
Наши предыдущие исследования [8-11] были сосредоточены преимущественно на изучении взаимодействия физических перцептивных каналов (зрение и слух) при восприятии вербальных стимулов, помещенных в условия модального конфликта. Респондентам необходимо было одновременно слушать слова, предлагаемые в наушниках, и читать слова, помещенные на экран монитора. Основные результаты, полученные в ходе подобных экспериментальных исследований, привели нас к выводу о существенном влиянии физических модальностей на восприятие слова.
Д. Пичер, говоря о выявленном ею эффекте переключателя (switch effect), анализирует информацию о модальном опыте, заключенную внутри перцептивного символа (в терминах Л. Барсалоу). Все словосочетания исследователь предлагает респондентам посредством визуального канала восприятия (на экране монитора). Поэтому можно говорить, что выявленный эффект справедлив для информации о перцептивном опыте человека, заключенной внутри слова в виде модальных конструктов, следовательно, эффект спра-
ведлив для слов, представленных в одной своей форме - как последовательности графем.
Схематично подобное взаимодействие можно изобразить следующим образом:
- Семантика ^ семантика (влияние семантики одного слова / словосочетания на восприятие другого слова / словосочетания).
- Семантика^—> семантика (взаимовлияние семантики слов / словосочетаний).
Д. Пичер наглядно демонстрирует, что подобное влияние существует: актуализация определенной модальной семантики предшествующего слова вызывает актуализацию той же модальной семантики последующего слова.
Нам представляется интересным посмотреть на поведение модальной информации (речь идет о модальных конструктах, о которых подробно было рассказано выше), транслируемой при помощи разных физических модальностей (в частности, аудиальной и визуальной одновременно), посредствующих восприятие информации через визуальную или графическую форму слова.
12
- Семантика <—> канал восприятия (существует ли связь между модальными конструктами и физической модальностью репрезентации?).
Любая информация о перцептивном опыте человека, которая ложится в основу формирования модального конструкта, связана, прежде всего, с физическим каналом восприятия: мы воспринимаем желтый цвет банана, продолговатую форму фрукта посредством визуального перцептивного канала и т.п. Следовательно, в условиях разноканального восприятия (если информация может предъявляться респонденту визуально, а может предъявляться аудиально) совпадение семантической и физической информации должно упрощать восприятие. Обработка слова «красный» предположительно будет происходить быстрее, если оно будет предъявляться в визуальном образе посредством визуального канала восприятия, нежели в звуковой форме, воспринимаемой посредством аудиального канала, потому что сенсомоторный опыт восприятия цвета связан прежде всего с визуальным опытом и потому актуализирует визуальный канал восприятия.
Это и составило гипотезу нашего исследования. Если предположить, что актуализация схожей модальной семантики (красная ягода (визуальная) и желтый лимон (визуальная)) влияет на появление эффекта переключателя (switch) в рамках одной перцептивной модальности (в случае, когда стимулы последовательно предъявляются визуально, т. е. предстают в одной своей форме: как последовательности графем), то при использовании нескольких перцептивных каналов восприятия словесного образа одновременно (аудиальная и визуальная) актуализация такой семантической информации в рамках уже физического канала восприятия должна ускорять восприятие указанной информации. Иными словами, форма существования слова (аудиальная и визуальная) должна будет оказывать влияние на восприятие модальной семантики слова. В частности, слова с визуальной семантикой успешнее будут усваиваться в визуальной форме (средствами зрительного перцептивного канала), слова с аудиаль-ной семантикой - в аудиальной форме (средствами аудиального перцептивного канала).
Метод. Для проверки выдвинутой гипотезы был проведен психолингвистический эксперимент с использованием программного обеспечения E-Prime Software Psychological Tools 2.0, позволяющий фиксировать скорость времени реакции обработки стимулов и процент правильности выполнения задания.
В качестве стимульного материала использовались слова визуальной семантики (три лексикосемантические группы: 1) названия цветов (красный, синий, желтый, зеленый), 2) названия внешних признаков человека (лысый, усатый, чернобровый), а также 3) описание формы предметов (круглый, квадратный) и т. п.); слова аудиальной семантики (слова, содержащие физические (громкий, высокий), гармонические (одноголосый, многоголосый) характеристики звука, а также описание голоса человека (писклявый, гортанный, басистый) и т. п. Всего 80 слов.
Семантика каждого прилагательного проверялась в ходе психолингвистического эксперимента при помощи шкал Лайкерта с носителями языка.
Дизайн эксперимента, таким образом, представлял собой 2*2, где в качестве независимых факторов выступили:
1. Физическая модальность предъявления информации:
- визуальная (на экране слово воспринимается как последовательность графем);
- аудиальная (в наушниках слово воспринимается как последовательность звуков).
2. Семантическая информация об актуализируемой словом модальности:
- визуальная (слова с аудиальной модальной семантикой: червен - красный);
- аудиальная (слова с аудиальной модальной семантикой: силен - громкий).
В качестве зависимой переменной собирались данные времени реакции (RT).
Процедура эксперимента предполагала использование опосредованной задачи: респондентам требовалось определить, возможно ли предлагаемыми словами описать человека (в данном случае мы не снимали проблемы многозначности и метафорических наименований человека (красный человек, квадратный человек и др.), поскольку это никак не противоречило основным целям эксперимента).
Испытуемым следовало нажать клавишу «1», если хотя бы одно из пары слов, одновременно предлагаемых на экране и в наушниках, может быть использовано для описания человека, и клавишу «2» - если ни одно слово из пары не может быть использовано для описания человека.
Экспериментальная проба (trial) включала появление фиксационного креста на 500 мс, одновременное транслирование пары стимулов (один на экран, второй - в наушники) до нажатия респондентом клавиши «1» или «2», но не более чем на 5 000 мс и межпробный интервал (ITI) длиной в 500 мс.
В качестве респондентов выступили студенты различных факультетов Нового Болгарского университета (New Bulgarian University, Sofia, Bulgaria) в возрасте от 20 до 27 лет с нормальным либо скорректированным до нормального зрением и слухом. Эксперимент проводился на материале болгарского языка.
Данный эксперимент - один из серии двуязычных русско-болгарских экспериментов, предполагающих проведение методологически единых экспериментальных сессий на материале русского и болгарского языков, что позволит впоследствии сделать вывод о влиянии структурных особенностей языков на процессы бимодального восприятия и интерпретации информации.
В данный момент проводится репликация подобного эксперимента на материале русскоязычных стимулов с носителями русского языка.
Таким образом, в каждой физической модальности восприятия (визуальной, предъявляемой на экране монитора) и аудиальной (предлагаемой посредством
13
наушников, имеющих перекрывающую поверхность) были представлены две пары стимулов: актуализирующих семантическую визуальную и семантическую аудиальную информацию.
По мере предъявления пар на экране и в наушниках могло возникнуть несколько случаев совпадения и несовпадения физической (канала восприятия) и семантической модальностей соответственно:
1. Соответствие (match) канала восприятия и семантики: в случае, когда в визуальном канале восприятия предлагалась информация, актуализирующая визуальную информацию (напр., слово червен (красный) появляется на экране), либо аналогичный случай для аудиального канала (силен (громкий) в наушниках).
2. Несоответствие (mismatch) канала восприятия и семантики: в случае, когда в визуальном перцептивном канале предлагалась информация, актуализирующая информацию аудиальной природы (напр., слово силен (громкий) появляется на экране), аналогичный случай для аудиального канала (червен (красный) в наушниках).
Поскольку дизайн эксперимента предполагает параллельное предъявление стимулов на экране и в наушниках, наиболее наглядно весь спектр типов пар стимулов можно представить следующим образом (таблица).
Типы пар стимулов
Стимулы, предъявляемые визуально (на экране) Стимулы, предъявляемые аудиально (в наушниках)
Соответствие визуальное червен (красный) Соответствие аудиальное силен (громкий)
Соответствие визуальное червен (красный) Несоответствие аудиальное жълт (желтый)
Несоответствие визуальное силен (громкий) Соответствие аудиальное звънене (звонкий)
Несоответствие визуальное силен (громкий) Несоответствие аудиальное червен (красный)
В соответствии с выдвинутой гипотезой мы предположили, что в случаях «соответствия» канала (вербального образа) и семантики время обработки стимула будет сокращаться, при этом в случаях «несоответствия» канала (вербального образа) и семантики время обработки стимула будет увеличиваться, т.е.:
1. Соответствие канала и семантики: респондент будет эффективнее обрабатывать слово с визуальной семантикой (например, червен (красный)), если оно будет иметь визуальную, графическую форму (т. е. транслироваться посредством зрительного канала восприятия). А также респондент будет эффективнее обрабатывать слово с аудиальной семантикой (например, силен (громкий)), если оно будет иметь аудиальную форму (т.е. транслироваться посредством аудиального канала).
2. Несоответствие канала и семантики: респондент будет менее эффективно обрабатывать слово с аудиальной семантикой (например, силен (громкий)), если оно будет иметь визуальную, графическую форму (т.е. транслироваться посредством зрительного канала восприятия). А также респондент будет менее эффективно обрабатывать слово с визуальной семан-
тикой (например, червен (красный)), если оно будет иметь аудиальную форму (т.е. транслироваться посредством аудиального канала)
Анализ результатов. Перед анализом все данные усреднялись, проверялись на наличие нормального распределения, а также обрезались более чем на два стандартных отклонения от значения среднего.
Статистический анализ (two-way ANOVA) данных по фактору времени реакции (RT) выявил следующие интересные закономерности.
1. Главный эффект для визуальной модальности. Анализ главного эффекта по фактору соотношения семантической и физической модальности (канала и семантики) для случаев предъявления стимулов на экране выявил наличие статистически значимого (р < 0,01) эффекта: в случае, когда на экране появляется стимул (стимул предъявляется в графической форме, воспринимаемой через визуальный канал), информативно актуализирующий визуальную модальность (напр., слов червен (красный)), обработка происходит быстрее, нежели в случае со стимулами, актуализирующими аудиальную модальность (напр., слово силен (громкий)) (см. рис. 2). Данный вывод согласуется с выдвинутой в начале исследования гипотезой.
2. Эффекты аудиальной модальности. Для
аудиальной модальности (в случае, когда стимулы предъявляются в адиуальной форме, в виде последовательности звуков: силен, червен и т. п.) статистически значимых эффектов обнаружено не было, за исключением явления намечающейся интерференции.
Если для визуальной модальности ускорение обработки стимулов происходит в случаях соответствия формы слова (визуального образа) и семантики заключенного в нем модального конструкта (например, на экране появляется слово червен (красный)), то в аудиальной модальности ускорение обработки стимулов происходит в обратном случае: при несоответствии формы слова (звуковой оболочки слова, воспринимаемой посредством аудиального канала восприятия) и семантического конструкта (напр., в случае, если в наушниках звучит слово червен (красный)).
3. Интеракция между анализируемыми факторами. На графике (рис. 3) хорошо видно соотношение указанных явлений между собой. В данном случае следует напомнить условия процедуры проведения эксперимента, предполагавшей одновременное предъявление стимулов на экране и в наушниках.
Помимо уже обозначенного главного эффекта для визуальной модальности (см п. 1), предполагающего сокращение времени обработки стимулов при совпадении визуальной семантики и формы слова (канала и семантики), мы можем наблюдать еще один интересный эффект.
Напоминаю, что для каждого случая несоответствия в визуальной модальности (слово силен (громкий) на экране) может быть два случая в аудиальной модальности так, чтобы получились пары (см. рис. 3):
14
- A - несоответствие визуальное (силен (громкий) - Б - несоответствие визуальное (силен (громкий)
на экране) + несоответствие аудиальное (нервен на экране) + соответствие аудиальное (силен (гром-(красный) в наушниках); кий) в наушниках).
Рис. 2. Главный эффект для визуальной модальности
1450
1400
1350
1300
1250
| 1200 со
О- 1150
о:
К 1Ю0
m
1050
1000
950
900
850
несоответствие соответствие визуальная модальность
аудиальная модальность соответствие :?7 несоответствие
Рис. 3. Соотношение факторов физической и семантической модальностей
Для каждого случая соответствия в визуальной модальности (нервен (красный) на экране) может быть, соответственно, два случая в аудиальной модальности:
- В - соответствие визуальное (нервен (красный) на экране) + несоответствие аудиальное (нервен (красный) в наушниках);
- Г - соответствие визуальное (нервен (красный) на экране) + соответствие аудиальное (силен (громкий) в наушниках).
Анализ показывает, что в случаях несоответствия для визуальной модальности (случаи А и Б) мы не можем говорить о наличии статической разницы между обработкой аудиальных стимулов (следовательно, о каком-либо влиянии физической аудиальной модальности на визуальную).
В случаях соответствия в визуальной модальности (случаи Г и В) появление дистракторной аудиальной информации существенно сокращает время обработки стимула по сравнению с идентичной информацией. То есть если на экране появляется слово нервен (красный), то обработка его будет идти успешнее (быстрее) в том случае, если в этот момент в наушниках появится слово также визуальной семантики (например, жълт (желтый)). Обработка того же слова нервен (красный) будет затруднена, если одновременно с этим в наушниках появится слово аудиальной семантики (например, силен (громкий)).
Похожий эффект наблюдается и в противоположных случаях (случаи А и Б): когда на экране появляется слово аудиальной семантики (например, слово силен (громкий)), параллельно звучащее в наушниках
15
слово звънене (звонкий) сокращает время реакции, а параллельно звучащее слово червен (красный) - увеличивает его. Однако о статистической значимости этих случаев говорить не приходится.
Выводы:
1. Взаимодействие формы слова (канала восприятия) и модальной информации. На основании проведенного эксперимента и анализа полученных данных можно говорить о том, что первоначальная гипотеза о влиянии формы существования слова на успех восприятия семантической информации, заложенной в самом слове и актуализирующей ту или иную модальность восприятия, подтвердилась.
Наличие на экране слова (визуальный перцептивный канал), описывающего внешние характеристики объектов и предметов действительности, воспринима-
емые человеком посредством визуальной модальности (например, цвета или очертания объектов), существенно сокращает обработку этих стимулов по сравнению со стимулами, характеризующими явления аудиальной природы. То есть слова, имеющие визуальную семантику (красный, желтый, лысый, круглый), успешнее усваиваются в графической форме посредством визуального канала восприятия, нежели слова, имеющие аудиальную семантику (громкий, писклявый).
2. Межканальное взаимодействие. Мы можем говорить о том, что подобная детерминация свойственна и для условий межканального соотношения. Появление в слуховом канале слова визуальной семантики (все того же наименования цвета, например) катализирует усвоение информации, получаемой посредством визуального канала восприятия.
ПРИМЕЧАНИЯ
1 Термин «концепт» является одним из наиболее употребительных и вместе с тем наименее четко дефинированным термином в российской лингвистике. Проблеме терминологического разграничения можно посвятить отдельное исследование, однако в данном случае терминологические тонкости не имеют принципиального значения для понимания основного предмета описания статьи. Под термином «концепт» мы подразумеваем динамический ментальный конструкт (включающий эмоциональный и др. компоненты), частью которого, помимо прочего, являются и «мультимодальные симуляции» (в терминах Л. Барсалоу), отражающие опыт сенсомоторного взаимодействия человека с предметами и явлениями действительности (см., например, [6. С. 90]). Придерживаясь точки зрения о наличии различий в терминах «понятие» и «концепт», в рамках данной статьи мы употребляем их как синонимические.
2 Прайминг определяется как «изменение способности опознать или извлечь из памяти объект в результате особой предшествующей встречи с этим объектом» [12]. В данном случае имеется в виду, что актуализация модальной информации одного объекта провоцирует смещение фокуса внимания на схожую модальную информацию следующего в очереди объекта.
ЛИТЕРАТУРА
1. Varela F.J., Thompson E., Rosch E. The Embodied Mind: Cognitive Science and Human Experience. Cambridge MA : MIT Press, 1991. 328 с.
2. Pecher D. Sensorimotor simulations underlie conceptual representations: Modality-specific effects of prior activation // Psychonomic Bulletin &
Review. 2004. Vol. 11 (1). P. 164-167.
3. Barsalou L.W. Perceptual symbol systems // Behavioral and Brain Sciences. 1999. № 22. P. 577-660.
4. Pecher D. Verifying different-modality properties for conceprs produces switching costs // Psychological science 2003. Vol. 14, No. 2. P. 119-124.
5. Глебкин В.В. Лексическая семантика: культурно-исторический подход. М. : Центр гуманитарных инициатив, 2012. 256 с. (Humanitas).
6. Залевская А. А. Текст и его понимание. Тверь, 2001. С. 90.
7. Колбенева М.Г., Александров Ю.И. Органы чувств, эмоции и прилагательные русского языка : лингво-психологический словарь / Ин-т
психологии РАН. М. : Языки славянских культур, 2010. 368 с.
8. Некрасова Е.Д. К вопросу о восприятии полимодальных текстов // Вестник Томского государственного университета. 2014. № 378.
C. 45-48.
9. Некрасова Е.Д. Влияние межмодального конфликта на восприятие вербальных стимулов // Вестник Томского государственного универ-
ситета. 2015. № 392. C. 21-26.
10. Некрасова Е.Д. Полимодальное восприятие вербальных стимулов в условиях конфликта модальностей (экспериментальное исследование) // Шестая международная конференция по когнитивной науке : сб. докл. Калининград : БФУ, 2014. С. 441-443.
11. Резанова З.И., Некрасова Е.Д. Влияние грамматической категории рода на бимодальное восприятие имен существительных болгарского языка // Русин. 2015. № 3 (41). С. 241-255.
12. Фаликман М.В. Прайминг и прайминг-эффекты (эффекты предшествования). The virtual CogLab. URL: http://old.virtualcoglab.ru/pro-jects/priming. html
Статья представлена научной редакцией «Филология» 27 ноября 2015 г.
THE SEMANTICS OF WORDS AND A PERCEPTIVE CHANNEL: THE IMPACT OF SENSOMOTOR EXPERIENCE ON THE PERCEPTION OF WORDS
Tomsk State University Journal, 2016, 402, 10-17. DOI: 10.17223/15617793/402/2
Nekrasova Elena D. Tomsk State University (Tomsk, Russian Federation). E-mail: [email protected]
Keywords: cognitive linguistics; embodied cognition; modal correspondence; psycholinguistic experiment; reaction time; modality.
The article describes the main results in the field of interaction between word semantics and perception channels (the physical form of the word). The word is an object of the two modalities. Therefore, the word can have two forms of physical existence: the auditory shell (the word as a sequence of sounds) and the visual shell (the word as a sequence of graphs). Any word mediates the perception of a semantic multimodal simulation (in terms of L. Barsalou). A multimodal simulation is a mental construct that contains information about modalities that help to perceive certain objects or phenomena of reality. The word semantics is investigated on the material of Bulgarian adjectives containing information about modality. For example, “cherven” is “red”, “silen” is “loud”, etc. The author suggests that a semantic modal simulation is mediated by word perception. The word has two forms of existence: auditory and visual. A person can perceive the word through two sensory channels: visual and auditory. The basis of the study is a
16
hypothesis that the form of word existence (and, therefore, the channel of perception) will affect the perception of words with auditory or visual semantics. Words with visual semantics (“cherven” - “red”) will be more successfully (faster) acquired if they are perceived through the visual perceptual channel. Words with auditory semantics (“silen” - “loud”) will be successfully acquired if perceived through the auditory perceptual channel. A behavioral RT-experiment is being conducted to test this hypothesis. The experiment involves parallel bimodal presentation of words with visual and auditory semantics. Some of the words are given on the screen, the others in the headphones. The hypothesis was confirmed for the visual modality. Words with visual semantics (red, yellow, bald, round) are better perceived in their graphical form through the visual channels of perception, unlike words with auditory semantics (loud, squeaky). Such a determination is typical for the conditions of the interchannel correlation. The appearance of words with visual semantics in the audial channel (names of colors, for example) catalyzes the perception of information received through visual channels of perception.
REFERENCES
1. Varela, F.J., Thompson, E. & Rosch, E. (1991) The Embodied Mind: Cognitive Science and Human Experience. Cambridge, MA: MIT Press.
2. Pecher, D. (2004) Sensorimotor simulations underlie conceptual representations: Modality-specific effects of prior activation. Psychonomic Bulle-
tin & Review. 11 (1). pp. 164-167. DOI: 10.3758/BF03206477
3. Barsalou, L.W. (1999) Perceptual symbol systems. Behavioral and Brain Sciences. 22. pp. 577-660.
4. Pecher, D. (2003) Verifying different-modality properties for concepts produces switching costs. Psychological Science. 14 (2). pp. 119-124.
5. Glebkin, V.V. (2012) Leksicheskaya semantika: kul’turno-istoricheskiy podkhod [Lexical Semantics: a cultural-historical approach]. Moscow:
Tsentr gumanitarnykh initsiativ.
6. Zalevskaya, A.A. (2001) Tekst i egoponimanie [Text and its understanding]. Tver: Tver State University.
7. Kolbeneva, M.G. & Aleksandrov, Yu.I. (2010) Organy chuvstv, emotsii i prilagatel’nye russkogo yazyka: lingvo-psikhologicheskiy slovar’ [Senses,
emotions and adjectives of the Russian language: a linguistic and psychological dictionary]. Moscow: Yazyki slavyanskikh kul’tur.
8. Nekrasova, E.D. (2014) On multimodal perception of the text (a psycholinguistic experiment). Vestnik Tomskogo gosudarstvennogo universiteta —
Tomsk State University Journal. 378. pp. 45-48. (In Russian).
9. Nekrasova, E.D. (2015) The influence of intermodal conflict on perception of verbal stimuli. Vestnik Tomskogo gosudarstvennogo universiteta —
Tomsk State University Journal. 392. pp. 21-26. (In Russian).
10. Nekrasova, E.D. (2014) [Multimodal perception of verbal stimuli in conflict modalities (experimental research)]. Shestaya mezhdunarodnaya konferentsiya po kognitivnoy nauke: sbornik dokladov [The Sixth International Conference on Cognitive Science: collection of reports]. Kaliningrad. 23-27 June 2014. Kaliningrad: Baltic Federal University. pp. 441-443. (In Russian).
11. Rezanova, Z.I. & Nekrasova, E.D. (2015) The Influence of Grammatical Gender on the Bimodal Perception of Bulgarian Nouns. Rusin. 3 (41). pp. 241-255. (In Russian).
12. Falikman, M.V. (n.d.) Prayming i prayming-effekty (effekty predshestvovaniya) [Priming and priming effects (effects of precedence)]. [Online]. Available from: http://old.virtualcoglab.ru/projects/priming.html
Received: 27 November 2015 17
17
