CC BY
160
Сонин А.Г. ОБЩЕПСИХОЛОГИЧЕСКИЕ И КОГНИТИВНЫЕ МЕХАНИЗМЫ...
43
А.Г. Сонин
общепсихологические и когнитивные механизмы понимания
мультимедийных текстов
Бурное развитие новых средств массовой формации и за счет их более гибкой струк
коммуникации постепенно приводит к сни
туры, то вскоре эйфория прошла, как это уже
жению исключительной значимости печат
не раз случалось, когда надежды, возлагае
ного слова в создании, преумножении, хра
мые на технологические новшества, не со
нении, поиске, обработке и распространении провождались серьезным осмыслением форм знаний. Использование новых технологий и методов их использования. Многие экспе-позволяет соединять вербальную информа- риментальные исследования показали, что
цию с наглядной, аналогической. Небывалое индивид может сталкиваться с серьезными
распространение таких произведений обус- затруднениями, пытаясь усвоить информа-
ловило интерес, который стали проявлять цию, предлагаемую в мультимедийной фор-
специалисты в самых разных отраслях на- ме [37]. Даже опытный пользователь неред-
уки к механизмам динамического взаимодей- ко теряется в лабиринтах гипертекста,
ствия между вербальной и образной состав ля- осуществляя поиск в Интернете, а ученик,
ющими мультимедийного текста (МТ), а также использующий мультимедийную обучающую
к интерактивным формам работы с текстом, программу, далеко не всегда справляется с
обеспечиваемым персональным компьютером, постоянными переходами от учебного видео-
Очевидно, что новые тексты предполага- материала к дидактическому комментарию
ют новые способы чтения, репрезентации и и назад, будучи не в состоянии освоить но-
концептуализации. Возможно, когнитивные вые когнитивные стратегии восприятия. Ис-
механизмы, используемые при постраничном следователи также ставят вопрос о когни-
чтении вербального текста, отличаются от тивных затратах, связанных с симультанным
тех, что задействованы индивидом при чте
и квазисимультанным восприятием гетеро
нии гипертекста в Интернете, а репрезента- генных составляющих [29; 35].Одним словом, ция содержания полимодального вербально- радужные ожидания разработчиков мульти-
рисуночного текста строится иначе, чем медийной продукции постепенно сменяются
репрезентация содержания вероального про- многочисленными вопросами и проблемами,
изведения. В связи с этим перед исследова- Ясно лишь одно: простое соположение гете-
телями встают задачи выяснения специфи- рогенных произведений без концептуально-
ки мотивационных, когнитивных и других го осмысления общих принципов построения
механизмов, используемых для понимания МТ и специфики его понимания вряд ли при-
текстов нового типа, раскрытия особенное
ведет к революционным изменениям в отно
теи взаимодействия между разными перцеп
шениях человек-текст.
тивными модальностями и семиотическими
этой работе делается попытка указать
системами в рамках одного текста, уточне- на самые общие проблемы, связанные с рас-ния механизмов воздействия на индивида пространением МТ, раскрыть когнитивную каждой из отдельно взятых составляющих основу специфики их понимания, уточнить
МТ, установления степени эффективности и особенности обработки гетерогенных состав
целесообразности использования таких тек- ляющих текстов такого типа и установить
стов, связанной со способностью индивида их
механизмы взаимодеиствия между этими
интегрировать, и многие другие.
процессами. Однако прежде необходимо уточ
Если поначалу представлялось очевид- нить, что мы понимаем под мультимедийным
ным, что мультимедийные произведения дол
произведением и на каких основаниях такое
жны характеризоваться большей эффектив- произведение может быть противопоставле-
ностью в передаче информации по сравнению но другим видам текста. Эта необходимость
с близкими по содержанию вербальными обусловлена тем, что понятийный аппарат,
произведениями за счет одновременного ис- используемый для анализа МТ, находится
пользования разных каналов передачи ин- еще в стадии формирования. Многие иссле
дователи - как российские, так и западные -называют мультимедийным любой текст, включающий, кроме вербальной составляющей, произведение иной семиотической природы, что позволяет рассматривать в качестве мультимедийного такие разные формы, как иллюстрированный письменный текст, телевизионную передачу и функционирующий на основе компьютерной программы гипертекст Интернета. Представляется, что такое размывание границ изучаемого объекта не способствует взаимопониманию между специалистами, занимающимися его изучением. Предлагаемые далее определения рассматриваются как рабочие, направленные на частичное преодоление терминологической неустойчивости и неоднозначности, характеризующих исследования МТ.
Определение
мультимедийного произведения
Соединение текстов различной семиотической природы привело к созданию самых разных комбинированных произведений. Сначала кинематограф, названный седьмым и «самым народным» из искусств, а затем и телевидение, быстро превратившееся в важнейшее орудие формирования общественного сознания, стали неотъемлемой частью жизни современного общества. Если к этим средствам коммуникации добавить комикс, рекламу в ее журнальном, плакатном или телевизионном вариантах, массовую компьютеризацию, а также все менее виртуальную сеть Интернета, то с большой долей уверенности можно говорить о заметном повышении роли смешанных вербально-изобразительных форм в культуре нового тысячелетия.
Зрительная информация, воздействующая на индивида по схеме «от увиденного к усвоенному», получает все более широкое распространение, нарушая монополию печатного текста на передачу информации в самых разных сферах жизнедеятельности человека. Как справедливо замечает Вайан, инструкции по эксплуатации все больше напоминают комиксы, настенные правила безопасности - детский альбом-раскраску, панели управления электробытовых приборов нередко содержат только идеограммы [44]. Печатная продукция сдает свои позиции под натиском телевидения и Интернета. В то же
время сами газеты и журналы продолжают увеличивать долю зрительной информации в предлагаемом читателю материале.
Стремление к максимальной очевидности и зрительной наглядности означаемого трудно отнести к специфическим чертам современного общества. Во все времена иконографические знаки предпочитались типографическим как на вывеске перед лавкой торговца или мастерской ремесленника, так и на родовом гербе дворянина, а такой важный элемент христианской культуры, как религиозное образование масс, в большой степени опиралось на иконы, фрески или витражи храмов. Таким образом, революционными можно считать достижения технического прогресса, открывающие новые возможности структурирования наглядной иконической информации, но не само стремление к ее широкому использованию.
Склонность человека к «совершенствованию изобразительной техники при стабильности вербальных средств информации» отмечается российскими исследователями Н.И. Гореловым и К.Ф. Седовым. Прослеживая историю совершенствования коммуникативных возможностей человека, ученые приходят к выводу, что «для человека естественно увеличивать объем зрительной информации, ее ресурсы и возможности сравнительно с другими видами и средствами коммуникации» [54].
По-видимому, первыми и самыми простыми средствами массовой коммуникации, соединившими вербальный и изобразительный тексты, можно считать иллюстрированный роман и иллюстрированный журнал для детей. Специфика этих произведений, а также появившегося несколько позже комикса состоит в том, что включаемые ими тексты различны по своей семиотической природе, однако представляют собой лишь разные перцептивные модальности зрительного восприятия. Никакие другие каналы при чтении таких текстов не за действу юте я. В связи с этим подобные тексты в дальнейшем будут называться полимодальными, а их семиотически разнородные составляющие - гетерогенными. Необходимо отметить, что при всей «простоте» таких произведений по сравнению телевизионными передачами и компьютерными программами, восприятие которых требует подключения дополнительных каналов, раскрытие когнитивных механизмов понимания
полимодальных текстов остается крайне сложной проблемой, исследование которой до сих пор не преодолело уровень эмбрионального развития.
В отличие от полимодальных текстов тексты многоканальные позволяют гибко комбинировать более широкий спектр гетерогенных составляющих. Кроме письменного вербального текста, в них входят звучащий устный текст диалогического характера и квазиустный (прочитанный вслух письменный) текст комментариев. Звуковая составляющая также может включать шумовые и музыкальные средства структурирования текста. Рисуночные изобразительные произведения нередко обогащаются в таких текстах элементами анимации (мультипликационные произведения), а также видеоматериалами. Целесообразность использования элементов анимации признается далеко не всеми исследователями. Так, Р. Лоу утверждает, что у индивидов, не имеющих достаточных знаний в области, к которой относится изучаемый текст, анимация может вызывать проблемы с усвоением содержащейся в нем информации. Исследователь объясняет этот экспериментально установленный факт перегрузкой внимания: фиксация отношений между различными фреймами анимации не оставляет достаточно ресурсов для других когнитивных действий, обеспечивающих понимание и усвоение содержания текста. Лоу указывает еще на одну немаловажную проблему. Согласно его наблюдениям новички отмечают и запоминают в первую очередь не концептуально релевантные, а формально выделенные компоненты текста: те, что подвергаются наиболее заметным изменениям или, наоборот, остаются практически неизменными. В связи с этим при несовпадении степени формальной выделенности компонентов многоканального текста и степени их концептуальной значимости неподготовленный реципиент испытывает серьезные затруднения с построением программируемой создателями этого текста ментальной репрезентации [30]. Заключения Лоу отчасти подтверждаются экспериментами Д. Ливолтер, которая при исследовании различных стратегий понимания «анимированного» произведения обнаружила, что грамотно составленная статичная иллюстрация не уступает динамичной [28]. Таким образом, доказать эффективность
видеоматериала по сравнению с обычной статичной иллюстрацией крайне сложно. На сегодняшний день не существует теории, которая бы рационально объясняла, какие факторы (свойства текста, качества субъекта, мотив и цели его деятельности) обусловливают преимущества видео перед статичным рисунком, и предлагала пути оптимального использования этих преимуществ. Пока же создатели мультимедийных программ включают в свои произведения столько видеоматериалов, сколько это позволяет сделать бюджет, исходя из принципа «чем больше - тем лучше».
Наконец, собственно мультимедийным будет называться произведение, доступ к гетерогенным составляющим которого регулируется компьютерной программой, изменяющей текст в зависимости от выбранной субъектом стратегии его чтения. Такое свойство МТ будет называться интерактивностью и рассматриваться как главная отличительная характеристика этих текстов по сравнению с текстами полимодальными и многоканальными. Наиболее распространенной формой интерактивности является гипертекст, т.е. такая организация электронного мультимедиа, которая позволяет переходить от одного текста к связанным с ним произведениям при помощи активации соответствующего поля этого текста. Эта возможность в наибольшей степени используется сегодня в электронных словарях и энциклопедиях, а также является основным принципом построения глобальной электронной сети Интернет.
Отмеченные выше структурные особенности сложных текстов, включающих гетерогенные составляющие, позволяют определить в качестве их ключевых свойств полимодальность {многоканальность) как сопряжение в едином пространстве разных по своей семиотической природе произведений и интерактивность как гибкую обусловленность реакции компьютерной программы на действия пользователя. Ниже будут рассмотрены общепсихологические и когнитивные механизмы, лежащие в основе понимания текстов с указанной структурной спецификой.
Полимодальность (многоканальность)
Какие бы особые качества и функции — мотивационные, риторические, иные - ни
приписывались составляющим полимодального и многоканального текстов, их специфика обусловлена не столько особенностями этих составляющих, сколько синергетичес-ким эффектом их взаимодействия. Справедливость выдвигаемого положения была доказана автором этих строк на материале «комиксового» текста [58]. Анализ последнего показал, что его становление как специфического полимодального текста происходит на основе объединения генетически разных знаковых систем, служащих для выражения общего смысла, в едином графическом пространстве. Рисуночная и вербальная составляющие взаимодействуют, порождая особые компоненты структуры текста. В частности, вербальный текст начинает участвовать в процессах смыслопорождения своей графической формой, а рисуночная составляющая организуется с учетом сложившихся правил чтения письменного вербального текста. По-видимому, формальное и концептуальное структурирование более сложных многоканальных и собственно мультимедийных текстов осуществляется на тех же основаниях. Косвенным подтверждением тому могут быть результаты экспериментальных исследований, полученные Р. Майером [34] на материале иллюстрированных книжных текстов и компьютерных программ. Автор подчеркивает, что «мультимедийный» эффект (субъект усваивает лучше иллюстрированный текст) и эффект «пространственной соположенности» (субъект усваивает лучше, когда текст и иллюстрация находятся рядом) в равной степени проявляются как в компьютерном, так и в книжном текстах.
Рисунок и график всегда появляются в сопровождении короткого пояснительного текста или названия. Анимированные рисунки и видеоматериалы имеют собственную звуковую дорожку, включающую устный и квазиустный вербальный текст. Письменный вербальный текст, даже если он не иллюстрируется рисунком, выстраивается в соответствии с общей графической концепцией включающего его мультимедийного произведения. Одним словом, применяемые в МТ в разных комбинациях составляющие практически никогда не функционируют изолированно друг от друга. Текст, полученный на основе соположения гетерогенных компонентов, всегда больше, чем просто сумма состав-
ляющих. Включаясь в состав более сложного произведения, попадая в новый контекст, последние меняют на основе взаимодействия свою структуру, свои функции, свой «синтаксис».
Разные составляющие могут дополнять друг друга, во-первых, содержательно, что позволяет распределять сложную информацию по нескольким гетерогенным компонентам во избежание информационной перегруженности каждого из них, во-вторых, формально, поскольку каждая форма отличается от других эффективностью в передаче определенного типа информации: вербальный текст значительно лучше передает ассертивность конструкций и выражает временные отношения, рисунок лучше приспособлен для отражения пространственных отношений. В-третьих, каждая из составляющих может определять направление интерпретации других Щ Указанные особенности полимодальных и мультимедийных текстов позволяют представить их содержание в разных ракурсах, комбинируя комплементарные и взаимообусловливающие составляющие. Это позволяет читателю усваивать представляемый материал на основе сочетания разных стратегий чтения и понимания, а также повышает возможность возникновения синер-гетического эффекта при усвоении знаний с опорой на полимодальный (многоканальный) текст.
Хотелось бы особо подчеркнуть, что речь идет лишь о возможности возникновения синергии составляющих, которая не должна восприниматься как нечто само собой разумеющееся. Эффект зависит как от организации составляющих внутри МТ, так и от способности читающего дополнять устанавливаемую внутримодальную связность каждой составляющей связностью межмодальной, без чего построение единой ментальной репрезентации содержания текста, а также ее последующее эффективное использование просто невозможны. Затруднения, с которыми может столкнуться индивид, не подготовленный к работе с полимодальными текстами, отмечаются многими исследователями (см., например, [46]). Нередко отмечается и тот факт, что неподготовленный читатель вместо того, чтобы опираться на обе составляющие, концентрируется на одной из них (более привычной или лучше структурированной) [8, 39, 43]. Эти и некоторые другие проблемы показали, что систе-
матическое изучение способов организации входящих в МТ гетерогенных составляющих, оптимизация использования многоканально-сти и мобилизация необходимых для этого семиотических и речевых навыков индивида невозможны без построения адекватной модели понимания полимодального текста.
Когнитивные модели понимания полимодальных текстов
В исследовании полимодальных текстов может быть выделено два основных этапа, которые, по сути, представляют два разных аспекта рассмотрения проблемы их понимания. Первый этап приходится на 80-е гг. XX в. и отмечен преимущественно работами по педагогической психологии, в которых исследуется влияние иллюстраций на понимание и запоминание вербального текста. Основным приемом в изучении иллюстрированных текстов было сравнение усвоения учащимися двух форм: вербального текста, представленного в устной или письменной форме, и того же текста, сопровождаемого иллюстрациями (рисунки, схемы, графики). В. Леви и Р. Лентц [26] анализируют 48 таких работ, а более позднее исследование Левина и его коллег [27] сравнивает результаты 150 экспериментов. В целом накопленный эмпирический материал недвусмысленно свидетельствует о преимуществе иллюстрированных текстов и позволяет уточнить многие параметры, которые могут влиять на результаты: функция иллюстраций, способ представления вербального текста, тип контролируемой информации и др. Однако собравшие его исследователи ограничивались дескриптивным анализом, не делая попытки объяснить когнитивные механизмы, обусловливающие эффективность иллюстраций, которая выявлялась в экспериментах.
Начало второго этапа в изучении иллюстрированных текстов приходится на 1990-е гг., когда появляется больше работ когнитивной направленности, в которых предпринимается попытка осмыслить накопленный экспериментальный материал (см., например, [19; 20, 32]). Это осмысление проводится главным образом на основе одной из двух теорий: теории двойного кодирования А. Пэй-вио [6; 36] и теории ментальных моделей П. Джонсона-Лэарда [23].
Согласно теории двойного кодирования когнитивная деятельность индивида управляется функционированием двух систем, или двумя видами репрезентации, каждый из которых характеризуется специфическими чертами (структурными и функциональными);
а) системой образных репрезентаций, развитие которой связано с опытом конкретных взаимодействий с окружающей средой (ее использование обычно определяется такими ситуациями, в которых индивид обрабатывает информацию о конкретных объектах и событиях);
б) системой вербальных репрезентаций, связанной с опытом вербального общения и в меньшей степени зависящей от конкретности/абстрактности ситуации (ее значимость тем выше, чем абстрактней задача, стоящая перед индивидом).
Слова и фразы обычно обрабатываются и кодируются только вербальной подсистемой, тогда как рисунки обрабатываются и кодируются сразу двумя подсистемами — вербальной и образной, В связи с этим эффект, производимый иллюстрацией, приписывается преимуществам двойного кодирования.
Наиболее последовательно теория двойного кодирования в применении к механизмам понимания полимодальных текстов развивается в последние годы Р. Майером [32-34]. Предлагаемая им модель, кроме уже упомянутого постулата двойного кодирования, опирается на два положения, разделяемых большинством исследователей-«когнитивистов». Это положение об ограниченности ресурсов (the limited capacity assumption}, которые могут единовременно использоваться когнитивной системой для обработки поступающей информации [2; 3; 5], а также положение об активном характере усвоения информации (the active learning assumption). Суть последнего постулата состоит в том, что осмысленное усвоение материала субъектом возможно лишь при его активной деятельности с привлечением внимания к релевантным моментам текста и изображения, с организацией информации в связные репрезентации и последующей интеграцией репрезентаций вербального и рисуночного содержания в концептуальной системе индивида [34; 50].
Согласно модели Майера первый этап понимания полимодального текста состоит в отборе информации, когда на основе зву-
чащего и/или письменного текста субъект строит вербальные репрезентации, а на основе видеоряда - образные. На этом этапе в результате раздельной обработки вербальной и изобразительной составляющих разными когнитивными подсистемами строятся ментальные репрезентации разного типа: отбор вербальной информации ведет к построению пропозициональной базы текста, а изобразительная информация служит для построения зрительного образа. На следующем этапе обработки — этапе организации -пропозициональная база трансформируется в связную ментальную репрезентацию вербального материала (формирование вербальной модели), а первичный образ оформляется в репрезентацию рисуночной составляющей (формирование образной модели). На третьем этапе устанавливаются связи между вербальной и образной моделями, с одной стороны, и между выстраиваемой общей моделью полимодального текста и концептуальной базой -с другой. Механизм прохождения третьего этапа - этапа интеграции - представляется автором как взаимное наложение двух моделей, построенных на втором этапе. Полученная в результате информация хранится в долгосрочной памяти для последующего использования [34].
Один из наиболее очевидных недостатков объяснения процессов понимания МТ, основанного на теории двойного кодирования, состоит в попытке рассмотреть структурно-концептуальную интеграцию содержания составляющих текста как процесс «наложения» вербальной и образной репрезентаций. Поскольку речь идет о разных форматах репрезентации, такое структурное наложение в принципе невозможно: вербальная репрезентация (пропозициональный формат) основана на формально произвольных конвенциональных символах, а образная репрезентация - на аналогических. На сегодняшний день исследователи предлагают два способа решения этой проблемы. Один из них опирается на теорию ментальных моделей [41], другой — на идеи, сформировавшиеся в рамках коннекционистской парадигмы [42].
При построении своей модели Шнотц и Баннерт опираются на противопоставление дескрипции (description) и депикции (depiction) как фундаментально различных
форм репрезентации. Авторы полагают, что в ходе понимания МТ одновременно разворачиваются два процесса, первый из которых связан с обработкой вербальной составляющей, а второй - с восприятием изобразительных компонентов текста. Понимание вербального произведения трактуется в духе трехэтапной концепции ван Дейка и Кинча [45]. Первый этап связан с построением субъектом ментальной репрезентации поверхностной структуры текста. В ходе второго этапа на основе первичного представления о структуре текста порождается пропозициональная репрезентация его семантического содержания. Наконец, на основе полученной информации строится ментальная модель содержания текста, или модель описанной в нем ситуации. Авторы подчеркивают, что в ходе построения ментальной модели дескриптивная репрезентация (пропозициональный, произвольный по отношению к отображаемому формат) переходит в депиктивную (структурно изоморфную описываемой ситуации), Таким образом, в рамках процесса понимания вербальной составляющей пропозициональные репрезентации и ментальные модели непрерывно взаимодействуют до оформления итогового представления.
При понимании изобразительной составляющей полимодального текста индивид порождает на основе первичных перцепций образную репрезентацию. По мнению авторов, последняя строится благодаря неосознаваемым процессам, которые включают идентификацию и дискриминацию графических компонентов, а также их визуальную организацию по законам, установленным гештальт-психологией [49]. Сформированная де-пиктивная репрезентация сохраняет структурные характеристики рисунка, однако для понимания содержания изобразительной составляющей такой репрезентации недостаточно, Она должна подвергнуться семантической обработке, суть которой заключается в проецировании представления о графических компонентах объекта на ментальные схемы. Другими словами, понимание рисунка рассматривается как процесс аналогического структурного проецирования между системой зрительно-пространственных отношений и системой семантических отношений [13; 40]. Результатом такого проецирования будет еще одна ментальная модель. Вне зави-
симости от того, построена ли она на основе вербального или рисуночного текста, она является внутренней депиктивной репрезентацией, обладающей структурным и/или функциональным сходством с репрезентируемым объектом [22; 23]. При этом В. Шнотц и М Баннерт подчеркивают, что на основе полученной ментальной модели может быть построена новая пропозициональная репрезентация содержания полимодального текста.
Таким образом, в отличие от модели Май-ера, концепция, опирающаяся на теорию ментальных моделей, отказывается от постулата зависимости формата репрезентации от формы представления информации в тексте. Вне зависимости от внешней формы текста в ходе его понимания строятся как дескриптивная, так и депиктивная репрезентации. Другое фундаментальное отличие состоит в том, что двойное кодирование допускается не только при обработке рисунка, но и при интерпретации содержания вербального текста. При этом построение ментальной модели рассматривается не просто как суммирование двух кодов, имеющее количественное преимущество перед одинарным кодированием. Объяснение преимуществ иллюстрированного текста идет за счет указания на определенную комплементарность этих кодов. То, что в модели двойного кодирования рассматривается как структурно интегрированная репрезентация, основанная на вербальной и образной репрезентациях, в теории Шнотца и Баннерта представлено как непрерывный процесс построения аналогической ментальной модели и ее корректировки; дескриптивные и депиктивные репрезентации не могут быть наложены друг на друга, но они способны взаимодействовать.
Несмотря на очевидные преимущества этой концепции перед моделью, построенной с опорой на теорию двойного кодирования, она не позволяет дать ответы на принципиальные вопросы, связанные с пониманием МТ. В частности, авторы не конкретизируют механизмы взаимодействия ментальных моделей, порождаемых на основе составляющих разной семиотической модальности. Более того, лежащая в основе концепции теория ментальных моделей в принципе не позволяет описать эти механизмы, так как по все еще справедливому замечанию Деньера и Бодэ, «на сегодняшний день когнитивистика
не располагает концептуальным аппаратом, который позволял бы описывать аналогические ментальные структуры» [П, с. 137]. Указанная теория создавалась как форма критики пропозициональных моделей. В поисках альтернативы последним Джонсон-Лэард довольствуется лишь указанием на возможность трансформации первичных репрезентаций, близких к поверхностной структуре текста, в аналогические репрезентации {ментальные модели), но не формулирует никаких конкретных механизмов, позволяющих осуществлять такую трансформацию.
Думается, что более тонкий анализ когнитивных механизмов понимания МТ возможен на основе коннекционистских моделей, одинаково успешно используемых как для распознавания рисуночного текста, так и для имитации высших когнитивных функций. Рассредоточенные сети - основа таких моделей - изначально создавались для имитации принципов работы нейронной сети. Как следствие, они опираются на современные знания о нейрофизиологической основе когнитивных процессов и позволяют предложить с опорой на эти знания конкретные механизмы построения ментальной репрезентации. Кроме того, при использовании указанного формата проблема интерпретации когнитивных процессов логически независима от проблемы существования специфических подсистем обработки (пропозициональной, аналогической, полимодальной). Даже если постулировать вслед за Фодором [14] модульную организацию когнитивной системы и разделение функций, остается неоспоримым тот факт, что все когнитивные процессы проходят на единой нейронной основе, одинаковой для любого модуля.
Для моделирования процессов построения ментальной репрезентации текста любого типа - вербального, рисуночного, полимодального - исследователи- «коннекционисты» используют единые рассредоточенные псевдонейронные сети. Каждый концепт, входящий в ментальную репрезентацию, не является неделимой единицей (более того, с точки зрения создателей концепции, речь в данном случае должна идти не о реально существующих единицах репрезентации, а о теоретических конструктах, порождаемых символьной интерпретацией физических процессов). Концепт может рассматриваться как
набор элементарных компонентов - оставшихся в нейронной сети следов взаимодействия индивида с внешним миром. Совокупность таких следов составляет перцептивный, моторный, эмоциональный опыты индивида. Как следствие, активация части опыта, традиционно интерпретируемая как построение ментальной репрезентации, может осуществляться на основе как рисуночного, так и вербального текста, поскольку и тот и другой обращены к этому опыту. В связи с вышеизложенным использование рассредоточенного формата представляется наиболее адекватным для моделирования механизмов понимания полимодального текста.
Заметим, что сама идея рассредоточенной репрезентации не является новой для отечественной науки. Уже в 60-е гг. XX в. A.A. Леонтьев выдвигал и обосновывал гипотезу о рассредоточенном «содержании слова», о «записи» значения в сознании индивида в форме правил его порождения. Более того, российские нейрофизиологи неоднократно высказывали идеи, созвучные с теми, что легли в основу коннекционизма (см. исследования E.H. Соколовым нейронных механизмов памяти и обучения и, в частности, предлагаемый им принцип «меченых линий» [57], теорию функциональных систем П.К. Анохина [51], а также теорию паттерного кодирования Н.П. Бехтеревой [52]). Однако гипотеза A.A. Леонтьева не получила в дальнейшем должной проработки, и на сегодняшний день наиболее влиятельной остается трактовка значения, которая «базируется на представлении о нем как сложной многокомпонентной системе, состоящей из более дробных, чем значение, единиц - семантических признаков, семантических множителей, «атомов смысла», сем и т.д.» [55, с. 40],
Западные когнитивисты, напротив, очень серьезно подошли к разработке гипотезы рассредоточенной репрезентации и моделированию на ее основе некоторых когнитивных процессов (см. обзор в [4; 59]). Использование общих принципов, представленных в коннекционистских моделях, а также теории смысловой доминанты [56] позволили автору этих строк уточнить механизмы взаимодействия гетерогенных составляющих полимодального текста. В дальнейшем сформулированные положения были верифицированы на основе серии экспериментов [42]. Ниже из-
лагаются основные моменты предлагаемой модели понимания полимодальных текстов.
Основной целью проведенного исследования было установление различий в когнитивной обработке составляющих полимодального произведения. Для этого вслед за другими авторами были обозначены три этапа обработки: первичная структурная обработка (идентификация), лексическая и семантическая виды обработки. Выделение этих трех этапов согласуются с экспериментальными данными [47; 48], а также с данными нейропсихологии; пациенты с поражениями различных зон мозга испытывают затруднения либо с определением формы объектов, либо установлением его функций, либо с его называнием.
Многочисленные исследования деятельности коры головного мозга показывают, что существенных отличий между механизмами идентификации гетерогенных составляющих на первом этапе обработки информации нет: первичная обработка текста — будь то письменный вербальный текст или рисунок - состоит в разложении поступающей информации на мельчайшие компоненты, обработка которых ведется параллельно в разных участках головного мозга специализированными нейронами и группами нейронов [9; 10; 21; 51]. После изолированной обработки в разных участках установленные элементы зрительной информации комбинируются в единое представление о форме. Последнее порождается, таким образом, на основе активации группы амодальных взаимосвязанных узлов (см. также созвучную теорию Марра [31] о хранении представлений об объектах в памяти индивида в виде набора геонов - примитивов визуальной репрезентации - и отношений между ними). Постулат о рассредоточенной репрезентации позволяет объяснить, почему человек узнает объект вне зависимости от пространственного расположения и ориентации последнего. Кроме того, при рассредоточенном хранении зрительной информации ее успешное распознавание в значительно меньшей степени зависит от недостающих фрагментов или неточного изображения деталей, поскольку когнитивная система дает ответ, активируя ту репрезентацию, которая была сформирована на основе наиболее близкого по структуре текста [4].
После первичной обработки информация комбинируется в соответствующих центрах,
а полученный узор активации запускает механизмы следующего этапа, на котором этот узор сравнивается с теми, что уже знакомы системе на основе предыдущего опыта. По-видимому, различия между обработкой гетерогенных составляющих появляются именно на этой стадии. Активация представлений о форме объекта, связанная с обработкой изображения, автоматически подключает семантические репрезентации, ассоциируемые с активированной формой (48], Активация графического образа слова, связанная с обработкой письменного вербального текста, ведет к подключению лексических репрезентаций. Предшествование формальной лексической обработке содержания вербального текста активации семантического уровня устанавливается практически во всех когнитивных моделях чтения вне зависимости от количества постулируемых путей прохождения информации (см, обзор в [7]), а также в наиболее авторитетных моделях понимания текста [23; 24; 45].
Так, в концепции, предложенной в 1983 г. ван Дейком и Кинчем, построение модели ситуации начинается с анализа поверхностной структуры фраз, на основе которой устанавливаются пропозициональные схемы. Из этих схем строится микроструктура пропозициональной базы текста. На основе полученной базы производится выбор стратегий понимания, обусловленных как лингвистическими характеристиками текста, так и содержанием семантической памяти индивида [45], Выбранные стратегии приводят к построению модели ситуации, представленной в тексте.
Концепт модели ситуации использован в более поздней модели [24]. Кинч предлагает в качестве ключевых для построения ментальной репрезентации процессы конструкции и интеграции. На первом этапе понимания (конструкция) в ходе формальной и лексической обработки активируется сеть, включающая максимальное количество узлов, в том числе неадекватных и даже просто противоречащих содержанию текста. Семантические отношения принимаются во внимание лишь на втором этапе обработки -этапе интеграции. На этом этапе исключаются те концепты, которые не согласуются с устанавливаемым содержанием. Таким образом, в этой модели еще четче обозначено предшествование структурной и лексической
обработки по отношению к обработке семантической.
Джонсон-Лэард в своей теории ментальных моделей [23] также выделяет три уровня ментальной репрезентации: графемная (фонемная) репрезентация, пропозициональная репрезентации и ментальная модель. Эти уровни в общих чертах соответствуют структурному, лексическому и семантическому уровням, постулируемым в нашей модели. Опытный читатель автоматически преобразует графемные репрезентации в пропозициональные. Последние определяются как последовательность символов с произвольной синтаксической структурой и членами,близкими к естественному языку. На основе пропозициональной репрезентации может строиться ментальная модель - внутренняя модель состояния объектов (state of affairs) внешнего мира, описанных в тексте. В отличие от Кин-ча, постулирующего пропозициональный формат, Джонсон-Лэард полагает, что структура внутренней модели изоморфна структуре репрезентируемых объектов. Однако в остальном сходство моделей очевидно. Согласно обеим моделям, вербальный текст подвергается обработке на лингвистическом уровне прежде, чем начинается построение репрезентации на уровне семантическом.
Таким образом, прохождение активации отличается для разных составляющих. После первичной идентификации каждая из них может подвергаться как лексической, так и семантической обработке. Однако последовательность соответствующих операций различна. При восприятии рисунка обработка проходит по направлению от идентификации к непосредственной активации семантических репрезентаций, а лексические репрезентации задействуются позже. При обработке вербального текста семантические репрезентации, связанные с каждым из слов, активируются уже после того, как в обработке были задействованы лексические сети [15; 24]. Другими словами, на первом этапе активируют все возможные значения, которые могут приниматься полисемичные вербальные компоненты, и лишь затем происходит отбор контекстуально адекватных значений. Такая схема построения репрезентации содержания текста подтверждается, например, результатами экспериментальных исследований Гернсбахер и Фауста [17; 18], обнаруживших, что испытуе-
мые тратят больше времени на чтение первого слова фразы и первой фразы текста.
Констатация этого отличия принципиальна для предлагаемой модели, поскольку его последствия для когнитивных механизмов построения ментальной репрезентации содержания полимодального текста весьма существенны. Базовая репрезентация содержания текста (первичная конфигурация сети) строится преимущественно на основе обработки изобразительной составляющей. Именно ее содержание определяет структуру семантической сети. Первичные активация и инги-биция узлов семантической сети, проходящие на основе рисуночного компонента и видеоряда, устанавливают определенный контекст, обусловливающий семантическую обработку вербальной информации. Это делает невозможным «нормальное» протекание процессов понимания вербального текста, устанавливаемых общепризнанными моделями [15; 16; 24]. В частности, становится невозможным первый, «внеконтекстный» этап понимания вербального текста. Механизмы подавления и усиления концептов, которые в концепциях названных ученых подключаются на втором этапе обработки вербальной информации, включаются в мультимедийном произведении одновременно с обработкой вербального текста, так как контекст предварительно создается семантической обработкой рисуночной составляющей. Как следствие, нерелевантные концепты заранее исключаются из обработки вербальной составляющей, устанавливаются определенные паттерны активации значения полисе-мических слов.
Описанные процессы формируют первый этап построения семантической репрезентации содержания полимодального текста. Этот этап связан с дестабилизацией семантической сети на основе новой информации и с определением преимущественного направления дальнейшего распространения активации. Последующая обработка новой информации, исходящей от вербальной составляющей, начинается тогда, когда на основе содержания изобразительной составляющей уже намечена базовая репрезентация содержания воспринимаемого текста, а активированная сеть начинает менять значения некоторых узлов для установления временного стабильного состояния, Поэтому информация, содер-
жащаяся в вербальном тексте, усваивается в зависимости от конфигурации сети, заданной рисуночной составляющей.
На этом этапе перед системой открываются по меньшей мере две основных возможности дальнейшего развития ментальной репрезентации:
1) если новая информация, полученная на основе вербального текста, когерентна с базовой структурой ментальной репрезентации, установленной после начала обработки рисуночной составляющей, она активирует те же узлы, что и рисунок, усиливая их и оказывая тем самым стабилизирующее влияние на сеть [15; 16];
2) если вербальная информация представляется некогерентной и направлена на активацию и нгибированных или слабо активированных узлов, то в зависимости от силы воздействия (степени выраженности этой информации в вербальном тексте), она либо
а) расширяет и обогащает сеть или даже приводит к началу построения новой сети, замедляя стабилизацию структуры ментальной репрезентации содержания кадра, либо
б) забывается системой, стремящейся к равновесию [38; 53].
Поскольку формирование базовой репрезентации происходит до начала семантической обработки вербальной составляющей, влияние последней на ментальную репрезентацию полимодального текста рассматривается как модулирующее, а определяющую роль в его понимании играет изобразительный ряд, устанавливающий исходную базовую структуру ментальной репрезентации содержания МТ. Это заключение существенным образом дополняет представленные выше модели, позволяя создателям мультимедийных произведений оптимизировать их структуру с учетом различий в когнитивной обработке гетерогенных компонентов.
Интерактивность
Как уже отмечалось выше, экспериментальное сравнение вербальных и полимодаль-нык (многоканальных) текстов свидетельствует о большей эффективности последних в передаче информации. За счет все более жесткого навязывания реципиенту того или иного взгляда на предмет или явление эти произведения преодолевают возможные лич-
ностные интерпретации, а иногда и те, что являются традиционными для данной культуры. Тем самым создаются новые конвенциональные стереотипы, выходящие за рамки какой-то одной культуры и способствующие разрушению в самосознании как индивидуального, так и национального. По сути, семиотически неоднородные тексты, вторгаясь в жизнь и сознание индивида, выстраиваются во все более совершенный «виртуальный» мир, искусственную среду, которая становится таким же фактом психической реальности, как и воспринимаемый вами мир материальных объектов. На смену двухмерному пиктографическому знаку первобытного художника, изображающего трехмерное пространство, приходит четырехмерная модель четырехмерной действительности, которая (модель) не может более рассматриваться исключительно с точки зрения ее информирующей функции, обусловленной аналогической формой представления действительности. Благодаря использованию современных средств видеотехники (цвет, компьютерная графика, мультипликация, звук) виртуальная реальность все более точно воспроизводит реальность «объективную». Однако при всей важности полимодальности (многоканальности) МТ и семантической изоморфности его составляющих не менее значима для трансформации текстов этого типа в элемент объективной реальности их так называемая интерактивность - предоставляемая пользователю возможность манипулировать предлагаемыми компонентами произведения и трансформировать общую структуру их исходного представления. Влияние проводимых реципиентом структурных преобразований мультимедийного произведения на механизмы восприятия содержащейся в нем информации может быть проанализировано с позиций развиваемого в российской психологии деятельностного подхода.
Согласно идеям его основоположников восприятие человеком объектов окружающего мира в значительной степени обусловлено его деятельностью по их преобразованию. Никакой объект не может стать частью предметного мира человека иначе как через его включение в эту деятельность, через его преобразование. До последнего времени рисунок активно использовался человеком как для собственной трансформации, так и для пре-
образования окружающего мира, но производить «в реальном времени» изменения в самом рисунке стало возможным только на основе компьютерных программ.
Первые наскальные рисунки воспринимаются сегодня как неоспоримое свидетельство коренных изменений, происходивших в ту эпоху в человеческом сознании, освобождавшемся благодаря пиктографическим знакам от сиюминутности психического образа. Соответственно наиболее древний способ анализа пиктографического произведения - семантический, рассматривающий отношение изображения и изображаемого. На том этапе развития изобразительных текстов, когда человек делал лишь первые шаги в освоении техники рисунка, пытаясь свернуть трехмерность воспринимаемого мира в двухмерное изображение, наиболее важной была сопоставимость (аналогическая или символическая) пиктографии с тем психическим образом, который должен был в ней материализоваться. Значительно позже, когда были осознаны и проанализированы элементы рисунка (форма, цвет), а также значимость того способа, которым они в нем взаимодействуют (композиция, план, точка зрения), внимание специалистов стало обращаться главным образом на син-тактику - отношение между этими знаками (кодами) в теле рисунка, рассматриваемого как замкнутая система, функционирующая в соответствии с заданным набором правил Существенное усовершенствование системы пиктографических знаков привело к созданию карт и чертежей, послуживших важным орудием освоения мира, а также опредмечивания объектов, не существовавших в природе, зародившихся в глубинах человеческого сознания.
Разумеется, выполнение рисунком функции трансформации не могло быть реализовано без изменения самого рисунка. Всякий раз, выступая в качестве опоры для прогресса цивилизации и дальнейшего психического развития отдельного индивида, рисунок мысленно трансформировался им. Эта внутренняя трансформация неизменно выступала необходимым звеном в процессе трансформаций внешних, направленных на окружающий мир, однако противопоставление внешней и внутренней деятельности определяло основное отличие пиктографического текста от того, что этот текст реярезен-
тировал. Во второй половине XX в, с появлением интерактивных телевизионных и компьютерных программ, ситуация изменяется коренным образом. Создаются тексты, в которых взаимодействие между различными составляющими выстраивается на основе общей концепции мультимедийного произведения, разрабатываемой его создателем, однако в рамках общей концепции пользователь может сам выбирать возможные комбинации различных компонентов. Гибкая структура МТ может изменяться по воле пользователя. Тем самым стирается важнейшая грань между объективной и виртуальной реальностями: субъект по-
лучает возможность входить в изображение и совершать в нем желаемые преобразования в реальном времени, т.е. совершать по отношению к изображению уже не внутреннюю, а внешнюю деятельность. Это позволяет ему включать в картину мира элементы искусственно созданной среды по тем же механизмам и на тех же основаниях, что и объекты реальной действительности.
Отмеченные свойства мультимедийных произведений превращают их в мощнейшее орудие социализации новых членов общества, их обучения и развития, а также формирования общественного мнения.
ЛИТЕРАТУРА
1. Ainsworth S. The functions of multiple representations // Computers & Education. 1999. 33.
2. Baddeley A. Working memory. Science. 255, 1992.
3. Baddeley A. Human memory. Boston, 1998.
4. Bechtel W., Abrahamsen A. Connectionism and the Mind: An Introduction to Parallel Processing in Networks. Cambridge, 19905. Chandler P., Sweiler J. Cognitive load theory and the format of instruction / / Cognition and
Instruction. 1991. 8.
6. Clark J.M., Paivio A. Dual coding theory and education. Educational. 1991.
7. Cornuejols M. Sens du mot, sens de I'image. Paris, 2001.
8. Cox R, Brna P. Supporting the use of external representations in problem solving: the need for flexible learning environments // Journal of Artificial Intellig^y&in Education. 1995. 6 (2/3).
9. Damasio A.R, Time-locked multiregional retroactivation: A systems-level proposal for the neural substrates of recall and recognition // Cognition. 1989, 33.
10. Damasio A R., Tranel D. Knowledge systems // Current Opinion in Neurobiology 1992. 2.
11. Denhiere G., Baudet S. Lecture, comprehension de textes et science cognitive. Paris, 1992.
12. Duquette L., Laurier M. Apprendre une langue dans un environnement multimedia. Outremont, 2000.
13. Falkenhainer В., Forbus K.D., Gentner D. The structure-mapping engine; algorithm and examples // Artificial Intelligence. 1989. 41.
14. Fodor J,A. Psychosemantics. The Problem of Meaning in the Philosophy of Mind, MIT Press. Cambridge, 1987.
15. Gernsbacher M.A. Language comprehension as structure building. Hillsdale. N.-J., 1990.
16. Gernsbacher M.A. The structure-building framework: What it is, what it might also be, and why // B.K. Brit ton, A.C. Graesser (Eds.). Models of understanding text. Hillsdale. N. J.( 1996.
17. Gernsbacher M.A., Faust M. Fine-tuning in the activation of lexical representations during comprehension // G.B. Simpson (Ed.). Comprehending word and sentence. Amsterdam, 1990.
18. Gernsbacher M.A., Faust M. The mechanism of suppression, a component of general comprehension skill // Journal of Experimental Psychology: Learning, Memory and Cognition. 1991. 17.
19. Glenberg A.M., Langston W,E. Comprehension of illustrated text: Pictures help to build mental models // Journal of Memory and Language. 1992. 31.
20. Gyselinck V. Les modeles mentaux dans la comprehension de textes: le role des illustrations. These de doctoral Universite de Paris. 1995. 5.
21. Iwata M. Modular organization of visual thinking // Behavioural Neurology. 1989. 2 (3).
22. Johnson-Laird P.N., Byrne R. M. J. Deduction. Hillsdale, N.-J., 1991.
23. Johnson-Laird P.N. Mental Models. Cambridge , 1983.
24. Kintsch W. The role of knowledge in discourse comprehension: A construction-integration model // Psychological Review, 1988. 95 (2).
25. Lancien T. Le multimedia, Pans: CLE International, Collection Didactique des langues etrangeres. 1998.
26. Levie W.H., Lentz R. Effect of text illustrations: A review of research // Educational Communication and Technology Journal. 1982. 30 (4)..
27. Levin J.R., Anglin, G.J., Carney R.N. «On empirically validating functions of pictures in prose», hi D.M. Willows & H. Houghton (Eds.) // The psychology of illustrations. Vol. 1: Basic research. N.-Y., 1987.
28. Le waiter D. Cognitive strategies for learning from static and dynamic visuals // Learning and Instruction. 2003. 13.
29. Lin X. Metacognition: Implications for Research and Hypermedia-based Learning Environment // Proceedings of Selected Research and Development Presentations at the 1994 National Convention of The Association for Educational Communcations and Technology. 1994.
30. Lowe R.K, Animation and learning: selective processing of information in dynamic graphics / / Learning and Instructio, 2003. 13.
31. Marr D. Vision. San Francisco, 1982.
32. Mayer R.E. Multimedia learning: Are we asking the right questions? // Educational Psychologist 1997. 32.
33. Mayer R.E. Multimedia learning. N.-Y., 2001.
34. Mayer R.E. The promise of multimedia learning: using the same instructional design methods across different media // Learning and Instruction. 2003. 13.
35. Merlet S. Niveaux de traitement et integration des informations multimédias. L'exemple de la comprehension orale en langue etrangere //A. Tricot & J.-F. Rouet (Dir.). Les hypermedias: approaches cognitives et ergonomiques. Paris, 1998,
36. Paivio A. Mental representations: A dual-coding approach. New York; Oxford, 1986.
37. Plowman L. The Primitive Mode of Representation and the evolution of interactive multimedia // Journal of Educational Multimedia and Hypermedia. 1994. 3 (3/4).
38. Prigogine I., Stengers I. Order out of Chaos: Man's new dialogue with nature, N.-Y., 1984.
39. Scanlon E. How beginning students use graphs of motion // M. van Someren, P. Reimann, H.P.A. Boshuizen, T. de Jong (Eds.). Learning with multiple representations. Oxford, 1998.
40. Schnotz W. On the relation between dual coding and mental models in graphics comprehension // Learning and Instruction. 1993. 3.
41. Schnotz W,, Bannert M. Construction and interference in learning from multiple representation // Learning and Instruction. 2003, 13.
42. Sonme A. Comprehension des textes multimodaux: exemple de la bande dessmee. These de doctorat. Umversite de Nantes. 2003.
43. Tabachnek H.J.M., Simon H. A. One person, multiple representations: an analysis of a simple, realistic multiple representation learning task // M. van Someren, P. Reimann, H.P.A. Boshuizen, T. de Jong (Eds.). Learning with multiple representations. Oxford, 1998.
44. Vaillant P. Semiotique des langages d'icdnes. Paris, 1999.
45. Dijk T.A. van, Kintsch W. Strategies of discourse comprehension. N.-Y., 1983.
46. Someren M.W., Reimann P., Boshuizen H.P.A., DeJong T. (Eds.), Learning with multiple representations. Oxford, 1998.
47. Vitkovitch M., Humphreys G.W. Persévérant responding in speeded naming of pictures: It's in the links // Journal of Experimental Psychology: Learning, Memory, & Cognition. 1991. 17 (4).
48. Vitkovitch M., Humphreys G.W., Lloyd-Jones T.J. On naming a giraffe a zebra: Picture naming errors across different object categories // Journal of Experimental Psychology: Learning, Memory, & Cognition. 1993. 19 (2).
49. Winn W.D. Contributions of perceptual and cognitive processes to the comprehension of graphics // W. Schnotz, R. Kulhavy (Eds.). Comprehension of graphics. Amsterdam, 1994,
50. Wittrock M. C. Generative processes of comprehension // Educational Psychologist. 1989. 24.
51. Анохин П.К. Узловые вопросы функциональной системы. М., 1980.
52. Бехтерева Н.П., Гоголицын Ю.Л., Кропотов Ю.Д., Медведев C.B. Нейрофизиологические механизмы мышления. Л., 1985.
53. Герман И. А., Пищальникова В.А. Введение в лингвосинергетику. Барнаул, 1999.
54. Горелов И.Н., Седов К.Ф. Основы психолингвистики. М., 1997,
55. Петренко В.Ф. Основы психосемантики. М., 1997,
56. Пищальникова, В.А. Психопоэтика. Барнаул, 1999.
57. Соколов E.H. Нейронные механизмы памяти и обучения. М„ 1981
58. Сонин А.Г. Комикс: психолингвистический анализ: Монография / Под ред. В.А. Пищаль-никовой. Барнаул, 1999,
59. Сонин А.Г. Когнитивная лингвистика: становление парадигмы: Монография. Барнаул, 2002,
