CC BY
148
УДК 81'42
Б01 10.17223/18137083/58/16
Ю. В. Балакина, А. В. Соснин
Высшая школа экономики - Нижний Новгород
Интерсемиотичность и мультимедийность: от традиционных текстов к электронным
Статья посвящена таким характеристикам современных электронных текстов, как интерсемиотичность и мультимедийность. Изучение этих свойств являет собой новый этап анализа межтекстовых взаимодействий; соответственно, авторы сначала описывают неэлектронные тексты, излагая на их примере теоретические основы данных понятий, и лишь затем обращаются к текстам электронным, прослеживая развитие традиционных представлений о тексте. Электронные тексты рассматриваются как полимодальные, т. е. представляющие собой синтез разнотипных семиотических объектов или единство текста и мультимедиа. В статье также приводятся и анализируются результаты проведенного авторами социолингвистического исследования о причинах, по которым пользователи комбинируют текст и медиа в электронной коммуникации, и об их предпочтениях в этой области, выражающихся в соотношении разнотипных объектов.
Ключевые слова: интерсемиотичность, мультимедийность, интертекстуальность, электронный текст, семиотика.
В настоящее время электронные средства коммуникации завоевывают все большую популярность, вытесняя традиционные средства обмена информацией среди пользователей всех возрастов и национальностей. Анализу и сравнению электронной и традиционной форм коммуникации посвящено достаточное количество исследований - как отечественных, так и зарубежных [Herring, 2001; Thurlow, Lengel, 2004; Ess, Sudweeks, 2005; Balakina, 2011; Crystal, 2011; Чесноко-ва, 2011; Завьялова и др., 2014; Locher, 2014; Балакина, 2016]. Практически во всех отмечается, что важной характеристикой электронных текстов является их мультимедийность, т. е. в отличие от традиционных, мономедийных, текстов они представляют собой симбиоз собственно текста и медиа (аудио- или видеокомпо-
Балакина Юлия Владимировна - доцент кафедры иностранных языков Высшей школы экономики - Нижний Новгород (ул. Большая Печерская, 25/12, Нижний Новгород, 603155, Россия; julianaumova@gmail.com)
Соснин Алексей Владимирович - кандидат филологических наук, доцент кафедры иностранных языков Высшей школы экономики - Нижний Новгород (ул. Большая Печерская, 25/12, Нижний Новгород, 603155, Россия; alexsosnin@mail.ru)
ISSN 1813-7083. Сибирский филологический журнал. 2017. № 1 © Ю. В. Балакина, А. В. Соснин, 2017
нентов). В данной статье будет сделана попытка раскрыть понятия интерсемио-тичности и мультимедийности на этапе перехода от традиционных текстов к электронной коммуникации. Соответственно, сначала мы обратимся к неэлектронным текстам и на их основе изложим основные теоретические положения и лишь затем рассмотрим тексты электронные, виртуальные. Кроме того, на основе результатов социологического исследования мы представим причины и цели использования мультимедиа в современных средствах коммуникации.
Предпосылки к изучению мультимедийности Интерсемиотичность
Мультимедийность - это понятие, близкое к интерсемиотичности, т. е., по А. Е. Бочкареву, «динамическому взаимодействию разнотипных знаковых систем» [Бочкарев, 2003, с. 62]. Действительно, как отмечает исследователь, «не будучи результатом деятельности одного языка, текст подлежит изучению с позиции множества формирующих его кодов» [Там же]. Так, например, в отличие от языковых знаков, образующих текстовую последовательность, в основе языка изобразительного искусства лежат знаки визуальные, иконические. Заметим, однако, что словесные сообщения имеют линейной характер, а зрительная коммуникация не линейна, а двумерна, поскольку адресат, смотрящий на рисунок, воспринимает заложенное в нем сообщение как целое (ср. [Мартине, 1963, с. 380]).
Исследования интерсемиотичности и мультимедийности являют собой новый этап в изучении интертекстуальности, т. е., по Ю. Кристевой, «постоянного диалога между текстами, образующими в своей совокупности глобальный интертекст культурной традиции» [Kristeva, 1986, р. 39] (здесь и далее перевод англоязычных источников наш. - Ю. Б., А. С.). Интертекстуальность (повторяемость, воспроизводимость) - это термин, используемый для того, чтобы обозначить отношение между рассматриваемым текстом и другими текстами, которые могут быть как художественными, так и нехудожественными; это взаимодействие отдельных текстов в плане содержания и выражения.
Интертекстуальность - это понятие, обратное текстовой самодостаточности. Самодостаточный текст, текст per se можно охарактеризовать как внутренне организованную последовательность знаков, законченную и автономную по своему содержанию и строению, смысл которой выводится из значений знаков и связей между ними. Самодостаточный текст - закрытая система; для его понимания не требуется знания некоей дополнительной смыслообразующей единицы: прецедентного текста - или базисной сверхструктуры: пратекста / прототекста [Соснин, 2012, с. 194]. Мультимедийный текст не будет самодостаточным по определению, так как будет содержать дополнительные, неязыковые семиотические объекты, дополняющие или модифицирующие его лингвистическое содержание.
Иносемиотические объекты могут вербально вводиться и в традиционные тексты 1. При этом знание, например, визуального включения может способствовать более полному пониманию текста или даже быть его необходимым условием. Действительно, по замечанию одного из ведущих исследователей семиотики ис-
1 В тексте традиционно выделяется внутритекстовая и затекстовая информация. Академик А. Н. Колмогоров высказал идею о том, что полная энтропия речи (т. е. мера количества информации, передаваемой речью) может быть разложена на два компонента: а) внеречевую информацию и б) собственно речевую (лингвистическую) информацию [Колмогоров, 2003, с. 143-144]. Соответственно, с семантической точки зрения каждый компонент текста 1„ можно представить как сумму семы внутритекстовой информации у„ и большого числа сем затекстовой информации 2п1 (например, социально-нормированные и идиолектные семы, семы затекстового лингвистического - отсылки к другим текстам, семы затекстового визуального и звукового и т. д.) [Соснин, 2012, с. 197].
кусства К. Леви-Строса, «условные иконические знаки в литературе позволяют передать до тончайших нюансов все разнообразие чувственного опыта» [Леви-Строс, 1999, с. 22]. Это вполне согласуется с положением выдающегося представителя философской герменевтики П. Рикера о том, что иконичность включает вербальный аспект [Рикер, 1990, с. 444].
В романе современного английского писателя Дэвида Лоджа «Nice Work» (1988) автор так описывает кабинет главной героини: «The walls are covered with posters illustrative of various radical causes - nuclear disarmament, women's liberation, the protection of whales - and a large reproduction of Dante Gabriel Rossetti's painting, "The Lady of Shalott", which might seem incongruous unless you have heard Robyn expound its iconic significance as a matrix of male stereotypes of the feminine» [Lodge, 1989, р. 67].
Русскому читателю не так хорошо известно творчество прерафаэлитов, основоположником которых является Данте Габриэль Россетти, чтобы немедленно визуализировать образ Леди Шалотт из баллады Теннисона, которая в России, в отличие от Великобритании, не входит в обязательную школьную программу по литературе. Английскому же читателю, даже не имеющему представления о современной трактовке произведения в гендерном ключе, образ знаком в любом случае, поскольку в XIX в. «Леди Шалотт» была самой иллюстрируемой балладой в Англии.
В подобных случаях мы можем говорить о том, что текст выходит за пределы языкового измерения и становится многомерным [Соснин, 2012, с. 197-198].
Итак, интерсемиотичность состоит во взаимодействии разных типов знаков, например, языковых фонетических и графических средств - так называемая графическая рифма в английской поэзии. Вот отрывок из строфы LIV цикла элегических стихотворений «In Memoriam A. H. H.» викторианского поэта Альфреда Теннисона: «O yet we trust that somehow good / Will be the final goal of ill, / To pangs of nature, sins of will, / Defects of doubt, and taints of blood» [Tennyson, 1994, р. 313] (курсив наш. - Ю. Б., А. С.). «Good» [u] здесь рифмуется с «blood» [/\] не фонетически, а визуально, т. е. графическое «созвучие» заменяет звуковое. Мы не случайно выбрали стихотворение середины XIX в., когда графическая рифма не объясняется стилизацией и намеренным возвращением к архаичной норме произношения (как, например, в балладах Вальтера Скотта). По В. М. Жирмунскому, «рифма для глаз... обозначала бы удовлетворение, получаемое читателем от симметричного расположения на бумаге типографских значков, однако в этом смысле она такая же невозможная вещь, как бумажный аккорд» [Жирмунский, 1923, c. 108]. Графическая рифма объясняется длительной и консервативной стихотворной традицией и выражает (sic!) произносительный потенциал языка.
Другим проявлением интерсемиотичности может считаться взаимодействие непосредственного смыслового наполнения текста с его графической формой (шрифтом и т. п.). В качестве примера А. Е. Бочкарев упоминает графическое представление текста в визуальной поэзии, стремившейся превратить типографские знаки в фигуративный образ и самодостаточный иконический знак [Бочка-рев, 2003, с. 63]. Здесь же мы можем вспомнить эксперименты с текстом и графикой английских вортицистов, ярких представителей авангарда начала ХХ в., которые публиковались ими в журнале «Бласт» [Соснин, 2014]. Один из вортици-стов, скульптор Генри Годье-Бржеска, заявляет в своем манифесте «Водоворот»: «I SHALL DERIVE MY EMOTIONS SOLELY FROM THE ARRANGEMENT OF SURFACES, I shall present my emotions by the ARRANGEMENT OF MY SURFACES, THE PLANES AND LINES BY WHICH THEY ARE DEFINED» [Gaudier-Brzeska, 1915, р. 34].
Игра со шрифтом (как кириллическим, так и латинским) и орфографией весьма распространена и в современном электронном дискурсе. Представляется возможным выделить следующие ее разновидности:
• использование специальных символов в написании слов, особенно имен пользователей или «ников», с тем чтобы сымитировать их традиционную графическую оболочку, но при этом показаться оригинальным или нестандартным: «@1ex» вместо «Alex», «MALLIEHbKA» вместо «Машенька»;
• намеренно неправильная орфография для создания эффекта оригинальности, разрушения консервативной нормы (которая может восприниматься как средство угнетения народных масс истеблишментом) или для большего визуального удовлетворения, как недавнее увлечение буквой «k» в США: «I kan»;
• намеренно неправильная орфография для создания комического или бунтарского эффекта, как в так называемом олбанском языке или «языке падонков», до недавнего времени популярном в сети Интернет: «превед» вместо «привет», «пейсатель» вместо «писатель» - возможно, «плохой писатель»; «переводчег» вместо «переводчик» - возможно, «горе-переводчик» или, наоборот, «талантливый / усердный переводчик» (заметим, однако, что искажения правописания в олбанском языке имеют целую систему и достаточно регулярно соотносятся с нормой; подробно эту систему изложил М. А. Кронгауз в книге «Самоучитель олбанского» [Кронгауз, 2013]).
Наличие разнотипных семиотических систем и / или мультимедиа, безусловно, не является обязательной характеристикой всех форм электронной коммуникации и зависит исключительно от предпочтений автора или коммуникативной ситуации. Однако в настоящее время ряд исследователей даже указывают на превалирование визуального компонента над текстом в электронном дискурсе [Завьялова и др., 2014; Барт, 1994], что является естественным процессом, связанным с экономией усилий и ресурсов.
Электронные тексты
Прежде чем обратиться непосредственно к анализу мультимедийного содержания электронного дискурса, рассмотрим общее понятие электронных текстов и их особенности.
Электронный текст (ЭТ) - это текст, продуцированный с помощью какого-либо электронного носителя информации (компьютер, телефон, планшет) и совмещающий в себе в той или иной степени черты устной и письменной речи [Балакина, 2016, с. 30].
Существует достаточное количество критериев, по которым классифицируются электронные тексты. Например:
• средство коммуникации, используемое в создании текста;
• источник;
• межтекстовые взаимоотношения;
• возможности мультимедиа;
• завершенность / возможность редактирования;
• форма и структура;
• наложение характеристик устной и письменной речи и др.
Отметим, однако, что число разных видов ЭТ весьма значительно, а многие из них являются смежными, что отчасти затрудняет их классификацию. При этом каждая группа близких ЭТ, в зависимости от канала передачи информации, традиционных аналогов или контекста, имеет свои уникальные характеристики.
Существуют электронные тексты, по основным характеристикам совпадающие с традиционными, однако при добавлении каждой новой особенности, не свойст-
венной обычным текстам (гиперссылки, мультимедиа, возможность редактирования и т. д.), разрыв между ними увеличивается.
В качестве материала социолингвистического исследования, представленного в данной статье, были выбраны две группы электронных текстов:
• сообщения в кросс-платформенных приложениях типа «Viber», «What's Up», «Skype» и т. п, созданные с помощью телефона;
• сообщения в социальных сетях, доступных как с телефона, так и с других средств коммуникации (компьютер, ноутбук, планшет).
Основными причинами для выбора именно этих типов ЭТ могут быть названы их популярность, доступность (в случае с социальными сетями доступ может быть осуществлен с нескольких электронных средств), а также интерфейс, позволяющий без дополнительных усилий создавать сообщения не только с текстом, но и с медиафайлами.
Медиаобъекты в электронных текстах
По аналогии с электронными текстами медиаобъекты, используемые в них, можно разделить на несколько групп.
1. Шаблонные объекты: это медиафайлы, которые предусмотрены программным обеспечением. Как правило, в любой программе или на веб-странице существует определенный набор визуальных объектов - как статичных, так и подвижных. Сюда относятся в первую очередь эмотиконы (или, проще говоря, «смайлики») и другие картинки, которые пользователь просто выбирает из набора и вставляет в диалог.
2. Копипаст-объекты: такие рисунки, фотографии, аудио- и видеофайлы копируются пользователем с других ресурсов и вставляются в диалог.
3. Пользовательские объекты: это фотографии, аудио- или видеофайлы, созданные непосредственно самим пользователем. Пользовательские объекты можно далее подразделить на синхронные, когда фото, видео или аудио снимается / записывается прямо в процессе коммуникации, и асинхронные, когда медиаобъект создается за некоторое время до начала коммуникации и сохраняется на электронное устройство, с помощью которого ведется общение. Во время коммуникативного акта пользователь просто вставляет его в диалог.
Взаимоотношения мультимедийных объектов и текста
В своем фундаментальном исследовании взаимоотношений образа и текста Р. Барт [Barthes, 1997] выделяет три возможности сосуществования двух семиотических систем: иконической и вербальной.
1. Текст дополняет изображение, комментируя его и являясь как бы к нему «привязанным» (anchorage). Текст «представляет собой, по сути, излишнее сообщение (parasitic message), сопровождающее изображение; фигурально выражаясь, не изображение иллюстрирует слова, а слова "паразитируют" на изображении» [Ibid., р. 25].
2. Изображение дополняет или иллюстрирует текст (illustration). Только благодаря изображению текст будет правильно истолкован или полностью «реализован» [Ibid.].
3. Текст и изображение равноправны, и переключение между ними осуществляется по релейному принципу (relay). Они дополняют друг друга, и при этом, как слова - вербальные знаки, так и компоненты изображения - знаки иконические, входят в единую синтагму, т. е. связность всего сообщения достигается на более высоком, интерсемиотическом уровне [Ibid., р. 31].
О превалировании равноправного статуса медиа и текста (equal status combinations) в электронных средствах коммуникации говорят в своем исследовании Р. Мартинец и А. Салвей [Martinec, Salway, 2010]. Они также подразделяют равноправный статус на независимый (independent) и взаимодополняющий (complementary) [Martinec, Salway, 2010, р. 345].
При равноправном статусе все изображение или видео целиком связано с полным текстом [Ibid., р. 349]. В случае если изображение связано только с частью текста или если текст относится только к части изображения, можно говорить о зависимых отношениях (subordinate status combinations) [Ibid.].
Кроме статуса как такового, интерес представляют логико-семантические связи текста и изображения. Опираясь на виды логико-семантических связей, описанных в грамматике Холлидея, Мартинец и Салвей говорят об уточнении (elaboration), смысловом расширении (extension) и пространственно-временном / причинно-следственном развитии (enhancement) во взаимоотношениях между изображением и текстом.
Исследователи подразделяют уточнение на два вида, а именно: толкование (exposition) и иллюстрирование (exemplification). Основное отличие между ними заключается в различном уровне обобщенности компонентов (generality) [Ibid., р. 352]. В случае толкования текст и изображение имеют одинаковый уровень обобщенности, в то время как при иллюстрировании - различный, т. е. в данном случае либо текст имеет более общий смысл, либо изображение.
Распространение представляет собой такие взаимоотношения, при которых текст или изображение добавляют новую информацию (но при этом закономерно вытекающую из имеющейся) к общему содержанию текстово-визуальной последовательности.
При развитии текст определяет изображение (или наоборот) в зависимости от обстоятельств времени, места, причины или цели [Ibid., р. 353].
Р. Барт полагал, что значение образа всегда связано и в определенной степени зависит от текста, поскольку сами по себе образы чрезвычайно полисемичны: «Чтобы прийти к конкретному значению, нам придется прибегнуть к языку. Визуальный смысл слишком неоднозначен - это нестабильная последовательность означаемых» [Barthes, 1997, р. 28]. Однако с приходом новых технологий и развитием мультимедиа позиция Барта подверглась серьезным сомнениям. Так, в своей работе «Прочтение образа» Г. Кресс и Т. ван Леуэн пишут следующее: «Мы приходим к тому, что для реализации достаточно однотипных систем фундаментальных смыслов, составляющих наши культуры, может использоваться как языковая, так и визуальная коммуникация. Однако в каждом виде коммуникации обмен информацией осуществляется в особой форме и независимо от другого вида. Один набор значений может передаваться только на письме, а другой - лишь с помощью изображений» [Kress, van Leeuwen, 2006, р. 19].
Для того чтобы подтвердить или опровергнуть представленные утверждения о самодостаточности текста и мультимедиа в электронной коммуникации, было проведено социолингвистическое исследование, в ходе которого были опрошены 100 пользователей в возрасте от 17 до 20 лет - студенты факультетов бизнес-информатики, экономики и права Высшей школы экономики в Нижнем Новгороде. Опрос основывался на их собственном опыте и конкретных примерах электронной коммуникации в кросс-платформенных приложениях типа «WhatsApp» или «Viber» и в социальных сетях.
В разделе анкеты, направленном на установление взаимосвязи текста и мультимедиа, участникам было предложено выбрать одно из трех утверждений:
a. В большинстве моих сообщений текст интерпретирует медиафайл, без него фото / видео может быть истолковано неправильно.
b. Текст и медиафайл полноценны каждый сам по себе (картинка могла бы существовать без текста так же, как и текст без картинки в данном сообщении).
c. Медиафайл дополняет (иллюстрирует) текст.
Были получены следующие результаты:
• 65,6 % опрошенных считают, что медиа дополняет текст (статус «illustration»), т. е. сначала набирается текст, а после к нему прикрепляется картинка или видеофайл для иллюстрации;
• для 21 % пользователей текст и медиа в сообщениях имеют равный статус («equal»);
• только 13,4 % говорят о статусе привязки («anchorage»), где текст интерпретирует медиа.
В сводном виде эти результаты представлены в табл. 1.
Таблица 1
Взаимосвязь текста и медиаобъектов в электронных сообщениях The correlation of text and media objects in emails
Статус медиаобъекта Участники опроса (%)
женщины мужчины
Иллюстрирование текста 67,8 60
Равноправный с текстом 17,7 30
Предмет текстового комментария 14,5 10
Можно заключить, что, несмотря на широкие возможности мультимедиа в электронной коммуникации и, казалось бы, большую апеллятивную силу медиа-объектов по сравнению с текстовыми, на настоящем этапе развития электронной коммуникации основную смысловую нагрузку и роль реализатора коммуникативной задачи берет на себя все-таки не изображение или видео, а текст.
Причины комбинирования текста и мультимедиа
Как показали результаты опроса, медиаобъекты чаще всего являются лишь иллюстрацией к тексту. Тем не менее их практически безграничные возможности в электронной среде позволяют им гармонично вписываться в контекст и в некоторых случаях даже вытеснять текст из коммуникации, не нарушая общую интенцию отправителя.
Каковы же причины комбинирования текста и мультимедиа в электронных сообщениях?
С одной стороны, здесь можно говорить о функциональной стороне вопроса. Образ, безусловно, оказывает большее эмоциональное воздействие на собеседника, чем текст, который больше подходит для установления логических связей (ср. [Arnheim, 1989, р. 255]). Кроме того, многим пользователям просто нравится «тиражировать» свои визуальные воспоминания в виде фото или видео, или же они хотят добиться эффекта непосредственного участия своего собеседника в коммуникативной ситуации - как будто бы тот смотрел на происходящее своими глазами и давал комментарии в реальном времени ^р. [Bolter, Grusin, 2000, р. 65]).
С другой стороны, все виды электронной коммуникации могут быть охарактеризованы с точки зрения экономии усилий пользователя. Несомненно, сделать фото и отправить его собеседнику намного проще, чем создавать детальное описание ситуации с помощью набора текста.
Для выяснения превалирующих причин комбинирования текста и мультимедиа анкетируемым было предложено ответить на вопрос: «В каких случаях вы предпочитаете использовать в сообщениях мультимедиа файлы (фото / видео) вместо текста?» Предлагались следующие варианты ответа:
a. Экономия усилий (проще и быстрее вставить фото/видео, чем набирать текст).
b. Фото / видео создает эффект присутствия, реальной коммуникации.
Результаты варьируют в зависимости от пола опрошенных. 30,8 % женщин
используют медиафайлы с целью экономии усилий, 69,2 % - с тем чтобы создать эффект коммуникации лицом к лицу. В то же время 50 % мужчин указывают в качестве решающей первую причину и ровно столько же вторую.
В целом можно сделать вывод о том, что обе означенные причины играют примерно равную роль в выборе между текстом и мультимедиа и что они свидетельствуют об уникальном характере электронной коммуникации.
Существенным отличием электронных текстов от традиционных является, еще раз подчеркнем, возможность комбинирования собственно текста с мультимедийными объектами (рисунки, фотографии, аудио и видео). Данные объекты, включенные в текст, становятся его неотъемлемой составляющей со структурной и семантической точек зрения. Появляются так называемые комбинированные или «полимодальные» тексты (multimodal texts), где разнотипные объекты (modes), с одной стороны, относительно автономны и легко вычленимы, а с другой - интегрированы в единую синтактико-семантическую конструкцию [Marti-nec, Salway, 2010, р. 339-340].
Для того чтобы выяснить, насколько комбинированные тексты распространены в повседневной электронной коммуникации, мы предложили участникам опроса сделать следующее:
1. Посмотрите, пожалуйста, 10 последних сообщений в приложениях типа «Viber» / «WhatsApp».
a. Сколько из 10 сообщений состоит только из текста?
b. Сколько из 10 сообщений состоит только из фото / видео?
c. Сколько из 10 сообщений состоит из текста и фото / видео?
2. Посмотрите, пожалуйста, 10 последних сообщений в соцсетях типа «Вкон-такте» / «Facebook».
a. Сколько из 10 сообщений состоит только из текста?
b. Сколько из 10 сообщений состоит только из фото / видео?
c. Сколько из 10 сообщений состоит из текста и фото / видео?
В ходе опроса анкетируемые проанализировали в общей сложности 1 500 сообщений. Сводные результаты этой части исследования представлены в диаграмме.
Частотность использования медиафайлов в электронной коммуникации
Мультимедиа
17 5 %
Текст + мультимедиа
12,5%
Комбинирование текста и медиа
в электронных сообщениях The combination of text and media in in emails
Более детальные результаты представлены в табл. 2.
Таблица 2
Соотношение текста и медиаобъектов в электронных сообщениях, % The ratio of text and media objects in emails
Объекты электронных сообщений Кросс-платформенные приложения Социальные сети Кросс-платформенные приложения + социальные сети
Женщины
Текст 77 81 79
Медиа 12,5 9,9 11,1
Текст + медиа 10,5 9,1 9,9
Мужчины
Текст 65 61 62,7
Медиа 18,9 16,3 17,4
Текст + медиа 16,1 22,7 19,9
В целом можно заключить, что у пользователей обоих полов чисто текстовые сообщения по-прежнему превалируют над комбинированными или мультимедийными, что опять же подтверждает ключевую роль традиционного текста в современной электронной коммуникации.
Итак, мультимедийность текста - это следствие взаимодействия различных знаковых систем, причем это характеристика исключительно электронных текстов. Тем не менее разнотипные объекты в них взаимодействуют на основе механизмов интерсемиотического взаимодействия, которые можно проследить в традиционных печатных текстах.
Основываясь на результатах проведенного исследования, можно заключить, что на данном этапе развития электронной коммуникации все еще преждевременно говорить о превалировании визуального контента над текстовым. У мультимедиа в электронной коммуникации есть, по крайней мере, две уникальных характеристики, которые активно эксплуатируются пользователями и которые могли бы со временем оттеснить традиционные текстовые сообщения на второй план: это эффект присутствия и минимальная трудоемкость. Однако на данном этапе этого кажется недостаточно. Стоит также отметить, что каждая семиотическая система в силу своих структурных особенностей накладывает определенные ограничения на те значения, которые могут ею передаваться. В образе прочитывается не все, что могло бы быть передано языком. Но также верно и обратное.
Приложение
Полный перечень вопросов, предложенных анкетируемым
1. Ваш пол.
2. Ваш возраст.
3. Посмотрите, пожалуйста, 10 последних сообщений в приложениях типа «У1Ъег»/<^Ьа18Арр».
а. Сколько из 10 сообщений состоит только из текста?
b. Сколько из 10 сообщений состоит только из фото / видео?
c. Сколько из 10 сообщений состоит из текста и фото / видео?
4. Посмотрите, пожалуйста, 10 последних сообщений в соцсетях типа «Вкон-такте» / «Facebook».
a. Сколько из 10 сообщений состоит только из текста?
b. Сколько из 10 сообщений состоит только из фото / видео?
c. Сколько из 10 сообщений состоит из текста и фото / видео?
5. В каких случаях вы предпочитаете использовать в сообщениях мультиме-диафайлы (фото / видео) вместо текста?
a. Экономия усилий (проще и быстрее вставить фото / видео, чем набирать текст).
b. Фото / видео создает эффект присутствия, реальной коммуникации.
6. Какое из представленных ниже утверждений кажется вам наиболее подходящим?
a. В большинстве моих сообщений текст интерпретирует медиафайл, без него фото / видео может быть истолковано неправильно.
b. Текст и медиафайл полноценны каждый сам по себе (картинка могла бы существовать без текста так же, как и текст без картинки в данном сообщении).
c. Медиафайл дополняет (иллюстрирует) текст.
Список литературы
Балакина Ю. В. Электронный текст: принципиально новый тип текста? // Вестн. Волгоград. гос. ун-та. 2016. Т. 15, № 3. С. 17-27.
Барт Р. Избранные работы: Семиотика. Поэтика. М.: Прогресс, 1994. С. 297318.
Бочкарев А. Е. Интерсемиотичность // Семантический словарь. Н. Новгород: Деком, 2003. С. 62-65.
Жирмунский В. М. Рифма, ее история и теория // Вопросы поэтики: Непериодическая сер., изд. Разрядом истории словесных искусств. Вып. 3. Пг.: Academia, 1923. 340 с.
Завьялова З. С., Кондратьева И. В., Гиниятова Е. В., Дикин Э. К. Коммуникативные трансформации социальных медиа // Изв. Том. Политехн. ун-та. Социально-гуманитарные технологии. 2014. № 6. С. 88-93.
Колмогоров А. Н. Истина - благо // Юбилейное издание: В 3 кн. Кн. 1. М.: Физматлит, 2003. 354 с.
КронгаузМ. А. Самоучитель олбанского. М.: АСТ: Corpus, 2013. 416 с.
Леви-Строс К. Мифологики: В 4 т. Т. 1: Сырое и приготовленное. М.; СПб.: Университетская кн., 1999. 406 с.
Мартине А. Основы общей лингвистики // Новое в лингвистике. Вып. 3. М.: Изд-во иностр. лит., 1963. С. 366-566.
Рикер П. Живая метафора // Теория метафоры / Под ред. Н. Д. Арутюновой. М.: Прогресс, 1990. С. 435-455.
Соснин А. В. Математическое обоснование многомерности и несамодостаточности текста // Вестн. Воронеж. гос. ун-та. Сер. Лингвистика и межкультурная коммуникация. 2012. № 1. С. 194-199.
Соснин А. В. Упорядоченность Лондона и вортицизм. Визуальный компонент текстов о Лондоне // Вестн. Воронеж. гос. ун-та. Сер. Филология. Журналистика. 2014. № 3. С. 59-63.
Чеснокова И. А. Особенности устной / письменной речи в электронном письме // Вестн. Бурят. гос. ун-та. 2011 № 11. С. 132-135.
Arnheim R. The two sources of cognition // The Semiotic Web. Berlin: De Gruyter, 1989. P. 253-259.
Balakina J. V. Anglicisms in Russian and German Blogs. Frankfurt a. M.: Peter Lang, 2011. 262 p.
Barthes R. The photographic message // Image-Music-Text. London: Fontana, 1997. P. 15-41.
Bolter J. D., Grusin R. Remediation: Understanding New Media. Cambridge: MA: MIT Press, 2000. 301 p.
Crystal D. Internet Linguistics: A Student Guide. L.; N. Y.: Routledge, 2011.
Ess Ch., Sudweeks F. Culture and computer-mediated communication: Toward new understandings // J. of Computer-Mediated Communication. 2005. Vol. 11, No. 1. P. 179-191.
Gaudier-Brzeska H. Vortex (written from the trenches) // Blast. 1915. No. 2. P. 33-34.
Herring S. C. Computer-mediated discourse // The Handbook of Discourse Analysis. Oxford: Blackwell Publ., 2001. P. 612-634.
Kress G., van Leeuwen T. Reading Images. L.: Routledge, 2006. 348 p.
Kristeva J. Word, dialogue and novel // The Kristeva Reader. Oxford: Basil Blackwell, 1986. P. 34-61.
Locher M. A. Electronic discourse // The Pragmatics of Discourse. Berlin: Mouton, 2014. P. 555-581.
Lodge D. Nice Work. Penguin Books, 1989. 384 p.
Martinec R., Salway A. A System for image-text relations in new (and old) media // Visual Communication. 2010. No. 5. P. 339-374.
Tennyson A. In memoriam A. H. H. // The Collected Poems. Wordsworth Ed. Ltd., 1994. P. 285-365.
Thurlow C., Lengel L. Computer-Mediated Communication. Sage Publ., 2004. 246 p.
J. V. Balakina A. V. Sosnin 2
National Research University Higher School of Economics - Nizhny Novgorod Nizhny Novgorod, Russian Federation 1 julianaumova@gmail.com, 2 alexsosnin@mail.ru
Intersemioticity and Multimedia - from Traditional to Electronic Texts
The paper deals with such features of modern electronic texts as intersemioticity and multimedia nature. Studying these features is a new stage in researching the intertextual relations. At first, the authors consider non-electronic texts, presenting the theoretical basis of the notions in question, and only then proceed to electronic texts, tracing the evolution of the traditional conception of the text. Electronic texts are regarded as multimodal, that is presenting the synthesis of diverse semiotic objects or the unity of text and media. In order to distinguish the most common combinations of text and media, to explore the reasons why users combine them and to establish their percentage ratios, the authors have conducted a social and linguistic study, with results being analyzed in the paper.
Keywords: intersemioticity, multimedia, intertextuality, electronic text, semiotics.
DOI 10.17223/18137083/58/16
References
Arnheim R. The two sources of cognition. In: The Semiotic Web. Berlin, De Gruyter, 1989, pp. 253-259.
Balakina J. V. Anglicisms in Russian and German Blogs. Frankfurt a. M., Peter Lang, 2011, 262 p.
Balakina Yu. V. Elektronnyy tekst: printsipial'no novyy tip teksta? [The electronic text - a cardinally new text type?]. Science Journal of Volgograd State University. 2016, vol. 15, no. 3, pp. 17-27.
Bart R. Izbrannye raboty: Semiotika. Poetika [Selected works: semiotics, poetics]. Moscow, Progress, 1994, pp. 297-318.
Barthes R. The photographic message. In: Image-Music-Text. London, Fontana, 1997, pp. 15-41.
Bochkarev A. E. Intersemiotichnost' [Intersenioticity]. In: Semanticheskiy slovar' [Semantic glossary]. N. Novgorod, Dekom, 2003, pp. 62-65.
Bolter J. D., Grusin R. Remediation: Understanding New Media. Cambridge, MA, MIT Press, 2000, 301 p.
Chesnokova I. A. Osobennosti ustnoy/pis'mennoy rechi v elektronnom pis'me [Specific features of oral/written speech in an electronic letter]. Proceedings of Buryatia State University. 2011, no. 11, pp. 132-135.
Crystal D. Internet Linguistics: A Student Guide. L., N. Y., Routledge, 2011.
Ess Ch., Sudweeks F. Culture and computer-mediated communication: Toward new understandings. In: Journal of Computer-Mediated Communication. 2005, vol. 11, no. 1, pp. 179-191.
Gaudier-Brzeska H. Vortex (written from the trenches). In: Blast. 1915, no. 2, pp. 33-34.
Herring S. C. Computer-mediated discourse. In: The Handbook of Discourse Analysis. Oxford, Blackwell Publ., 2001, pp. 612-634.
Kolmogorov A. N. Istina - blago [Truth is a bliss]. In: Yubileynoe izdanie [Anniversary edition: in 3 vols. Vol. 1]. Moscow, Fizmatlit, 2003, 354 p.
Kress G., van Leeuwen T. Reading Images. London, Routledge, 2006, 348 p.
Kristeva J. Word, dialogue and novel. In: The Kristeva Reader. Oxford, Basil Blackwell, 1986, pp. 34-61.
Krongauz M. A. Samouchitel' olbanskogo [Self-study guide to Olbanese]. Moscow, AST, Corpus, 2013, 416 p.
Levi-Strauss K. Mifologiki [Mythologies]: In 4 vols. Vol. 1: Syroe i prigotovlennoe [The raw and the cooked]. Moscow, St. Petersburg, Universitetskaya kn., 1999, 406 p.
Locher M. A. Electronic discourse. In: The Pragmatics of Discourse. Berlin, Mouton, 2014, pp. 555-581.
Lodge D. Nice Work. Penguin Books, 1989, 384 p.
Martine A. Osnovy obshchey lingvistiki [Fundamentals of general linguistics]. In: Novoe v lingvistike [The new in linguistics]. Vol. 3. Moscow, Izd-vo inostr. lit., 1963, pp. 366-566.
Martinec R., Salway A. A System for image-text relations in new (and old) media. In: Visual Communication. 2010, no. 5, pp. 339-374.
Riker P. Zhivaya metafora [Living metaphor]. In: N. D. Arutyunova (Ed.). Teoriya metafory [The theory of the metaphor]. Moscow, Progress, 1990, pp. 435-455.
Sosnin A. V. Matematicheskoe obosnovanie mnogomernosti i nesamodostatochnosti teksta [Mathematical description of the multi-dimensional and non-self-sufficient text]. Proceedings of Voronezh State University. Series: Linguistics and Cross-Cultural Communication. 2012, no. 1, pp. 194-199.
Sosnin A. V. Uporyadochennost' Londona i vortitsizm. Vizual'nyy komponent tekstov o Londone [London's Regularity and Vorticism. The Visual Component of London Texts]. Proceedings of Voronezh State University. Series: Philology, Journalism. 2014, no. 3, pp. 59-63.
Tennyson A. In memoriam A. H. H. In: The Collected Poems. Wordsworth Ed. Ltd., 1994, pp. 285-365.
Thurlow C., Lengel L. Computer-Mediated Communication. Sage Publ., 2004, 246 p.
Zav'yalova Z. S., Kondrat'eva I. V., Giniyatova E. V., Dikin E. K. Kommunikativnye transformatsii sotsial'nykh media [Communicative transformations of social media]. Bulletin of the Tomsk Polytechnic University. Social and Humanitarian Technologies. 2014, no. 6, pp. 88-93.
Zhirmunskiy V. M. Rifma, ee istoriya i teoriya [Rhyme, its history and theory]. In: Voprosy poetiki [Issues of Poetics]: Neperiodicheskaya ser., izd. Razryadom istorii slovesnykh iskusstv. Iss. 3. Petersburg, Academia, 1923, 340 p.
