CC BY
2
ТЕОРЕТИЧЕСКАЯ, ПРИКЛАДНАЯ И СРАВНИТЕЛЬНО-СОПОСТАВИТЕЛЬНАЯ ЛИНГВИСТИКА / _THEORETICAL, APPLIED AND COMPARATIVE LINGUISTICS_
DOI: https://doi.Org/10.18454/RULB.2023.44.3
ОСОБЕННОСТИ СООТНОШЕНИЯ ВЕРБАЛЬНОЙ И НЕВЕРБАЛЬНОЙ СОСТАВЛЯЮЩИХ В
ПОЛИКОДОВЫХ ТЕКСТАХ
Научная статья
Левит А.А.1' *
1 ORCID : 0000-0002-1188-3473;
1 Пятигорский государственный университет, Пятигорск, Российская Федерация
* Корреспондирующий автор (apple_6991[at]mail.ru)
Аннотация
Способы репрезентации информации обретают всё большую вариативность вследствие значительного увеличения потока информации. Исследователи наблюдают отчетливую тенденцию качественного изменения репрезентации текста. Определено, что Интернет-контент различен по своей природе и представляет собой различные модели построения сложного текста. В данной статье представлен теоретический обзор различных точек зрения исследователей на особенности взаимодействия вербальных и невербальных (иконических) элементов поликодовых (креолизованных) текстов. Делается вывод, что различные подходы к формированию Интернет-контента дают различный результат. Отмечается, что наличие кодов и модальностей - это два самостоятельных аспекта классификации рассматриваемых текстов, которые означают, что поликодовый текст, который соединяет в себе вербальный и визуальный код, может быть и мономодальным в том случае, если он воспринимается исключительно при помощи зрительного анализатора.
Ключевые слова: поликодовый текст, креолизованный текст, полимодальный текст, вербальный компонент, невербальный компонент, иконический компонент.
SPECIFICS OF VERBAL AND NON-VERBAL CONTENT RELATIONSHIPS IN POLYCODE TEXTS
Research article
Levit A.A.1 *
1 ORCID : 0000-0002-1188-3473;
1 Pyatigorsk State University, Pyatigorsk, Russian Federation
* Corresponding author (apple_6991[at]mail.ru)
Abstract
The ways of information representation are becoming more and more varied due to a significant increase in the information flow. Researchers observe a clear tendency of qualitative changes in text representation. It is determined that Internet content is different in nature and represents different models of complex text construction. This article presents a theoretical review of various researchers' views on the specifics of interaction between verbal and non-verbal (iconic) elements of polycoded (creolised) texts. It is concluded that different approaches to the formation of Internet content produce different results. It is noted that the presence of codes and modalities are two independent aspects of the classification of the texts in question, which means that a polycode text that combines verbal and visual codes can also be monomodal if it is perceived solely with the help of the visual analyser.
Keywords: polycode text, creolised text, polymodal text, verbal component, non-verbal component, iconic component.
Введение
На сегодняшний день отмечается значительное увеличение потока информации, приводящее к тому, что способы репрезентации этой информации обретают всё большую вариативность. Исследователи наблюдают отчетливую тенденцию качественного изменения репрезентации текста. Это, в том числе, выражается в том, что на смену вербальной линейной конструкции, дополненной элементами простой графики, такими как таблицы, схемы, диаграммы и т.д., приходят тексты, которым характерны синтез мультимедийности и вербальных структур, а также активное использование гиперссылок и различной инфографики, в частности, рисунков, фотографий, карикатур, коллажей, эмблем, иконок, смайликов и т.д. [3], [8]. Визуальная информация, аудио-изобразительный ряд, иллюстрирование, паралингвистические письменные средства уже стали важнейшими элементами текстообразования [14].
Методы и принципы исследования
Стоит отметить, что на данный момент среди исследователей нет единого мнения в вопросе о сущности и структуре поликодового/креолизованного текста, и, несмотря на то, что вопрос внутренней дифференциации рассматриваемых текстов был определен давно, своего окончательного терминологического оформления в русскоязычном пространстве он на сегодняшний день не получил. В этой связи отмечаются расхождения даже в вопросе терминологии. Так, в современном научном поле для таких текстов сложной семиотической природы применяются такие термины, как «поликодовый» [16], [21], «креолизованный» [12], «видео-вербальный» [12], «смешанный», «контаминированный», «интерсемиотический» [17], «семиотически осложненный» [13], «изоверб»,
«изовербальный», а также «изовербальный комплекс» [17], [4], «гетерогенный» [16], «мультимедийный» [16], [19], [20], «лингвовизуальный» [4], «нелинейный кодовый текст» [5] и «многоканальное и полимодальное сообщение» [10]. Таким образом, вариативность применяемых терминов может свидетельствовать о повышенном интересе российской науки к поликодовым и полимодальным текстам.
Основные результаты
Ю. А. Сорокин и Т. Ф. Тарасов утверждают, что креолизованный текст - это текст, который состоит из двух неоднородных частей: вербальной (языковой / речевой) и невербальной, которая принадлежит к другим знаковым системам, кроме естественного языка [16]. По мнению О. В. Поймановой, к «видеовербальным» текстам можно отнести текст, который состоит из последовательности знаков, объединенной смысловой связью. Эти знаки относятся к знаковым системам двух видов: естественного языка и иконической, причем знаки последней должны восприниматься зрительными рецепторами [12].
Кроме того, креолизованный текст может включать в себя элементы различных диалектов, языков и культур, что делает его особенно сложным для понимания и перевода. Важно учитывать все эти аспекты при работе с такими текстами [12].
Согласно определению Е. Е. Анисимовой, поликодовый текст - это сложное текстовое образование, в котором вербальные и иконические элементы составляют единое визуальное, структурное, смысловое и функциональное целое, нацеленное на комплексное прагматическое воздействие на адресата [1]. Поликодовый текст представляет собой текст, в котором визуальные и вербальные элементы взаимодействуют между собой и образуют единое целое, которое направлено на комплексное воздействие на читателя. При этом каждый элемент может нести свой уникальный смысл, который дополняет и расширяет общее содержание текста [1]. По мнению Е.Д. Некрасовой, поликодовым является текст, который «соединяет в себе разные семиотические коды», а полимодальным «может быть назван текст, воспринимаемый при помощи различных модальностей - каналов восприятия информации, в частности зрительной и аудиальной» [11].
Помимо различных терминов для текстов сложной семиотической природы и их определений, ученые также предлагают различные виды классификаций поликодовых текстов, основанных на разнообразных критериях. Стоит отметить, что вопрос соотношения кодовых систем, а именно, исследование взаимодействия между вербальной и иконической частями в составе поликодового текста, является наиболее разрабатываемым и актуальным в когнитологии на данный момент [11].
Более того, главной задачей ученых является выявление корреляций внутреннего взаимодействия между символами и знаками разных кодов в рамках определенного исследуемого жанра. Особенно важна функция иконического знака внутри вербально представленной информации, а также формы взаимодействия вербальной и иконической информации [6].
Внутри поликодового текста вербальный компонент и изображение взаимодействуют, образуя единый комплекс. Исследователь Е.Е. Анисимова делит тексты на основе наличия и связи изображения с вербальной частью. Тексты с нулевой креолизацией не содержат изображений или они не влияют на организацию текста. Тексты с частичной креолизацией могут включать изображительный компонент, но вербальная часть относительно автономна. Тексты с полной креолизацией характеризуются тесной связью между вербальной и иконической частями, которые взаимодействуют между собой [2]. Также исследователь отмечает, что тексты с полной креолизацией могут быть использованы для достижения различных целей, таких как создание эмоциональной реакции у читателей или передача определенной информации. Она также отмечает, что тексты с частичной креолизацией могут использоваться для более тонкой передачи информации, в то время как тексты с нулевой креолизацией могут быть более формальными и информативными [2].
Исследователь Д.П. Чигаев предлагает три распространенные модели сочетания иконических и вербальных элементов: «вербальный текст + изображение», «изображение + вербальный текст» и «вербальный текст = изображение» [18]. Исследователь О. В. Пойманова классифицирует тексты сложной семиотической природы на несколько типов, используя такие критерии, как степень гетерогенности, характер иконических и вербальных элементов, соотношение объема информации и роли изображения, а также характер связей между вербальным и изобразительным компонентами [12]. Таким образом, можно сделать вывод, что разные подходы к созданию Интернет-контента приводят к разным результатам, и каждый из этих подходов имеет свои достоинства и недостатки. Для создания успешного Интернет-контента необходимо учитывать не только степень гетерогенности текста и характер связей между вербальным и иконическим компонентами, но и предпочтения целевой аудитории. Для молодежи могут быть более привлекательными контенты, где изображение занимает центральное место, в то время как для бизнес-сегмента может быть более важным содержание текста. Таким образом, создание эффективного Интернет-контента требует учета множества факторов.
Заключение
Исследователи отмечают, что контент в Интернете имеет различную природу и представляет собой различные модели построения сложного текста [9]. Если рассматривать новостной веб-сайт в качестве текста с несколькими кодировками, то можно сказать, что в нем могут сочетаться вербальный, иконический и аудиокомпоненты, которые воспринимаются читателем как единый комплекс элементов [15]. Образ, который возникает у читателя, в первую очередь связан именно с изображением. Однако, при чтении текста, который сопровождает данное изображение, человек может начать рассматривать сначала изображение и его элементы, тем самым разрушая целостный образ иллюстрации. Стоит также отметить, что иллюстрации, как правило, расположены сверху на веб-страницах, задавая тон тексту, который еще предстоит прочитать [15]. Одним из ключевых факторов восприятия контента на вебстраницах является его визуальное оформление. Поэтому важно уделять должное внимание дизайну иллюстраций,
чтобы они не только сочетались с текстом, но и дополняли его, усиливая восприятие и понимание информации. Также необходимо учитывать, что реципиент может начинать рассматривать изображение еще до того, как прочитает текст, поэтому важно создавать иллюстрации, которые содержат достаточно информации и могут быть рассмотрены как самостоятельный элемент контента х расположены сверху, задавая тон тексту, который еще предстоит прочесть.
Исходя из вышесказанного, можно сделать вывод, что наличие кодов и модальностей - это два самостоятельных аспекта классификации рассматриваемых текстов, которые означают, что поликодовый текст, который соединяет в себе вербальный и визуальный код, может быть и мономодальным в том случае, если он воспринимается исключительно при помощи зрительного анализатора. Отмечается, что главную задачу ученые видят в выявлении корреляций внутреннего взаимодействия между символами и знаками разных кодов в рамках определенного исследуемого жанра, в частности, функции иконического знака внутри вербально представленной информацией, а также формы взаимодействия вербальной и иконической информации.
Финансирование
Исследование выполнено за счет гранта Российского научного фонда № 22-18-20091 в Пятигорском государственном университете
Конфликт интересов
Не указан.
Рецензия
Все статьи проходят рецензирование. Но рецензент или автор статьи предпочли не публиковать рецензию к этой статье в открытом доступе. Рецензия может быть предоставлена компетентным органам по запросу.
Funding
The reported study was funded by the Russian Science Foundation, research project No. 22-18-20091 at Pyatigorsk State University
Conflict of Interest
None declared.
Review
All articles are peer-reviewed. But the reviewer or the author of the article chose not to publish a review of this article in the public domain. The review can be provided to the competent authorities upon request.
Список литературы / References
1. Анисимова Е.Е. О целостности и связности креолизованного текста. К постановке проблемы / Е.Е. Анисимова // Филологические науки. — 1996. — 5. — c. 128-130.
2. Анисимова Е.Е. Лингвистика текста и межкультурная коммуникация (на материале креолизованных текстов) / Е.Е. Анисимова. — М.: ТЕЗАРУС, 2013. — 128 c.
3. Беньковская Т.Е. Тексты «новой природы» и возможность их использования в литературном образовании современных школьников / Т.Е. Беньковская // Педагогический имидж. — 2017. — 3. — c. 63-70.
4. Бернацкая А.А. К проблеме креолизации текста: история и современное состояние / А.А. Бернацкая // Речевое общение: Специализированный вестник. — 1997. — 11. — c. 104-110.
5. Большакова Л.С. О содержании понятия «поликодовый текст» / Л.С. Большакова // Вестник Самарского государственного университета. — 2008. — 4. — c. 19-24.
6. Вашунина И.В. Креолизованный текст: Смысловое восприятие / И.В. Вашунина. — М.: Институт языкознания РАН, 2020. — 206 c.
7. Вашунина И.В. Особенности восприятия креолизованных текстов / И.В. Вашунина // Вопросы психолингвистики. — 2016. — 3. — c. 39-51.
8. Галкина С.Ф. Поликодовые и полимодальные тексты в профессионально ориентированном обучении РКИ / С.Ф. Галкина, В.И. Филатова, А.С. Юсяев // Мир русского слова. — 2024. — 3. — c. 103-112.
9. Громова Н.С. Поликодовые тексты в сети интернет: специфика бытования и особенности экспертизы / Н.С. Громова // Стратегии развития социальных общностей, институтов и территорий. — 2020. — 1. — c. 357-360. — URL: https://elar.urfu.ru/handle/10995/86182 (дата обращения: 07.12.22).
10. Мурашова И.Ю. Полимодальное восприятие детей старшего дошкольного возраста с общим недоразвитием речи и условия его совершенствования / И.Ю. Мурашова. — М., 2013. — 142 c.
11. Некрасова Е.Д. К вопросу о восприятии полимодальных текстов / Е.Д. Некрасова // Вестник Томского государственного университета. — 2014. — 378. — c. 45-48. — URL: https://cyberleninka.ru/article/n/k-voprosu-o-vospriyatii-polimodalnyh-tekstov (дата обращения: 22.09.22).
12. Пойманова О.В. Типологические и функционально-стилистические характеристики англоязычного путеводителя / О.В. Пойманова. — М., 2006. — 229 c.
13. Протченко А.В. Типологические и функционально-стилистические характеристики англоязычного путеводителя / А.В. Протченко. — Самара, 2006. — 229 c.
14. Сенцова В.А. Поликодовые тексты как средство обучения итальянских учащихся русской грамматике / В.А. Сенцова. — М., 2017. — 184 c.
15. Сергеева Ю.М. Поликодовый текст: особенности построения восприятия / Ю.М. Сергеева, Е.А. Уварова // Наука и школа. — 2014. — 1. — c. 128-134. — URL: https://cyberleninka.ru/article/n/polikodovyy-tekst-osobennosti-postroeniyai-vospriyatiya (дата обращения: 20.10.22).
16. Сонин А.Г. Общепсихологические и когнитивные механизмы понимания мультимедийных текстов / А.Г. Сонин // Вопросы психолингвистики. — 2003. — 1. — c. 43-45. — URL: https://cyberleninka.ru/article/n/obschepsihologicheskie-i-kognitivnye-mehanizmy-ponimaniya-multimediynyh-tekstov (дата обращения: 17.11.22).
17. Сковородников А.П. О типологии контаминированных текстов (к проблеме терминообозначения) / А.П. Сковородников // Русский язык за рубежом. — 2006. — 5. — с. 43-48. — URL: https://research.sfu-kras.ru/publications/publication/971247779-223757565 (дата обращения: 30.11.22).
18. Чигаев Д.П. Способы креолизации современного рекламного текста / Д.П. Чигаев. — М., 2010. — 223 с.
19. Mayer R.E. Multimedia Learning / R.E. Mayer // Cambridge University Press. — 2001. — 1. — p. 222. — URL: https://www.ocerints.org/adved22_e-publication/papers/Roza%20Zhussupova2.pdf (accessed: 06.12.22).
20. Reed S.K. Cognitive Architectures for Multimedia Learning / S.K. Reed // Educational Psychologist. — 2004. — 41.
— p. 87-98. — URL: https://www.researchgate.net/publication/228619405_Cognitive_Architectures_for_Multimedia_Learning (accessed: 29.09.22).
21. Ейгер Г.В. К построению типологии текстов / Г.В. Ейгер, В.Л. Юхт // Лингвистика текста. — 1974. — 1. — URL: https://moluch.ru/archive/111/27428/ (дата обращения: 21.10.22).
Список литературы на английском языке / References in English
1. Anisimova E.E. O celostnosti i svjaznosti kreolizovannogo teksta. K postanovke problemy [On the Integrity and Coherence of a Creolized Text. Towards a Statement of the Problem] / E.E. Anisimova // Filologicheskie nauki [Philological Sciences]. — 1996. — 5. — p. 128-130. [in Russian]
2. Anisimova E.E. Lingvistika teksta i mezhkul'turnaja kommunikacija (na materiale kreolizovannyh tekstov) [Text Linguistics and Intercultural Communication (on the material of creolised texts)] / E.E. Anisimova. — M.: TEZARUS, 2013.
— 128 p. [in Russian]
3. Ben'kovskaja T.E. Teksty «novoj prirody» i vozmozhnost' ih ispol'zovanija v literaturnom obrazovanii sovremennyh shkol'nikov [Texts of "New Nature" and the Possibility of Using Them in Literary Education of Modern Schoolchildren] / T.E. Ben'kovskaja // Pedagogicheskij imidzh [Pedagogical Image]. — 2017. — 3. — p. 63-70. [in Russian]
4. Bernackaja A.A. K probleme kreolizacii teksta: istorija i sovremennoe sostojanie [On the Problem of Text Creolization: History and Current State of the Art] / A.A. Bernackaja // Rechevoe obshhenie: Specializirovannyj vestnik [Speech Communication: Specialized Bulletin]. — 1997. — 11. — p. 104-110. [in Russian]
5. Bol'shakova L.S. O soderzhanii ponjatija «polikodovyj tekst» [On the Content of the Notion of Polycode Text] / L.S. Bol'shakova // Vestnik Samarskogo gosudarstvennogo universiteta [Bulletin of Samara State University]. — 2008. — 4. — p. 19-24. [in Russian]
6. Vashunina I.V. Kreolizovannyj tekst: Smyslovoe vosprijatie [Creolized Text: Meaning Perception] / I.V. Vashunina. — M.: Institute of Linguistics of the Russian Academy of Sciences, 2020. — 206 p. [in Russian]
7. Vashunina I.V. Osobennosti vosprijatija kreolizovannyh tekstov [Features of Creolized Texts Perception] / I.V. Vashunina // Voprosy psiholingvistiki [Issues of Psycholinguistics]. — 2016. — 3. — p. 39-51. [in Russian]
8. Galkina S.F. Polikodovye i polimodal'nye teksty v professional'no orientirovannom obuchenii RKI [Polycoded and Polymodal Texts in Professionally Oriented Teaching of RFL] / S.F. Galkina, V.I. Filatova, A.S. Jusjaev // Mir russkogo slova [World of Russian World]. — 2024. — 3. — p. 103-112. [in Russian]
9. Gromova N.S. Polikodovye teksty v seti internet: specifika bytovanija i osobennosti jekspertizy [Polycoded Texts on the Internet: Specifics of Existence and Characteristics of Expertise] / N.S. Gromova // Strategii razvitija social'nyh obshhnostej, institutov i territorij [Strategies for the Development of Social Communities, Institutions and Territories]. — 2020. — 1. — c. 357-360. — URL: https://elar.urfu.ru/handle/10995/86182 (accessed: 07.12.22). [in Russian]
10. Murashova I.Ju. Polimodal'noe vosprijatie detej starshego doshkol'nogo vozrasta s obshhim nedorazvitiem rechi i uslovija ego sovershenstvovanija [Polymodal Perception of Senior Preschool Children with General Underdevelopment of Speech and Conditions of its Improvement] / I.Ju. Murashova. — M., 2013. — 142 p. [in Russian]
11. Nekrasova E.D. K voprosu o vosprijatii polimodal'nyh tekstov [On the Perception of Polymodal Texts] / E.D. Nekrasova // Vestnik Tomskogo gosudarstvennogo universiteta [Bulletin of Tomsk State University]. — 2014. — 378. — c. 45-48. — URL: https://cyberleninka.ru/article/n/k-voprosu-o-vospriyatii-polimodalnyh-tekstov (accessed: 22.09.22). [in Russian]
12. Pojmanova O.V. Tipologicheskie i funkcional'no-stilisticheskie harakteristiki anglojazychnogo putevoditelja [Typological and Functional-Stylistic Characteristics of an English-language Guidebook] / O.V. Pojmanova. — M., 2006. — 229 p. [in Russian]
13. Protchenko A.V. Tipologicheskie i funkcional'no-stilisticheskie harakteristiki anglojazychnogo putevoditelja [Typological and Functional-Stylistic Characteristics of an English-language Guidebook] / A.V. Protchenko. — Samara, 2006.
— 229 p. [in Russian]
14. Sencova V.A. Polikodovye teksty kak sredstvo obuchenija ital'janskih uchashhihsja russkoj grammatike [Polycoded Texts as a Means of Teaching Russian Grammar to Italian Students] / V.A. Sencova. — M., 2017. — 184 p. [in Russian]
15. Sergeeva Ju.M. Polikodovyj tekst: osobennosti postroenija vosprijatija [Polycoded Text: Features of the Construction of Perception] / Ju.M. Sergeeva, E.A. Uvarova // Nauka i shkola [Science and School]. — 2014. — 1. — c. 128-134. — URL: https://cyberleninka.ru/article/n/polikodovyy-tekst-osobennosti-postroeniyai-vospriyatiya (accessed: 20.10.22). [in Russian]
16. Sonin A.G. Obshhepsihologicheskie i kognitivnye mehanizmy ponimanija mul'timedijnyh tekstov [General Psychological and Cognitive Mechanisms of Comprehension of Multimedia Texts] / A.G. Sonin // Voprosy psiholingvistiki [Issues in Psycholinguistics]. — 2003. — 1. — p. 43-45. — URL: https://cyberleninka.ru/article/n/obschepsihologicheskie-i-kognitivnye-mehanizmy-ponimaniya-multimediynyh-tekstov (accessed: 17.11.22). [in Russian]
17. Skovorodnikov A.P. O tipologii kontaminirovannyh tekstov (k probleme terminooboznachenija) [On the Typology of Contaminated Texts (on the Problem of Terminology)] / A.P. Skovorodnikov // Russkij jazyk za rubezhom [Russian Language
Abroad]. — 2006. — 5. — p. 43-48. — URL: https://research.sfu-kras.ru/publications/publication/971247779-223757565 (accessed: 30.11.22). [in Russian]
18. Chigaev D.P. Sposoby kreolizacii sovremennogo reklamnogo teksta [Ways of Creolization of Modern Advertising Texts] / D.P. Chigaev. — M., 2010. — 223 p. [in Russian]
19. Mayer R.E. Multimedia Learning / R.E. Mayer // Cambridge University Press. — 2001. — 1. — p. 222. — URL: https://www.ocerints.org/adved22_e-publication/papers/Roza%20Zhussupova2.pdf (accessed: 06.12.22).
20. Reed S.K. Cognitive Architectures for Multimedia Learning / S.K. Reed // Educational Psychologist. — 2004. — 41. — p. 87-98. — URL: https://www.researchgate.net/publication/228619405_Cognitive_Architectures_for_Multimedia_Learning (accessed: 29.09.22).
21. Ejger G.V. K postroeniju tipologii tekstov [On the Construction of a Typology of Texts] / G.V. Ejger, V.L. Juht // Lingvistika teksta [Text Linguistics]. — 1974. — 1. — URL: https://moluch.ru/archive/111/27428/ (accessed: 21.10.22). [in Russian]
