CC BY
120
#
RUDN Journal of Language Studies, Semiotics and Semantics
2313-2299 (print), ISSN 2411-1236 (online)
Вестник Российского университета дружбы народов. Серия: ТЕОРИЯ ЯЗЫКА. СЕМИОТИКА. СЕМАНТИКА
2022 Vol. 13 No. 3 769-783
http://journals.rudn.ru/semiotics-semantics
DOI: 10.22363/2313-2299-2022-13-3-769-783 УДК 81'22'27:316.77:004:76
Научная статья / Research article
Мультимодальный характер цифровой коммуникации: функционирование эмодзи в межличностном общении
Е.А. Кольцова1 И, Ф.И. Карташкова2 Э
'Санкт-Петербургский горный университет,
199106, Российская Федерация, Санкт-Петербург, Васильевский остров, 21 линия, д. 2
2Ивановский государственный университет,
153025, Российская Федерация, Иваново, ул. Ермака, д. 39 И [email protected]
Аннотация. Технологические изменения и развитие цифровых средств коммуникации привели к формированию особой семиотики в цифровой сфере, отличающейся мультимо-дальным характером и включающим помимо прочего такие паралингвистические знаки как эмодзи, эмотиконы, мемы и др., которые выступают своего рода компенсаторным механизмом в новых реалиях коммуникативного взаимодействия. Повышенный интерес пользователей к различным иконическим знакам в цифровом общении вызывает значительный интерес исследователей самых разных областей научного знания. Цель исследования заключается в рассмотрении когнитивной, семиотической и психолингвистической природы эмодзи в рамках межличностного взаимодействия путем анализа их функционирования в текстах быстрых сообщений и постах в соцсетях, а также в попытке выявить механизмы их воздействия на адресата. Материалом исследования послужили англоязычные, русскоязычные и франкоязычные поликодовые тексты быстрых сообщений в различных мессенджерах и в постах в сети Интернет, а также общедоступные публикации в социальных сетях и рассылки рекламного характера. Исследование проводилось с помощью методов контекстуального, лингво-прагматического и контент-анализа. В ходе исследования было установлено, что эмодзи в рамках межличностной коммуникации выполняют функции невербальной составляющей общения, эмотивную, прагматическую, пунктуационную, заместительную, декоративную и риторическую функции. Данные символы, вводимые в контекст цифрового общения, служат помимо компенсаторного механизма и как средство воздействия на адресата, реципиента сообщения. Слияние вербальной и иконической составляющих запускает механизм двойного фокусирования, при котором восприятие обеспечивается всеми когнитивными механизмами, с подключением рациональной и эмоционально-бессознательной составляющих.
© Кольцова Е.А., Карташкова Ф.И., 2022
I | This work is licensed under a Creative Commons Attribution 4.0 International License
I_I https://creativecommons.org/licenses/by-nc/4.0/legalcode
Ключевые слова: иконические знаки, эмодзи, цифровая семиотика, манипулятивные тактики, мультимодальная коммуникация, поликодовый текст, цифровая коммуникация
Участие авторов:
Кольцова Е.А. — концепция исследования, сбор и обработка материалов, написание текста; Карташкова Ф.И. — научное редактирование текста.
История статьи:
Дата поступления: 01.02.2022 Дата приема в печать: 15.07.2022
Для цитирования:
Кольцова Е.А., Карташкова Ф.И. Мультимодальный характер цифровой коммуникации: функционирование эмодзи в межличностном общении // Вестник Российского университета дружбы народов. Серия: Теория языка. Семиотика. Семантика. 2022. Т. 13. № 3. С. 769—783. https://doi.org/10.22363/2313-2299-2022-13-3-769-783
Digital Communication and Multimodal Features: Functioning of Emoji in Interpersonal Communication
Elena A. Koltsova1 И, Faina I. Kartashkova2
'Saint Petersburg Mining University,
2, 21st Line, St Petersburg, Russian Federation, 199106
2Ivanovo State University,
39, Ermaka st., Ivanovo, Russian Federation, 153025 И [email protected]
Abstract. Technical advances and digital means of communication have led to the development of digital semiotics which is characterised by its multimodality and abounds in paralinguistic elements such as emojis, emoticons, memes, etc. These extralinguistic elements serve as a compensatory mechanism in the new communication means. The increasing interest of users in various iconic signs and symbols generates the research interest in different fields of knowledge. The study aims to consider cognitive, semiotic and psycholinguistic features of emojis in interpersonal communication through analysing their functions in text messages and in social network messages. An attempt to reveal their persuasive mechanism is made. The research is based on a large scale dataset comprised of the private text messages as well as public posts on social networks which include verbal and nonverbal / iconic elements. The research data presents a multilingual bank of English, Russian and French sources. The research methods include context analysis, linguistic and pragmatic analysis and content analysis. The findings show that emojis in private interpersonal communication perform a number of functions, namely nonverbal, emotive, pragmatic, punctuation, substitutional, decorative and rhetorical functions. These iconic symbols incorporated in the interpersonal digital communication present a compensatory mechanism and the means of persuasion of a message addressee / recipient. The combination of verbal and iconic elements triggers a double focusing mechanism, and the perception is shaped by all cognitive mechanisms including rational and emotional, unconscious components.
Key words: iconic symbols, emoji, digital semiotics, manipulative techniques, multimodal text, digital communication
Author contributions:
Elena A. Koltsova — the concept of the study, the collection and processing of materials, writing the text; Faina I. Kartashkova — Scientific editing of the text.
Article history:
Received: 01.02.2022 Accepted: 15.07.2022
For citation:
Koltsova, E.A. & Kartashkova, F.I. (2022). Digital Communication and Multimodal Features: Functioning of Emoji in Interpersonal Communication. RUDN Journal of Language Studies, Semiotics and Semantics, 13(3), 769—783. https://doi.org/10.22363/2313-2299-2022-13-3-769-783
Введение
Технологический прорыв последних десятилетий быстро и кардинально изменил как мир вокруг нас, так и способы и характер нашего взаимодействия, создав новые беспрецедентные возможности и средства для коммуникации. Большая часть межличностного общения переместилась в область письменного общения в социальных сетях и мессенджерах, где помимо непосредственных собеседников к процессу коммуникации подключается своеобразный посредник в виде цифровых средств коммуникации. Разделяющий коммуникантов экран способен несколько менять иллокутивную силу речевого акта.
Данные изменения привели к формированию социальной семиотики в цифровой сфере (digital semiotics), отличающейся мультимодальным характером и включающей помимо прочего такие паралингвистические знаки, как эмодзи, эмотиконы, мемы и др., которые выступают своего рода компенсаторным механизмом в новых реалиях коммуникативного взаимодействия. Из всего перечисленного именно эмодзи продолжают оставаться в фокусе весьма пристального внимания исследователей самых разных областей знания: лингвистов, психологов, антропологов, культурологов, маркетологов, ученых в области семиотики и информационных технологий. При этом ученые полагают, что в силу своего прагматического значения данные парагра-фические знаки необходимо «понимать в лингвистических, а не экстралингвистических терминах» [1. С. 250]. Цель данной статьи заключается в рассмотрении когнитивной, семиотической и психолингвистической природы эмодзи путем анализа их функционирования в текстах быстрых сообщений и постах в соцсетях, а также в попытке выявить механизмы их воздействия на адресата.
Определение понятия и обзор литературы
Прежде всего, определим исследуемое понятие «эмодзи». В переводе с японского языка, которому оно обязано своим появлением, эмодзи (emoji) обозначает 'picture character', то есть является словом-картинкой, представляя собой изображение, визуализирующее разнообразные человеческие эмо-
ции, невербальные действия человека, объекты, артефакты и т.д. Такой широкий спектр представления наряду со скоростью ввода, выразительностью и более глубоким уровнем идентификации, по нашему мнению, послужил залогом более успешного и широкого распространения эмодзи по сравнению с другими семиотическими параграфемными знаками, например, эмотико-нами и мемами, что подтверждается статистическими данными целого ряда исследователей [2-6].
Внезапное появление и стремительное распространение эмодзи, по мнению известнейшего канадского специалиста в области семиотики Марселя Данези, может свидетельствовать о начавшейся эволюции самой системы человеческого общения [7]. Первый когнитивный сдвиг (first cognitive shift) произошел, по версии исследователей, приблизительно в 1000 до н.э. при переходе от пиктографического типа письма к логографическому, идеографическому или алфавитному письму [8]. Прослеживая эволюцию и функциональные особенности письменности, М. Данези высказывает предположение о том, что мы, возможно, стоим на пути второго когнитивного парадигматического сдвига, характеризующегося своеобразным «возвращением» пиктографического-ло-гографического типа письма, соединенного с письмом алфавитным. Ученый называет его гибридным типом — hybrid / blended writing system — что, в свою очередь, может являться фактором значительного изменения человеческого сознания, переходом от линейного способа обработки информации к более целостному, образному способу мышления. Если эмодзи или подобные элементы коммуникации не окажутся преходящим трендом, то человечество может подойти ко второму когнитивному сдвигу в своей истории [7].
В зарубежной практике уже существует значительное количество раз-ноаспектных исследований эмодзи, актуальность изучения которых продиктована в том числе и статистическими данными — 92 % пользователей сети Интернет и различных мессенджеров используют эмодзи [9]. Количество исследовательских статей, посвященных изучению эмодзи, согласно анализу, проведенному группой ученых из Китайского народного университета в Пекине, начиная с 2015 г. увеличилось во много раз [3], особенный всплеск внимания к данному феномену наблюдается в последние три года. Исследования проводятся в основном в междисциплинарном русле, объединяя области компьютерных наук, рекламы и маркетинга, лингвистики, психологии, поведенческих наук, политологии, права, медицины и других. Ученые применяют эмпирический анализ данных, отмечая индивидуально-личностные [10; 11] и национально-специфичные, культурные [12-17] особенности использования эмодзи, гендерные сходства и различия [5; 18-20], а также специфику восприятия эмодзи пользователями, связанную с разными онлайн-платформами [6].
Аспекты функционирования эмодзи, визуальные особенности данных знаков, их выразительная модальность, отличная от текста и изображений,
привлекают внимание различных исследователей. Изучение проводится с точки зрения их популярности и привлекательности для пользователей и соответствующей оптимизации компьютерных и нейронных систем [21; 22], а также для анализа данных пользовательского контента, разработки различных алгоритмов и моделей, позволяющих проводить более эффективный анализ тональности текста в социальных сетях [23], для определения настроения и эмоций пользователей в рекламных, маркетинговых [24; 25], политических [26] и иных целях. Контролирующая появление и использование новых эмодзи ассоциация Unicode постоянно отслеживает динамику использования тех или иных эмодзи для ввода новых единиц.
Эмодзи играют немаловажную роль в привлечении внимания в сфере маркетинга. Исследователи применяют различные лингвистические теории, преимущественно из области риторики, для изучения характера воздействия эмодзи на потребителя, стимулирования взаимодействия с потенциальным покупателем и повышения его заинтересованности в покупке. Доминирующая роль эмодзи в выражении эмоционального состояния в цифровой коммуникации делает их эффективным инструментом для отслеживания и измерения эмоций пользователя по отношению к продуктам, брендам и услугам [27-29].
В области поведенческих наук исследования эмодзи сосредоточены в основном на трех аспектах: мотивации использования данных знаков, предпочтениях в выборе тех или иных эмодзи и факторах, влияющих на этот выбор. Среди основных мотивирующих причин использования эмодзи называются управление и поддержание межличностных отношений [30], самовыражение [10], утверждение самоидентичности [11], облегчение межличностного общения [31]. Психологические исследования рассматривают взаимосвязь между индивидуальными психологическими характеристиками и использованием эмодзи, а также возможность внедрения их в психометрические шкалы в качестве новых инструментов психологического измерения [32]. Помимо этого существуют работы в области образования, изучающие влияние эмодзи на эффективность обучения, вовлеченность в учебный процесс и рефлексию [33].
Ряд семиотических исследований относится к правовой сфере, а именно разбору случаев судебных тяжб, в которых истинные интенции и мотивы обвиняемых трактовались через эмодзи, сопровождавшие их текстовые сообщения в социальных сетях и мессенджерах, адресованные жертвам или потерпевшим [7].
В рамках лингвистической науки исследования сосредоточены на прагматических функциях эмодзи [2; 34] и анализе потенциальной возможности того, что данные знаки и символы могут стать независимым универсальным языком в силу своих семантических свойств [23]. Проводится попытка выделения различных речевых актов в рамках межличностного общения через мессенджеры, в которых чаще всего встречаются эмодзи, преимущественно антропоморфные по своему визуальному представлению.
Основная отличительная особенность предпринятого нами исследования видится в обобщенном анализе роли эмодзи в цифровой коммуникации и попытке выявления воздействующего механизма данного феномена.
Методы и материал
Материалом исследования послужили англоязычные, русскоязычные и франкоязычные поликодовые тексты быстрых сообщений в различных мес-сенджерах и постах в сети Интернет, анализируемые с разрешения контактов автора исследования, а также общедоступные публикации в социальных сетях и персональные рассылки рекламного характера. Общий объем фактического материала составил 3500 единиц (сообщений, постов, рассылок). Исследование проводилось с помощью методов контекстуального, лингво-прагматического и контент-анализа.
Функции эмодзи в цифровой межличностной коммуникации
Широкое использование и растущая популярность эмодзи в цифровой коммуникации объясняется, на наш взгляд, теми психологическими и социальными функциями, которые они стали выполнять в коммуникации. Отметим при этом, что с развитием электронных технологий и расширением возрастных рамок участников электронного общения расширяются и меняются функции, выполняемые данными паралингвистиче-скими знаками [35].
С одной стороны, эмодзи является пиктографическим способом выражения умонастроения, помогая выражать эмоциональное состояние, эмпатию, «я» говорящего более эффективно в условиях электронной коммуникации, которую отличает ряд особенностей, в частности ограничения, связанные с невозможностью видеть собеседника. Эмодзи добавляют эмоции обычным текстовым сообщениям и в отличие от предшествовавших им эмотиконов позволяют передать целый спектр эмоций от простых улыбок или хмурого выражения лица до сарказма, удивления, возмущения и пр. Символ обладает довольно мощным коммуникативным потенциалом, способным эффективно передавать несоизмеримо большее содержание, нежели любой другой знак. При этом в пространстве Интернета эмодзи, благодаря своему универсальному характеру, способны преодолевать кросс-культурные границы и создавать диалоговое пространство среди носителей как одного языка, так и на межнациональном уровне.
Анализ фактического материала, определенный для исследования, позволил выделить ряд функций, выполняемых данными параграфемными знаками в цифровой коммуникации, а именно: функцию невербальной со-
ставляющей коммуникации, эмотивную, прагматическую, пунктуационную, заместительную, декоративную и риторическую.
Прежде всего, эмодзи выполняют невербальные коммуникативные функции. Неформальное письменное общение в сфере цифровой коммуникации представляет определенные сложности. Без дополнительной информации, передаваемой тоном голоса и языком тела при личном общении, пользователи социальных сетей и мессенджеров не всегда могут верно интерпретировать информацию, упуская из вида сарказм друг друга, юмор, и неверно истолковывают предполагаемую эмоцию или иллокутивное намерение. Подобно невербальным подсказкам при личном общении, эмодзи помогают прояснить намерения в неоднозначном контексте, выразить соответствующие ситуации эмоции и, следовательно, повысить эффективность коммуникативного акта. Примерами могут служить следующие примеры виртуальной коммуникации, где эмоциональная составляющая, передаваемая через паралингвисти-ческий семиотический знак, является определяющей для верной интерпретации высказывания (рис. 1):
That was a bad experience That'll teach you a lesson
Yeah, that was a valuable So sorry about everything
Рис. 1. Функция невербального компонента коммуникации Fig. 1. Emoji as a nonverbal component of communication
В таких коммуникативных ситуациях наиболее употребляемыми оказываются эмодзи, передающие то или иное выражение лица и определенную эмоцию. Они же, согласно статистическим данным, являются наиболее популярными и употребляемыми среди всех прочих символов [36]. Выражение лица считается одним из самых важных сигналов в человеческом общении. По данным исследователей, люди с рождения предпочитают выражения лица другим типам стимулов [37; 38]. Лицо является одним из наиболее заметных и сложных источников информации об эмоциональном состоянии человека. Человеческие лица интегрируются в процессы понимания и интерпретации во время социальных взаимодействий и общения. По мнению исследователей, большинство людей обладает способностью обрабатывать передаваемую лицом информацию с помощью определенных механизмов через сложную нейронную сеть [39-41]. Данные факты свидетельствуют
о необходимости восполнения с помощи эмодзи образовавшихся в новом типе коммуникации лакун.
Кроме того, функцию невербальной коммуникации выполняют и разнообразные жестовые эмодзи, символизирующие части тела человека. Такие символы, как одобрение, неодобрение, жест OK, скрещенные пальцы, символизирующие удачу, сжатый кулак и т.д. восполняют недостаток жестовой составляющей, возникшей в цифровой письменной коммуникации.
Эмодзи, таким образом, позволяют нивелировать двусмысленность дискурса. Однако их использование представляет, безусловно, более продуманное поведение по сравнению с традиционным личным общением, в котором эмоции являются более спонтанными и неконтролируемыми.
Помимо этого рассматриваемые иконические знаки выполняют эмотив-ную функцию. Сопровождение текстового сообщения тем или иным антропоморфным символом позволяет адресанту более точно и многогранно выразить свои эмоции в условиях цифрового общения. При этом эмотивная функция реализуется не только с помощью антропоморфных символов, как в описанном выше случае с невербальной функцией. Различного рода артефакты также способны передать умонастроение и эмоциональный настрой собеседника (рис. 2):
If you're in need of a fun night out, look no
Рис. 2. Эмотивная функция эмодзи Fig. 2. Emotive function of emojis
Эмодзи подчас используются даже изолированно, без вербального сопровождения. Пользователи утверждают, что в некоторых ситуациях им проще подобрать соответствующий символ-картинку чем слова, чтобы передать свои чувства и эмоции [36]. И если более примитивный способ выражения эмоций с помощью эмотиконов не позволял в полной мере передать свои ощущения, то яркие картинки-символы, представляющие целую гамму чувств, способны восполнить нехватку зрительного контакта и придать сообщению эмоциональность и выразительность живого общения. Для усиления эмоционального эффекта и интенсификации значения часто применяется возможность удвоения, утроения и т.д. символа, а также каскад эмодзи (рис. 3). Данные иконические знаки позволяют установить необходимый эмоциональный тон, передать соответствующее настроение.
Great! ..gVÖttÖ
Рис. 3.Каскад эмодзи Fig. 3. Emoji chain
Третьей выделенной функцией является прагматическая функция. Эмодзи обладают потенциалом передавать весь спектр прагматических параметров, включая подтекст, сатирические высказывания и скрытые смыслы, что в живой коммуникации достигается с помощью вербального и невербального кодов. Некоторые исследователи пытались определить речевые акты и прагматические функции, выполняемые данными символами [18; 21]. На наш взгляд, такой подход не вполне корректен, так как эмодзи выполняют те же прагматические функции, что и лексические единицы языка, поэтому исследование прагматических функций эмодзи нельзя отрывать от вербальной составляющей и модальности высказывания. Эмодзи способны выполнять роль приветствия и прощания в фатической коммуникации как совместно с вербальным компонентом, так и самостоятельно, контактоустанавливающую функцию и функцию поддержания контакта с собеседником (рис. 4):
Have a wonderful time at the
Рис. 4. Эмодзи в фатическом общении Fig. 4. Emojis in phatic communication
Фактический материал показал, что существуют конгруэнтные и неконгруэнтные высказывания в плане соответствия эмодзи и смысла текстового сообщения. Используемый прием повтора эмодзи или цепочка эмодзи способны создавать дополнительные прагматические значения, усиливая иллокутивную силу высказывания.
С течением времени рассматриваемые иконические символы стали выполнять еще одну функцию, которую можно определить как пунктуационную, заключающуюся в их способности выступать в качестве знаков препинания. Довольно часто можно заметить, что предложение заканчивается тем или иным символом, за которым начинается новое по смыслу предложение, иногда написанное с заглавной буквы (рис. 5). Таким образом, разные по значению эмодзи могут заменять точки, вопросительные или восклицательные знаки, а также пунктуационные знаки в середине предложения, такие как запятые, тире и т.д.
Bonjour mes ami(e)s о Voici une petite liste des mots d'origine grecque qui est très utile à tous et à toutes ÎJf Bonne dimanche фЩс:
Рис. 5. Пунктуационная функция эмодзи Fig. 5. Punctuation function of emojis
В текстовых сообщениях в рамках межличностного общения, а также в текстах постов и рекламных рассылок проявляется заместительная функция эмодзи. Слово может или полностью заменяться символом или может сопровождаться соответствующим символом, дублируя значение и приводя к интенсификации значения (рис. 6).
НОТ COURSES (that you can study without leaving
The impact of the melting Himalayan glaciers
Рис. 6. Заместительная функция эмодзи Fig. 6. Substitutional function of emojis
Отмечено также употребление знаков-символов для метафорического переноса, используемого носителями разных языков. Данное замещающее использование, на наш взгляд, объясняется как скоростью ввода символа по сравнению с печатью слова, так и желанием разнообразить, украсить сообщение, привнося дополнительную визуальную составляющую в сообщение.
Рассматриваемые семиотические знаки широко применяются в различных постах поздравительного характера, ответных сообщениях в мес-сенджерах, в рекламной рассылке, все чаще выполняя декоративную функцию (рис. 7):
4 Season's Greetings from Oxford University
Рис. 7. Декоративная функция эмодзи Fig. 7. Decorative function of emojis
По данным проведенного в США опроса, более половины пользователей с большей вероятностью будут взаимодействовать с брендами, которые используют эмодзи для представления компании или в рекламной онлайн рассылке [36]. Именно этим фактом, по нашему представлению, объясняется увеличение в последнее время количества почтовой рассылки, содержащей в теме и заголовке различные эмодзи, в том числе в финансовой и образовательной сферах, для привлечения внимания пользователей, потенциальных покупателей товаров и услуг или участников образовательных курсов, веби-наров, марафонов и продвижения своего бренда.
Все вышеперечисленные функции тесно связаны с еще одной — риторической, оказывающей воздействие на адресата сообщения или поста. Основное
проявление данной функции можно найти в рекламе в Интернет, в текстах и постах политиков, обращенных к широкой аудитории. Яркими примерами реализации этой функции являются так называемые PR-акции политиков как в рамках предвыборных кампаний, так и при обычном общении с пользователями социальных сетей, рядовыми избирателями. Так, в ходе предыдущей избирательной кампании на пост президента США Хилари Клинтон инициировала дискуссию с электоратом в Twitter, предложив подписчикам выразить свое мнение по вопросу студенческих ссуд на обучение посредством трех эмодзи: 'How does your student loan debt make you feel? Tell us in 3 emojis or less.'
Простота выражения мысли и своего отношения посредством эмодзи, легкая причастность и вовлеченность в процесс обсуждения без необходимости словесного вербального выражения, а также необычный игровой формат позволяет вовлечь значительное количество людей из числа потенциального электората.
Политики прибегают к использованию символов для создания определенного эмоционального посыла, для привлечения внимания целевой аудитории, для усиления воздействующего эффекта. Подобные символы, имея по сути комплементарный характер и являясь дополнительным средством в коммуникации, воздействуют как на рациональную, так и на эмоционально-бессознательную сторону человеческой психики. Таким образом, невербальные символы позволяют осуществлять манипулирование общественным сознанием, задавать определенный тон и настрой потенциальной аудитории.
Воздействующий механизм эмодзи
Подводя итог проведенному анализу, можно заключить, что возникший феномен эмодзи, с одной стороны, служит средством преодоления ограничений, накладываемых на современном этапе электронной письменной коммуникацией, позволяя выражать эмоциональное состояние говорящего посредством визуальных способов, выходя за рамки орфографического формата. Эмодзи имитируют человеческие эмоции, восполняя невербальную составляющую коммуникативного акта. Помимо этого, современный человек стремится сократить текстовое пространство электронного сообщения за счет включения паралингвистических семиотических знаков, выполняющих разнообразные функции в формировании смысла. С другой стороны, данные символы служат средством воздействия на адресата, реципиента сообщения, реализуя свой риторический потенциал. Слияние вербальной и иконической составляющих запускает механизм двойного фокусирования, при котором восприятие обеспечивается всеми когнитивный механизмами, с подключением рациональной и эмоционально-бессознательной составляющей.
Подтверждение высказанному заключению можно найти в том числе и на нейрофизиологическом уровне. Исследование, проведенное учеными од-
ного из британских университетов, нацеленное на выявление участков мозга, которые активизируются при чтении предложений, содержащих вербальную и невербальную составляющую, а именно эмодзи и эмотиконы, показало, что и левая, и правая нижние лобные извилины головного мозга активны в противоположность доминирующей роли левого полушария при выполнении исключительно вербальных заданий [43]. Таким образом, возможно сделать вывод, что сообщение, в котором происходит соединение текста с визуальным образом, оказывает мощный персуазивный эффект в силу интеграции работы обоих полушарий головного мозга, что в свою очередь позволяет обрабатывать получаемую информацию как с помощью логических механизмов, так и с подключением эмоциональной составляющей.
Заключение
Цифровая коммуникация, получив доминирующую роль в межличностном общении, развивается по определенным законам и постепенно включает в свой арсенал средства, компенсирующие и замещающие ряд элементов, свойственных живому речевому взаимодействию. Появление мультимо-дальных текстов в рамках межличностного общения является закономерным процессом развития дистанционного цифрового общения. С течением времени семиотические параграфические знаки претерпели изменения и усовершенствования. Современные эмодзи стали выполнять целый ряд функций — функцию невербальной составляющей коммуникации, эмотивную, прагматическую, пунктуационную, заместительную, декоративную и риторическую. Поликодовые тексты, содержащие в своем составе такие семиотические знаки, как эмодзи, обладают, помимо прочего, определенным воздействующим эффектом, оказывающим влияние на настроение адресата, его вовлеченность в процесс общения, на восприятие сообщения, что достигается за счет подключения комплексного механизма обработки информации.
References / Библиографический список
1. Dresner, E., & Herring, S.C. (2010). Functions of the Nonverbal in CMC: Emoticons and Illocutionary Force. Communication Theory, 20(3), 249-268. https://doi.org/10.1111/ j.1468-2885.2010.01362
2. Aull, B. (2019). A study of phatic emoji use in WhatsApp communication. Internet Pragmatics, 2(2), 206-232. https://doi.org/10.1075/ip.00029.aul
3. Bai, Q., Dan, Q., Mu, Z., & Yang, M. (2019). A Systematic Review of Emoji: Current Research and Future Perspectives. Frontiers in Psychology, 10. https://doi.org/10.3389/ fpsyg.2019.02221
4. Evans, V. (2017). The Emoji Code: The Linguistics Behind Smiley Faces and Scaredy Cats. UK: Michael O'Mara Publ.
5. Prada, M., Rodrigues, D.L., Garrido, M.V., Lopes, D., Cavalheiro, B., & Gaspar, R. (2018). Motives, frequency and attitudes toward emoji and emoticon use. Telematics and Informatics, 35(7), 1925-1934. https://doi.org/10.1016/j.tele.2018.06.005
6. Rodrigues, D., Prada, M., Gaspar, R., Garrido, M.V, & Lopes, D. (2017). Lisbon Emoji and Emoticon Database (LEED): Norms for emoji and emoticons in seven evaluative dimensions. Behavior Research Methods, 50(1), 392-405. https://doi.org/10.3758/s13428-017-0878-6
7. Danesi, M. (2016). The semiotics of emoji: The rise of visual language in the age of the internet. Bloomsbury Publ.
8. McLuhan, M. (1962). The Gutenberg Galaxy: The Making of Typographic Man. London & New York.
9. Emoji Report 2015. Emoji Research Team 2015. URL: http://emogi.com/documents/Emoji_ Report_2015.pdf. (accessed: 20.12.2021).
10. Kaye, L.K., Wall, H.J., & Malone, S.A. (2016). "Turn that frown upside-down": A contextual account of emoticon usage on different virtual platforms. Computers in Human Behavior, 60, 463-467. https://doi.org/10.1016/j.chb.2016.02.088
11. Ge, J. (2019). Emoji Sequence Use in Enacting Personal Identity. In: Companion Proceedings of The 2019 World Wide Web Conference. https://doi.org/1145/3308560.3316545
12. Lu, X., Ai, W., Liu, X., Li, Q., Wang, N., Huang, G., & Mei, Q. (2016). Learning from the ubiquitous language. In: Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing. https://doi.org/10.1145/2971648.2971724
13. Ljubesic, N., & Fiser, D. (2016). A Global Analysis of Emoji Usage. In: Proceedings of the 10th Web as Corpus Workshop. https://doi.org/10.18653/v1/w16-2610
14. Cheng, L. (2017). Do I mean what I say and say what I mean? A cross cultural approach to the use of emoticons & emojis in CMC messages. Fonseca Journal of Communication, 15, 199-217. https://doi.org/10.14201/fjc201715199217
15. Chik, A., & Vasquez, C. (2017). A comparative multimodal analysis of restaurant reviews from two geographical contexts. Visual Communication, 16(1), 3-26. https://doi.org/10.1177/1470357216634005
16. Lin, T.J., & Chen, C.H. (2018). A preliminary study of the form and status of passionate affection emoticons. International Journal of Design, 12(2), 75-90.
17. Koltsova, Е.А. (2020). New mechanisms of online communication in the 21st century. In: A Person in Modern Communication. Ivanovo. pp. 23-30. (In Russ.).
Кольцова Е.А. Новые механизмы онлайн коммуникации XXI века // Человек в современном коммуникативном пространстве. Иваново, 2020. С. 23-30.
18. Herring, S.C., & Dainas, A.R. (2020). Gender and Age Influences on Interpretation of Emoji Functions. ACM Transactions on Social Computing, 3(2), 1-26. https://doi.org/10.1145/3375629
19. Chen, Z., Lu, X., Ai, W., Li, H., Mei, Q., and Liu, X. (2018). Through a gender lens: learning usage patterns of emojis from large-scale android users. In: Paper Presented at the 2018 World Wide Web Conference on World Wide Web (Lyon). https://doi.org/10.1145/3178876.3186157
20. Butterworth, S.E., Giuliano, T.A., White, J., Cantu, L., & Fraser, K.C. (2019). Sender Gender Influences Emoji Interpretation in Text Messages. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.00784
21. Cappallo, S., Svetlichnaya, S., Garrigues, P., Mensink, T., & Snoek, C.G.M. (2019). New Modality: Emoji Challenges in Prediction, Anticipation, and Retrieval. IEEE Transactions on Multimedia, 21(2), 402-415. https://doi.org/10.1109/tmm.2018.2862363
22. Gawne, L., & McCulloch, G. (2019). Emoji as digital gestures. Language@ Internet, 17(2).
23. Na'aman, N., Provenza, H., & Montoya, O. (2017). Varying Linguistic Purposes of Emoji in (Twitter) Context. In: Proceedings of ACL 2017, Student Research Workshop. https://doi.org/10.18653/v1/p17-3022
24. Das, G., Wiener, H.J.D., & Kareklas, I. (2019). To emoji or not to emoji? Examining the influence of emoji on consumer reactions to advertising. Journal of Business Research, 96, 147-156. https://doi.org/10.1016/jjbusres.2018.1L007
25. Ge, J., & Gretzel, U. (2018). Emoji rhetoric: a social media influencer perspective. Journal of Marketing Management, 34(15-16), 1272-1295. https://doi.org/10.1080/026725 7x.2018.1483960
26. Voinov, D.A. (2016). Emoji as a technology for political communication on the Internet. Electronic Periodical Scientific Journal the Age of Quality, 4, 103-112. (In Russ.). Войнов Д.А. «Эмодзи» как технология политической коммуникации в Интернете // Электронный научный журнал «Век качества». 2016. № 4. С. 103-112.
27. Esposito, G., Hernández, P., van Bavel, R., & Vila, J. (2017). Nudging to prevent the purchase of incompatible digital products online: An experimental study. PloS one, 12(3), e0173333.
28. Moreno-Sandoval, L.G., Sánchez-Barriga, C., Buitrago, K.E., Pomares-Quimbaya, A., & Garcia, J.C. (2018). Spanish Twitter Data Used as a Source of Information About Consumer Food Choice. Machine Learning and Knowledge Extraction, 134-146. https://doi.org/10.1007/978-3-319-99740-7_9
29. McShane, L., Pancer, E., Poole, M., & Deng, Q. (2021). Emoji, Playfulness, and Brand Engagement on Twitter. JournalofInteractiveMarketing, 53, 96-110. https://doi.org/10.1016/j. intmar.2020.06.002
30. Chairunnisa, S., & A.S., B. (2017). Analysis of Emoji and Emoticon Usage in Interpersonal Communication of Blackberry Messenger and WhatsApp Application User. International Journal of Social Sciences and Management, 4(2), 120-126 https://doi.org/10.3126/ijssm. v4i2.17173
31. Gibson, W., Huang, P., & Yu, Q. (2018). Emoji and communicative action: The semiotics, sequence and gestural actions of "face covering hand." Discourse, Context & Media, 26, 9199. https://doi.org/10.1016/j.dcm.2018.05.005
32. Phan, W.M. J., Amrhein, R., Rounds, J., & Lewis, P. (2017). Contextualizing Interest Scales with Emojis: Implications for Measurement and Validity. Journal of Career Assessment, 27(1), 114-133. https://doi.org/10.1177/1069072717748647
33. Brody, N., & Caldwell, L. (2017). Cues filtered in, cues filtered out, cues cute, and cues grotesque: Teaching mediated communication with emoji Pictionary. Communication Teacher, 33(2), 127-131. https://doi.org/10.1080/17404622.2017.1401730
34. Kelly, R., & Watts, L. (2015). Characterising the inventive appropriation of emoji as relationally meaningful in mediated close personal relationships. Experiences of technology appropriation: Unanticipated users, usage, circumstances, and design, 2.
35. Koltsova, Е.А. (2018). Emoji as a new form of communication: functional and cognitive aspects. Cognitive Studies of Language, 35, 121-128. (In Russ.).
Кольцова Е.А. Эмодзи как новый способ коммуникации: функциональная и когнитивная специфика // Когнитивные исследования языка. 2018. Выпуск XXXV С. 121-128.
36. SwiftKey Emoji Report. URL: https://ru.scribd.com/doc/262594751/SwiftKey-Emoji-Report#download&from_embed (accessed 20.12.2021).
37. Goren, C.C., Sarty, M., & Wu, P.Y. (1975). Visual following and pattern discrimination of facelike stimuli by newborn infants. Pediatrics, 56(4), 544-549.
38. Johnson, M.H. (1991). Information processing and storage duringfilial imprinting. Cambridge: Cambridge University Press.
39. Ekman, P., Friesen, W.V, & Ellsworth, P. (1972). Introduction to Research Findings. Emotion in the Human Face. https://doi.org/10.1016/b978-0-08-016643-8.50023-9
40. Haxby, J.V, Hoffman, E.A., & Gobbini, M.I. (2000). The distributed human neural system for face perception. Trends in Cognitive Sciences, 4(6), 223-233. https://doi.org/10.1016/ s1364-6613(00)01482-0
41. Haxby, J.V., Hoffman, E.A., & Gobbini, M.I. (2002). Human neural systems for face recognition and social communication. Biological Psychiatry, 51(1), 59-67. https://doi.org/10.1016/ s0006-3223(01)01330-0
42. Yuasa, M., Saito, K., & Mukawa, N. (2011). Brain activity when reading sentences and emoticons: an fMRI study of verbal and nonverbal communication. Electronics and Communications in Japan, 94(5), 17-24. https://doi.org/10.1002/ecj.10311
Сведения об авторах:
Кольцова Елена Александровна, кандидат филологических наук, доцент, доцент кафедры иностранных языков Санкт-Петербургского горного университета; сфера научных интересов: когнитивная лингвистика, теория речевой деятельности, коммуникативная прагматика, семантика; e-mail: [email protected]
ORCID: 0000-0001-8724-2181; eLIBRARY SPIN-код: 1070-6923; Scopus Author ID: 57204365469.
Карташкова Фаина Иосифовна, доктор филологических наук, профессор, профессор кафедры зарубежной филологии, почетный работник высшего профессионального образования РФ, руководитель НОЦ «Лаборатория коммуникативного поведения человека», Ивановский государственный университет; сфера научных интересов: теория речевой номинации, теория речевой деятельности, когнитивная лингвистика, невербальная коммуникация, коммуникативная прагматика, семантика; e-mail: [email protected] ORCID: 0000-0001-7095-9143; eLIBRARY SPIN-код: 1031-6512; Scopus Author ID: 57204361085.
Information about the authors:
Elena A. Koltsova, Candidate of Philological Sciences, Associate Professor, Associate Professor of the Department of Department of Foreign Languages, Saint Petersburg Mining University; Research interests: cognitive linguistics, theory of speech activity, communicative pragmatics, Semantics; e-mail: [email protected]
ORCID: 0000-0001-8724-2181; eLIBRARY SPIN-код: 1070-6923; Scopus Author ID: 57204365469.
Faina I. Kartashkova, Dr. Sc. (Philology), Professor, Professor of the Department of Foreign Philology, Honorary Worker of Higher Professional Education of the Russian Federation, Head of NOC «Laboratory of Communicative Human Behavior», Ivanovo State University; Research interests: theory of speech nomination, theory of speech activity, cognitive linguistics, non-verbal communication, communicative pragmatics, semantics; e-mail: [email protected] ORCID: 0000-0001-7095-9143; eLIBRARY SPIN-код: 1031-6512; Scopus Author ID: 57204361085.
