CC BY
18
АКТУАЛЬНЫЕ ПРОБЛЕМЫ
ТЕОРЕТИЧЕСКОЙ И ПРИКЛАДНОЙ ЛИНГВИСТИКИ
УДК 81'33
Р. К. Потапова, А. В. Джунковский
Потапова Р. К., доктор филологических наук, профессор, действительный член Международной академии информатизации, заведующая кафедрой прикладной и экспериментальной лингвистики, директор Института прикладной и математической лингвистики Московского государственного лингвистического университета; e-mail: rkpotapova@yandex.ru
Джунковский А. В., младший научный сотрудник кафедры прикладной и экспериментальной лингвистик Института прикладной и математической лингвистики Московского государственного лингвистического университета; e-mail: Vetinari01@gmail.com
опыт проведения перцептивного эксперимента на материале поликодовой мультимодальной базы данных1
В статье рассматривается опыт проведения перцептивного эксперимента на основе глубинно аннотированной мультимодальной поликодовой базы данных интернет-сообщений на русском языке. В ходе эксперимента были отобраны короткие фрагменты видеороликов, в которых испытуемые могли наблюдать взаимодействие нескольких коммуникантов с учетом экстра- и паралингвистических аспектов коммуникации. В ходе эксперимента последовательно исследовалось восприятие испытуемыми стимульного материала в условиях «только аудио», «только видео» и «аудио и видео». Методика эксперимента может способствовать выявлению особенностей восприятия испытуемыми информации при использовании различных каналов ее передачи и при их комбинациях.
Ключевые слова: глубинное аннотирование; поликодовость; мультимодальность; экспериментальная лингвистика; перцептивный эксперимент.
R. K. Potapova, A. V. Dzhunkovskiy
Potapova R. K., Sc.D., Prof., Full Member of the International Informatization Academy, Head of Department of Applied and Experimental Linguistics, Director of Institute of Applied and Mathematical Linguistics, Moscow State Linguistic University; e-mail: rkpotapova@yandex.ru
1 Исследование проведено при поддержке Российского научного фонда (РНФ), проект №18-18-00477.
200
fsl ©
DzhunkovskiyA. V., Junior Researcher, Department of Applied
and Experimental Linguistics, Institute of Applied and Mathematical Linguistics,
Moscow State Linguistic University; e-mail: Vetinari01@gmail.com
ON CONDUCTING A PERCEPTUAL EXPERIMENT BASED ON POLYCODE MULTIMODAL DATABASE
In this paper we describe our perceptual experiment undertaken on the basis of a deep-annotated, polycode multimodal database of Russian Internet-messages. While conducting the experiment, we have chosen a number of short video sections which featured interactions of multiple interlocutors with the inclusion of extra- and paralinguistic aspects of communication. During the experiment the participants were successively asked to acquaint themselves with the stimulus material in "audio only", "video only" and combined "audio and video" modes. The experiment method may prove to be useful in order to study the peculiarities of participant information perception when dealing with different information modalities and combinations of information transmission channels.
Key words: deep annotation; polycode; multimodal; experimental linguistics, perceptual experiment.
Введение
В рамках гранта РФФИ № 18-18-00476 «Фундаментальное междисциплинарное исследование воздействия агрессивной среды Интернета в условиях мультимодальной поликодовой коммуникации в социальных сетях на трансформацию психофизиологических и когнитивных характеристик личности пользователей сети Интернет (применительно к молодежному контингенту)» мы создали мульти-модальную поликодовую аннотированную базу данных русскоязычного интернет-контента [Потапова, Потапов, Джунковский 2019; Потапова, Потапов 2019].
Следующим логическим этапом было выявление того, как собранный стимульный материал воспринимается молодыми пользователями Интернета. Наиболее многообещающим способом выполнения этой задачи было проведение перцептивного эксперимента на основе выборки аннотированного материала [Potapova et al. 2019].
Метод проведения эксперимента основан на предыдущих разработках в сфере квантитативного анализа [Потапова 2010] и может быть использован в сфере Big Data, что было продемонстрировано в ходе создания, обработки и аннотирования базы данных [Потапова, Потапов, Джунковский 2019].
По своей сути, проведенный эксперимент был направлен на выявление перцептивных особенностей испытуемых применительно к материалам социальных сетей в русскоязычном сегменте. Были взяты видеоролики, из которых был извлечен фрагмент продолжительностью в одну минуту, на котором происходила поликодовая мультимо-дальная коммуникация.
Испытуемым была представлена возможность прослушать аудиосигнал взятого отрывка без видеосигнала, просмотреть видеосигнал без аудиосигнала и, наконец, ознакомиться с отрывком с видео-и аудиосигналами.
Испытуемые должны были заполнить анкету после каждого этапа ознакомления с отрывком. Идентичность анкет при вариации сти-мульного материала, согласно нашей гипотезе, позволила выделить особенности перцепции испытуемых при представлении идентичного информационного сообщения в трех разных комбинациях модальностей. Подход позволяет по результатам анализа экспериментальных данных сделать выводы о различиях в отношении к стимульному материалу испытуемых в зависимости от того, по каким каналам передачи информации он воспринимается.
Методика и процедура исследования
В ходе эксперимента испытуемым было предложено три анкеты.
АНКЕТА
Исполнитель:
Ф.И.О_
Год рождения_
Национальность_
Образование_
Группа_
Задания
Ы. Прослушать предъявляемый Вам фрагмент дискурса из Интернета (3 раза).
Г2. Определить и подчеркнуть: монолог, диалог, трилог, полилог:
А) Число участников;
Продолжение анкеты
Б) Гендерное распределение коммуникантов: М Ж (ММ, МЖ, ММ, МММ и др.)
В) Приблизительный возраст:
15-18 18-25 25-35 35-45 45-55 55-70 др.
Г) Общую эмоциональную окраску (тональность) коммуникации: позитивная негативная нейтральная
Д) Ваше отношение к предъявляемому материалу: Симпатия антипатия эмпатия
Е) Какие эмоции вызывает у Вас предъявляемый материал: восторг раздражение удовольствие
радость недовольство сопереживание
ликование возмущение другое:_
ненависть
Ж) Охарактеризуйте Ваше понимание смысла коммуникации:
Призыв к активным действиям Побуждение к положительному настрою
Безразличие Побуждение к отрицательному
настрою
1.3. Определить ситуацию, в которой происходит действие:
митинг дискуссия собрание личная жизнь другое:_
A) Определить сопроводительный фон:
музыка шум (метро, поезда, автомобиля, крики) другое:_
Б) Воображаемая Вами одежда коммуникантов:
модная повседневная хип-хоп неряшливая другое:_
B) Стиль общения:
спокойный доброжелательный нейтральный недоброжелательный агрессивный другое:_
Г) Предполагаемое Вами невербальное сопровождение: Общая моторика:
активная средняя пассивная
Продолжение анкеты
Жестика:
активная (пояснить: руки, корпус, ноги, голова) пассивная Мимика:
глаза, рот, брови, уголки рта, нос, щеки другое:_
Проксемика:
На расстоянии друг от друга близко друг к другу касаясь друг друга
11.1. Виды речевого общения:
• устная речь;
• письменная речь;
• произносительная норма;
• просторечие;
• диалектальная окраска;
• молодежный слэнг;
• профессиональное арго;
• обращенная речь.
П.2. Наличие графического материала:
• письменный текст;
• объявление;
• комментарии;
• пояснения;
• иллюстрации;
• реклама.
П.3. Наличие художественных вставок:
• портрет;
• картина;
• фрагмент фильма;
• лозунг;
• реклама.
П.4. Наличие музыкального фона:
• стиль современной музыки (джаз, рэп и т.д.);
• классика;
• в сопровождении вокала;
• вокализ;
• хоровое пение;
• другое:_
Продолжение анкеты
11.5. Паравербалика (интонационно-просодические особенности, тембральные особенности):
• интонационная вариативность;
• эмфаза;
• логически размеренная речь;
• просодически маркированная речь (ударение, ритм, широкий-узкий диапазон голоса, высокий / средний / низкий регистр голоса / другое:_);
• дефекты речи (картавость / заикание / ротацизм / афония / другое:_);
11.6. Дополнительные наблюдения:
Испытуемые перед началом эксперимента получили три анкеты, по одной на этап аудиовосприятия, видеовосприятия и комплексного аудиовизуального восприятия стимульного материала.
В ходе эксперимента испытуемые должны были проанализировать стимульный материал и ответить на ряд вопросов. В анкетах содержались задания по определению особенностей ситуации общения, отношения испытуемых к материалу, а также количества и состава коммуникантов. В частности, испытуемые должны были сообщить в анкетах предполагаемое число участников коммуникации, их ген-дерное и возрастное распределение; определить, в какой ситуации происходит общение, какие посторонние звуки наблюдаются в сообщении, как одеты коммуниканты, каков их стиль общения, наблюдаются ли паралингвистические и экстралингвистические проявления коммуникации, в частности наблюдается ли проявления моторики, жестики, мимики, проксемики; содержится ли в общении графический материал, художественные вставки, музыкальный фон.
Кроме того, наши испытуемые должны были эксплицировать свое отношение к стимульному материалу: каков смысл коммуникации, какова его эмоциональная окраска, какие эмоции он вызывает, а также каково их отношение к стимульному материалу. Предварительно отметим, что наблюдались существенные различия при анализе
модальностей аудио-, видео- и аудио- и видеоматериалов на том же анализируемом сообщении у тех же самых испытуемых, что подтверждает важность проводимого исследования.
Стимульный материал
В качестве стимульного материала испытуемым предлагался фрагмент видеозаписи длинной в 60 секунд, на которой было запечатлено празднование Нового года в большой семье. В видео фигурировали четверо взрослых и трое детей. Данное видео использовалось в изначальной форме, в режиме «без звука», а также в режиме «без изображения».
группа испытуемых
В качестве испытуемых выступали группы студентов лингвистических специальностей. Одновременно стимульный материал демонстрировался группам численностью не более 15 человек. Возраст испытуемых колебался от 17 до 23 лет. В группах наблюдался незначительный перевес числа женщин над мужчинами (соотношение 4:3).
Процедура эксперимента
Участники эксперимента приглашались в лабораторию и получали три распечатанные анкеты. Испытуемым отдводилось пять минут на заполнение персональных данных и ознакомление с анкетой перед каждой третью эксперимента. Перед началом ведущий осведомлялся у группы испытуемых об их готовности. Для демонстрации стимуль-ного материала использовался широкоформатный телевизионный экран, подсоединенный к компьютеру, за которым находился ведущий. В распоряжении ведущего также был второй монитор, изображение на котором не могли видеть испытуемые.
На первом этапе эксперимента испытуемые воспринимали только звуковую информацию. Выключался телевизионный экран и включался звук, после чего начиналось воспроизведение видеофайла. После трехкратного аудиовосприятия информации испытуемым отводилось 5 минут на заполнение первой анкеты.
На втором этапе испытуемым вновь предоставлялось время на заполнение персональных данных и ознакомление со второй анкетой. На данном этапе испытуемые должны были воспринять только визуальную информацию, что достигалось тем, что на компьютере
выключался звук, но включался телевизионный экран. После трехкратного визуального восприятия информации испытуемым отводилось 5 минут на заполнение второй анкеты.
На последнем этапе эксперимента повторялся предварительный этап: испытуемые вновь читали анкету и заполняли персональные данные. После сигнала о готовности, они три раз воспринимали отрезок видеоролика в неизмененном варианте с информацией, передаваемой по звуковому и визуальному каналу одновременно.
Заключение
Описанный эксперимент продолжается, но уже на предварительном этапе он показал, что восприятие стимульного материала испытуемыми значительно отличается. Кроме ожидаемых различий в оценке испытуемыми возраста и числа коммуникантов на видео, предварительный анализ материала позволяет говорить о том, что те же самые испытуемые дают различную эмоциональную оценку материалу, полученному по звуковому и визуальному каналу [Potapova, Potapov 2017].
Использование описанного перцептивного эксперимента по выявлению влияния аннотированного поликодового мультимодального интернет-контента на русском языке позволяет получить большой объем данных. Эти квантитативные данные в ходе математической и статистической обработки позволят сделать конкретные выводы о том, как молодые пользователи Интернета воспринимают поликодовую мультимодальную информацию в Сети [Potapova, Potapov 2016].
Тем не менее на данном этапе преждевременно говорить о результатах. Вместо этого необходимо констатировать, что предлагаемый метод проведения перцептивного эксперимента уже сейчас позволяет получить квантитативные данные об особенностях восприятия интернет-контента. Необходимо продолжить проведение эксперимента на дополнительных группах с целью увеличения результирующей выборки испытуемых.
СПИСОК ЛИТЕРАТУРЫ / REFERENCES
Потапова Р. К. Речь: коммуникация, информация, кибернетика. М. : Изд-во УРСС, 2010. [Potapova, R. K. (2010). Rech': kommunikacija, informacija, kibernetika (Speech: Communcation, Information, Cybernetics). Moscow: URSS. (In Russ.)].
Потапова Р. К., Потапов В. В. О глубинно-параметрическом методе аннотирования для базы данных русскоязычного поликодового социально-сетевого дискурса : материалы VI Междунар. конгр. исследователей русского языка «Русский язык: исторические судьбы и современность». М.: Изд-во Моск. ун-та, 2019. [Potapova, R. K., Potapov, V V. (2019) O glubinno-parametricheskom metode anno-tirovanija dlja bazy dannyh russkojazychnogo polikodovogo social'no-setevogo diskursa (On deep parametric polycode Russian social network discourse annotation method for databases). In Russian language: Historic fates in modern world: 6th International Conference of Russian Language Scholars. Moscow: MSU. (In Russ.)].
Потапова Р. К., Потапов В. В., Джунковский А. В. К опыту глубинного аннотирования поликодовых Интернет Big Data (применительно к Digital Humanities) // Мягкий измерения и вычисления. 2019. № 9 (22). С. 40-43. [Potapova, R. K., Potapov, V. V, Dzhunokvskiy, A. V (2019). On deep annotation of polycode Internet Big Data (in relation to Digital Humanities). In: Soft dimensions and calculations, 9(22), 40-43. (In Russ.)].
Потапова Р. К., Потапов В. В., Джунковский А. В. О новом методе формирования и аннотирования поликодового корпуса данных применительно к социальным сетям Интернета // Вестник Московского государственного лингвистического университета. Гуманитарные науки. 2019. Вып. 7 (823). С. 134-145. [Potapova, R. K., Potapov, V. V., Dzhunokvskiy, A. V. (2019). On a new method of formation and annotation of polycoda data corpora in relation to Internet social networks. Vestnik of Moscow State Linguistic University. Humanities, 7(823), 134-145. (In Russ.)].
Potapova R. et al. Some peculiarities of internet multimodal polycode corpora annotation / R. Potapova, V. Potapov, L. Komalova, A. Dzhunkovskiy // Lecture Notes in Computer Science. 2019. Vol. 11658. P. 392-400.
Potapova R., Potapov V. Human as acmeologic entity in social network discourse (multidimensional approach) // A. Karpov, R. Potapova, I. Mporas (eds.). SPECOM 2017. LNAI. Cham : Springer, 2017. Vol. 10458. P. 407-416.
Potapova R., Potapov V. Polybasic attribution of social network discourse // A. Ronzhin, R. Potapova, G. Nemeth (eds.). SPECOM 2016. LNCS. Heidelberg: Springer, 2016. Vol. 9811. P. 539-546.
