CC BY
0
ТЕОРИЯ И МЕТОДОЛОГИЯ
Ирина Александровна Савченко
доктор социологических наук, профессор, руководитель проектного офиса гуманитарной аналитики Московского городского педагогического университета,
Москва, Россия; e-mail: savchenko-514@mgpu.ru
Максим Игоревич Золотарев
эксперт проектного офиса гуманитарной аналитики Московского городского педагогического университета,
Москва, Россия e-mail: maksbrain@gmail.com
Ирина Сергеевна Буланова
научный сотрудник Национального исследовательского университета «Высшая школа экономики», Москва, Россия e-mail: bis m@mail.ru
Алгоритмизированный анализ речевосприятия в дискурсивных исследованиях города
УДК: 159.9.01
DOI: 10.24412/2079-0910-2024-2-162-177
Обоснована роль речи и речевосприятия в развитии городского дискурса. Обозначены перспективы нового междисциплинарного направления — социологии речи. Описывается программно-методический комплекс, предназначенный для диагностики визуальных и психовегетативных реакций на речь. Комплекс предназначен, в первую очередь, для изучения кросс-культурного восприятия речи в условиях полиэтничного города. Представ© Савченко И.А., Золотарев М.И., Буланова И.С., 2024
ленная алгоритмизированная методика направлена на изучение особенностей восприятия (отражающихся в психофизиологических реакциях испытуемого) жителями многоэтнично-го города неродной речи, исходящей преимущественно от мигрантов, общающихся между собой, и речи, родной для реципиента, но неродной для говорящего («речи с акцентом»). Тестирующая система включает компьютер, программу обработки данных и аппаратуру сбора данных, роль которой в этом случае выполняют звуковидеозаписывающее устройство и фитнес-браслет (датчик сердечного ритма и кислорода в крови, измерение пульса, тонометр). Методические указания к программе включают в себя инструкцию по использованию программы и рекомендации по вопросам интерпретации получаемых результатов. Показаны перспективы организации тренинговых процедур посредством алгоритмизированной методики. Раскрыт теоретико-методологический потенциал методики, возможности ее применения для обоснования понятий дискурсивного стресса и дискурсивной напряженности как неосознанных форм речевого отторжения.
Ключевые слова: социология речи, интеркультурное речевосприятие, город, дискурс, алгоритмизированная методика, эмоции, рефлекс сознания, дискурсивный стресс, дискурсивная напряженность, психовегетативные реакции.
Благодарность
Исследование выполнено при финансовой поддержке Российского научного фонда (РНФ) в рамках научного проекта № 23-18-00288 «Дискурсивные трансформации современного города: координаты российской урбанистики» (https://rscf.ru/ project/23-18-00288/).
Введение
Город как конгломерат людей, фиксирующих свою жизнь и активность внутри и на пересечении потоков городской инфраструктуры, представляет собой дискурсивное явление и имеет коммуникативно-когнитивную природу. Авторы не останавливаются на каком-то одном из подходов к пониманию дискурса: лингвистическом [Benveniste, 1976], психолингвистическом [Выготский, 2022, первое изд. — 1934], социолингвистическом [Fishman, 1970] или (пост)структуралистском [Foucault, 1971], а стремятся использовать в своих исследованиях отдельные положения всех подходов [Савченко, Кремнев, 2023].
Тем не менее во всех обозначенных подходах дискурс, с одной стороны, понимается как текст и, с другой стороны, любая система социальных практик (и город в том числе), объединенная общей смысловой парадигмой, может быть интерпретирована как текст и, следовательно, как дискурс. Системными элементами дискурса в таком случае становятся сегменты человеческого (со)знания, выраженные как лингвистическими, так и экстралингвистическими способами. Поэтому дискурс можно рассматривать как «живую знаково-эпистемическую реальность», которая, наряду с текстом и контекстом, реализует себя в пространственной синхронности и динамической темпоральности [Касавин, 2008, с. 113].
В культурно-исторической концепции дискурс, как мы знаем, описывается как выражение рефлексов сознания — индивидуального и/или общественного [Выготский, 2022]. Таким образом, в данном проекте мы интерпретируем город как дис-
курсивную систему (а городскую жизнь — как систему дискурсов), формируемую на пересечении интеллектуальных и коммуникационных переменных.
Во французском языке слово мужского рода discours, как известно, означает «речь». И самые разные интерпретации не отменяют первоначального понимания термина. В теории Выготского — Лурии [Лурия, 1979] была обоснована социальная природа развития языка и речи, с одной стороны, и ключевая роль языка и речи в развитии индивидуального и общественного сознания, с другой. И сегодня мы можем говорить о том, что речевые практики, с одной стороны, обеспечивают социальную коммуникацию, в частности, в пространстве города, с другой стороны, интериоризируясь, они и формируют то, что принято называть общественным сознанием. Характеристики и особенности дискурса при этом формируют определенную парадигму общественного сознания.
Междисциплинарные исследования «речи и общества» стали проводиться еще в середине прошлого столетия [Pieris, 1951], в том числе в так называемой социологии языка [Fishman, 1972]. В российских лингвистических исследованиях впервые указано (хотя и вскользь) на новое направление — социологию речи [Калашникова, 2010, с. 119], где речевые практики фактически трактуются как социальный институт. Между тем представляется, что «социология речи» — это перспективное исследовательское направление, которое направлено на изучение речевых феноменов для решения задач, свойственных социальным наукам. При этом такие задачи могут решаться не просто эмпирическими, но и алгоритмизированными, роботизированными, нейросетевыми методами.
Одной из таких актуальных задач является изучение дискурсивно-речевой природы кросс-культурного взаимовосприятия жителей полиэтничного города. Отдельные вопросы специфики речевосприятия затрагивались в отечественной [Фролова, 2021] и зарубежной [Schouten, 2003] научной периодике. Фокус внимания исследователей и практиков нередко смещается в сторону адаптации детей-билингвов [Полякова, 2022], психолого-педагогического сопровождения иностранных студентов и слушателей вузов [Серова, Замащикова, 2022]. Особенности кросс-культурного речевосприятия, как правило, не получают эмпирического уточнения.
В настоящей статье описаны возможности алгоритмизированного анализа кросс-культурных речевых взаимодействий в условиях города. Особое место отводится изучению восприятия горожанами неродной речи и «речи с акцентом». Сделан шаг к пониманию характера индивидуальных и групповых реакций на изменения в системе интеркультурного вербального взаимодействия в условиях города. В науке на сегодняшний день имеются примеры создания технологий распознавания реакций на речь посредством инструментов психоэмоционального и психовегетативного тестирования, и ряд таких примеров заслуживает внимания.
Опыт создания алгоритмизированных методов изучения психовегетативных и эмоциональных реакций человека на речь
Систематизация работ, направленных на изучение интеркультурного восприятия речи, была представлена нами на междисциплинарной научной площадке, организованной Иркутским государственным университетом [Савченко, 2023]. В на-
стоящей же статье мы предлагаем читателю краткий обзор существующих на сегодняшний день алгоритмизированных методик.
Изучение психовегетативных реакций на речь
Науке известны алгоритмизированные методики тестирования реакций на лингвистические стимулы — на устную или письменную речь. Изучалось, например, сопровождающее чтение интегральное взаимодействие обработки вербальной информации и глазодвигальной активности [Барабанщиков, Жегалло, 2014], в частности, посредством метода «движущегося окна» (moving window [Rayner, 1998]). В данном контексте заслуживают внимания отечественные работы, в которых (в развитие идей А. Кендона) изучаются особенности динамики зрительного внимания говорящего и слушающего в процессе монолога в условиях «естественной коммуникации» [Федорова, 2020].
Сегодня получают развитие инструментальные методы изучения функциональных состояний человека в ситуациях «языкового переключения» [Парина, Парин, 2019]. Отметим, что вегетативные эффекты речевого восприятия уже многие десятки лет используются в работе полиграфа (создан У. Марстоном). Однако полиграф, как мы знаем, является детектором лжи, а не специфики интеркультурного рече-восприятия.
Достаточно популярными стали исследования лингвокультурных явлений посредством обрабатывающих Big Data нейросетей, которые раскрывают психосемантические эффекты перцепции речевых сегментов виртуально-сетевых коммуникаций [Pilgun, Kharlamov, 2022].
Опыт алгоритмизированного определения эмоциональных состояний на речь через анализ голоса и мимики
Идея распознавания эмоций посредством нейросети не является новой. Существует достаточное количество публикаций на эту тему. Классификация визуальных и голосовых маркеров эмоций представлена в статье Х. Чао и др. [Cao, 2014], где обосновано сочетание голосовых и мимических проявлений эмоций, а интерфейс, предназначенный для эмпирических исследований, является наиболее объемным по сравнению с другими описываемыми программными комплексами. Большой набор данных, который представляют авторы, может быть продуктивно использован для изучения большого круга вопросов, касающихся аудиовизуального восприятия речи. Статья представляет очевидную ценность как библиотека "librosa for python", но не содержит измерительной методики, а стимульный материал адаптирован к американским, но не российским социокультурным реалиям и с трудом может быть применен в нашей исследовательской практике.
Большинство других алгоритмизированных методик нацелено на фиксацию эмоциональных состояний либо только в голосе, либо — только в мимике человека.
Если говорить об определении эмоциональных состояний через голос, то в данном случае для нас имеет ценность доклад: [Mirsamadi, 2017], где подчеркивается, что автоматическое распознавание эмоций в речи — сложная задача, которая в значительной степени зависит от эффективности речевых признаков, используемых для классификации. С. Мирсамади и соавторы изучают исполь-
зование глубокого обучения для автоматического выявления эмоционально значимых особенностей речи. Используя глубокую рекуррентную нейронную сеть, коллектив ученых изучает как акустические характеристики на уровне кратковременного фрейма, которые эмоционально релевантны, так и соответствующую временную агрегацию этих характеристик в компактное представление на уровне высказывания. Более того, в качестве перспективной задачи предлагается стратегия объединения функций с течением времени, которая использует локальное внимание для того, чтобы сосредоточиться на определенных областях речевого сигнала, которые более эмоционально выражены. Предлагаемое решение оценивается в корпусе IEMOCAP1 и, по утверждению докладчиков, обеспечивает более точные прогнозы по сравнению с другими существующими алгоритмами распознавания эмоций в голосе. Несмотря на очевидную ценность методики, ее воспроизведение вызывает вопросы и затруднения, и не совсем понятно, проверена ли методика на практике.
На базе этого исследования написана статья молодых ученых [Сергунов и др.,
2019], где также представлена методика распознавания эмоций в голосе. Авторы утверждают, что точность распознавания в данном случае — 73%. Приводится краткое описание «сверточной нейронной сети», позволяющей дифференцировать эмоции по голосовым маркерам речевой активности. Описываются конструктивные характеристики сети и процедура нейросетевой предварительной обработки звуковой информации. Анализируются примеры тестирования системы с использованием набора данных RAVDESS2, производится сравнение полученных результатов с другими исследовательскими алгоритмами. В методической разработке есть небольшой фрагмент псевдокода и схема нейросети. Методика сложна для воспроизведения.
Все остальные методики направлены на выявление мимических реакций для определения эмоциональных состояний. Так, в статье нижегородских ученых [Тимофеева и др., 2020] предлагается методика распознавания эмоций на основе изображений лица (с заявленной точностью 64%). В работе есть схема нейронной сети, но нет каких-либо характеристик исходного текста компьютерной программы. В качестве же исходных данных используются материалы базы данных Fer-20133. Данные состоят из изображений лиц в оттенках серого размером 48 х 48 пикселей; такой размер в определенной степени затрудняет восприятие.
Идея создания нейросетевых алгоритмов распознавания эмоций человека по изображению лица привлекла внимание белорусских ученых [Курицкий, Садов,
2020], которые рассматривают перспективы графовых моделей для организации
1 The Interactive Emotional Dyadic Motion Capture («Интерактивный эмоциональный диа-дический захват движения») — мультимодальная база данных с несколькими динамиками, собранная в лаборатории SAIL в Университете Южной Калифорнии. Содержит около 12 часов аудиовизуальных данных, включая видео, речь, захват движения, транскрипцию текста. Режим доступа: https://sail.usc.edu/iemocap/ (дата обращения: 25.04.2024).
2 Ryerson Audio-Visual Database of Emotional Speech and Song — «Аудиовизуальная база данных эмоциональной речи и песен Райерсона» (RAVDESS), содержит 7 356 файлов (общий размер: 24,8 ГБ). Режим доступа: https://paperswithcode.com/dataset/ravdess (дата обращения: 25.04.2024).
3 Режим доступа: https://www.kaggle.com/datasets/msambare/fer2013 (дата обращения: 24.04.2024).
деятельности централизованного хранилища информации, агрегированной из различных медицинских информационных источников. Исходные тексты и схемы нейросети в статье не представлены. Исходные данные — Fer-2013 (как и в предыдущем случае).
Другой коллектив белорусских ученых (И.Г. Шупейко и др.) разрабатывает методику распознавания эмоций по фото [Шупейко и др., 2022]. Точность 65,56% — на выборке из шести эмоций. Снова используется база Fer-2013, но на этот раз — с более глубоким методом выбора внутренних слоев нейросети.
Если говорить о существующих базах данных, то по сравнению с Fer-2013 более новой является RAVDESS-2018. Обе базы имеют усложненные схемы доступа, сложную ситуацию с авторскими правами. Особенно это касается второй (аудиовизуальной) базы данных. Обе базы не адаптированы к российской социокультурной среде.
За всеми перечисленными работами — кропотливый труд ученых, и в целом каждая из этих работ по-своему ценна и интересна. При разработке собственного программно-методического комплекса перечисленные методики помогли нам выбрать наиболее подходящие алгоритмы и параметры алгоритмов для предварительной обработки изображений.
Вместе с тем в большинстве своем эти исследования не выходят за рамки информационных технологий. Авторы демонстрируют нам возможности искусственного (и собственного, естественного) интеллекта, но не раскрывают междисциплинарного потенциала своих изобретений.
Что касается нашего исследования, мы стремимся постичь характер актуальных лингвокультурных трансформаций современного многоэтничного города, в том числе посредством алгоритмизированного анализа речевых практик. Методика позволит показать, как эти трансформации обнаруживают себя на уровне общности и группы. Таким образом, мы пытаемся развивать область знания, которую уже обозначили как социологию речи.
Наконец, наша методика будет иметь интегрированный характер: в ней одновременно будут исследоваться и голосовые, и визуальные, и гемодинамические маркеры эмоций. Ранее интегрированный характер имели преимущественно базы данных.
Принцип работы алгоритмизированного комплекса
В настоящей статье описываются интеллектуальные исследовательские технологии, которые позволяют тестировать особенности восприятия речи в условиях поликультурного города. В качестве контрольной группы выступают индивиды (как коренные жители, так и мигранты), воспринимающие родную речь в устах ее носителей (иными словами, речь в исполнении своих соотечественников).
В качестве экспериментальной группы мы рассматриваем испытуемых, которые воспринимают речь в устах иностранцев: иностранную речь в устах ее носителей, а также — родную речь в исполнении иностранцев (речь с акцентом). Таким образом, посредством алгоритмизированных технологий устанавливаются особенности реагирования горожан на разные виды акцентов (например, русская речь в исполнении мигрантов из стран Закавказья, Центральной Азии, Китая и пр.). Методика диагностирует возможный стресс, который продуцируется куль-
турно обусловленными эффектами внутреннего дисбаланса, а также — спецификой перехода в речевой, мыслительной и аудиальной деятельности с одного языка на другой.
Алгоритмизированные исследования осуществляются на трех уровнях: 1) фиксация эмоциональных трансформаций (алгоритмизированный профайлинговый анализ); 2) фонематический анализ (включает характеристики спектрального состава голоса, тона, тембра и тембра голосовой речевой активности); 3) сопоставление индексов трансформации речевосприятия с изменениями гемодинамических (пульс, вариабельность сердечного ритма, артериальное давление и т. д.) и дыхательных психовегетативных функций организма (ритмичность, частота, глубина дыхательных действий).
Содержание этого алгоритмизированного программного комплекса основано на моделировании процесса коммуникативного взаимодействия с учетом возможных психологических барьеров и соответствующего стрессора.
Технические характеристики алгоритмизированного программного
комплекса
Интерфейс методики составили аудиальные и аудиовизуальные стимулы. К ау-диальным стимулам относятся аудиозаписи, репрезентующие иностранную речь (на 22 языках). Отметим, что в уже в имеющихся разработках предлагались записи в несколько секунд и только на английском языке. Нам же необходимо было учесть сходства и отличия в эмоциональной динамике носителей различных языков (узбекского, таджикского, китайского, арабского и русского в том числе), проявляющиеся в процессе обработки записи голоса в несколько минут с концентрацией на изменениях в процессе речи.
Что касается имеющихся баз данных видеоизображений, в упоминавшейся Fer-2013 размер изображения — 48 х 48 пикселей, что не совсем информативно и адекватно для восприятия. У нас же исходное изображение с камеры (люди, осуществляющие речевую деятельность на 22 языках) достигает 5 120 х 2 880. Разработанная авторами конфигурация нейросети предназначена для фиксации именно микродвижений, а не изменений выражения всего лица.
Сочетание и чередование презентации аудиальных сигналов (речевое сообщение без видеоизображения) и аудиовизуальных (видеоизображение говорящего человека) позволит понять, насколько визуальный сигнал (внешний вид говорящего, как правило, свидетельствующий о принадлежности индивида к определенному антропологическому типу) влияет на речевосприятие.
Требования к аппаратной части
Алгоритмизированный комплекс включает: процессор не менее Core-i3 2120; оперативная память не менее 4 Гб; экшен-камера, микрофон, наушники, фит-нес-браслет (таблица 1), Интернет со скоростью не менее 30 Мбит /с. Требования к программной части: браузер Google Chrome или другой на базе Chromium.
Табл. 1. Технические и функциональные требования к оборудованию Table 1. Technical and functional requirements for the equipment
Наименование оборудования Технические характеристики и описание оборудования Описание применения СВТ и ПО (с указанием проектов, в рамках которых будет использоваться)
Эк- шен-ка-мера Стабилизация изображения — цифровая Вид беспроводного интерфейса — Bluetooth, GPS, Wi-Fi Максимальное разрешение видеосъемки — Full HD Наличие режима ночной съемки — да Наличие функции замедленной съемки — да Наличие функции серийной съемки фото — да Тип матрицы — CMOS Сбор видеоматериалов (видеоизображение испытуемого)
Наушники Тип подключения — беспроводной Акустический тип наушников — закрытый Тип наушников — вкладыши Вид беспроводного интерфейса — Bluetooth Наличие микрофона — да Наличие функции быстрой зарядки — да Наличие кабеля для зарядки в комплекте — да Наличие системы активного подавления шума — да Сбор аудиоданных, исходящих от испытуемого, а также получение испытуемым аудиоданных
Фитнес-браслет Тип экрана — IPS Датчики — датчик пульса, акселерометр, датчик уровня кислорода в крови, датчик ЭКГ Автономность — > 5 дней Вид беспроводного интерфейса — Bluetooth Анализ сердцебиения и других биологических показателей испытуемого
Использование компьютера имеет как организационную, так и техническую причины. Организационно компьютер предполагает стационарное рабочее место, а значит, возможность и необходимость находиться на рабочем месте. Технически стационарное рабочее место позволяет настроить наблюдение и анализ мимики и движений испытуемого при помощи нейросети. Движущаяся камера мобильного устройства не дала бы такой возможности.
Методическая и диагностическая составляющая программного
комплекса
Программный комплекс представляет собой алгоритмизированную цифровую методику, с помощью которой выявляются эмоциональные и психофизиологические реакции индивида на речь. Программно-методическая система предполагает презентацию аудио- и аудиовидеоматериалов, содержащих фрагменты речи, которая для испытуемого является неродной, или родной речи в исполнении иностранца (речи с акцентом). При этом часть испытуемых представлена коренными жителями — русскоговорящими горожанами, воспринимающими исходящую от мигрантов иностранную речь или же русскую речь (речь с акцентом). Другая часть испытуемых, напротив, представлена мигрантами, воспринимающими русскую речь.
Фрагменты речи, включенные в комплект аудио- и аудиовидеостимульных материалов, подобраны в соответствии с психологическими барьерами кросс-культурного восприятия речи. Барьеры могут провоцировать дискурсивную напряженность у испытуемого или ее высшую форму — дискурсивный стресс. К таким барьерам относятся языковые барьеры, барьеры, связанные с неязыковым восприятием речи, «процедурные» барьеры и индивидуально-личностные барьеры (в частности, высокий уровень тревожности).
1) Барьеры, связанные с вербальными и невербальными аспектами восприятия речи. В психолингвистике выделяют языковое и неязыковое сознание. В первом случае речь идет о вербальном и логически осознаваемом, эксплицитном сознании. Во втором случае — о национально-культурной специфике той среды, в которой функционируют слова.
Барьеры, связанные с вербально-языковыми аспектами восприятия речи, обусловлены, как правило, культурными и социально-бытовыми различиями субъектов коммуникации. В нашем случае они отражены в содержательных характеристиках презентуемого материала. В презентуемом материале присутствуют «триггерные темы», которые содержательно могут быть связаны с культурными, религиозными или социально-бытовыми отличиями.
Барьеры, связанные с неязыковым аспектом восприятия речи, обусловлены эффектами неязыкового сознания, проявляющегося в речевом поведении. Речевое поведение складывается из речевых поступков и основывается на использовании языка, реализующегося в речи. Оно отражает качественные характеристики речевого взаимодействия с коммуникативным партнером [Винокур, 1993], влияет на становление языковой личности [Седов, 1998] и в целом оказывает значимое влияние на социокультурный климат в обществе [Прохоров, 1997].
Так, например, североевропейцы (финны и скандинавы) говорят менее громко и менее эмоционально, нежели средиземноморские народы (испанцы, португальцы, итальянцы). Но жители Кавказа и Закавказья, Турции и арабских стран говорят еще громче, чем упомянутые средиземноморцы [Белянин, 2008, с. 240]. Непривычное речевое поведение может стать причиной дискурсивного напряжения.
Нейросеть программного комплекса обучена таким образом, что она может устанавливать и дифференцировать степень выраженности в стимульном материале культурно-, социально-бытового своеобразия, а также специфику речевого поведения говорящего, что впоследствии позволяет соотнести индивидуальные психофизиологические и эмоциональные реакции на фрагмент речи с определенным вербальным и невербальным барьером и установить степень их выраженности.
2) «Процедурные» барьеры. По своей природе процедурные барьеры подобны учебным барьерам, обусловленным страхом проверки знаний и их оценки, восприятия материала как сложного [Матюшкин, 2014, с. 117]. Иными словами, испытуемый воспринимает прикладное исследование как проверочную процедуру и от этого испытывает волнение. Сам процесс тестирования может быть стрессоген-ным фактором. Алгоритмизированная методика способна выявлять такие барьеры и определять их именно как процедурные. В рекомендациях к проведению исследований указаны базовые приемы для снижения уровня тревоги, связанной с технической частью исследования. Методика умеет различать собственно процедурную тревожность и общую личностную тревожность.
3) Личностные барьеры. Высокий уровень личностной тревожности может быть обусловлен общим психоэмоциональным состоянием испытуемого или его индивидуально-личностными особенностями (непосредственно личностная тревожность, самооценка, перфекционизм и пр.). Отметим, что в данном случае нет принципиальных различий, чем именно обусловлена общая тревожность. Важно, что она проявляется в объективных показателях дискурсивной напряженности и будет обнаружена при выполнении всех заданий.
Первые две группы факторов (вербально/невербальные и процедурные) диагностируются посредством индивидуальных реакций на соответствующий барьерам стимульный материал. Высокая личностная тревожность диагностируется при наличии высоких показателей стресса на все задания, вне зависимости от их дифференциации.
Индивидуальные психологические барьеры диагностируются на трех уровнях реакций на речь: 1) выявление эмоциональных реакций, определяющихся визуально и аудиально (эмоции, отражающиеся в мимике и голосе испытуемого); 2) фонематический анализ; 3) определение гемодинамических и дыхательных психовегетативных показателей.
На основе результатов анализа реакций испытуемого на стимульный материал строится личностный профиль, в котором зафиксирована динамика психофизиологических и эмоциональных реакций в процессе просмотра и/или прослушивания фрагментов, содержащих речевые послания. Сопоставление высоких психофизиологических показателей стресса с конкретным содержанием стимульного материала позволяет определить выраженность индивидуальных коммуникативных барьеров испытуемого. На основе личностного профиля алгоритмизированная методика помогает оценить уровень дискурсивного стресса и дискурсивной напряженности при восприятии речи (иностранной или речи с акцентом), а также наметить необходимые мишени психологической тренинговой работы, направленной на снижение напряженности и стресса.
Дальнейшая тренинговая работа предполагает формирование групп участников на основе выявленных коммуникативных барьеров и степени выраженности дискурсивного стресса. Помимо личностного профиля участника тренинговой программы учитываются также: 1) сроки его адаптации и стадия лингвокультурной адаптации; 2) уровень владения языком (прежде всего, это относится к мигрантам, тестируемым на восприятие русского языка).
Участники, чей личностный профиль характеризуется высокой личностной тревожностью, относятся к группе риска, в которой рекомендуется провести дополнительную диагностику и работать индивидуально с учетом выявленных причин высокой личностной тревожности.
Заключение
Описанный в настоящей статье программный продукт позволяет соотнести психовегетативную, вербальную и аудиальную активность респондента (испытуемого) с его психофизиологическими и эмоциональными реакциями (тревогой, стрессом, заторможенностью, возбуждением, ложью), которые сопровождаются изменчиво-
стью психомимики, голоса (изменениями тона, тембра, ритма и пр.), психовегетативных реакций.
Программа позволяет дополнить формальное измерение восприятия людьми явлений городского дискурса индивидуально-личностными и эмоционально-оценочными характеристиками. Исследователи, таким образом, ищут пути для преодоления противоречий между данными количественных исследований и качественными интерпретациями.
Программный комплекс содержит инструментарий, который позволяет создавать тренинги, состоящие из общения исследователя и испытуемых, текстовой, графической, аудио- и видеоинформации. Тренинг направлен на то, чтобы снизить уровень дискурсивной напряженности через вовлечение в речевые практики. Такой тренинг находит применение, в частности, в полиэтничных учебных коллективах школ, вузов и ссузов, а также — в области дополнительного образования в системе языковой адаптации мигрантов.
Алгоритмизированная диагностика позволяет учитывать барьеры, препятствующие дискурсивно-речевой адаптации. Определяется, к какой из «барьерных» групп принадлежит испытуемый. Тренинговые программы создаются с упором на преодоление тех барьеров, которые преобладают у испытуемого. Таким образом, комплексная компьютерная тренинговая программа применяется с учетом выявленного уровня дискурсивной напряженности, а также — диагностики вероятных стрессоров при восприятии иностранной речи и речи с акцентом.
В теоретическом плане значимо, что во многом благодаря алгоритмизированным методам исследования речи вводятся и обосновываются понятия «дискурсивного стресса», «дискурсивного перехода», «дискурсивной напряженности», «дискурсивного шока». Эффекты речевого восприятия могут получить теоретическое обоснование (на примере международной и внутренней миграции) при изучении природы личностной фрустрации, поведенческой динамики, трансформации или транспозиции личностных установок. С тех пор как в 1927 г. Й.Л. Вайсгербер ввел понятие языковой личности [Вайсгербер, 2004], исследователи не перестают вести дискуссии о природе данного концепта. Алгоритмизированные методики будут полезны для концептуализации понятия языковой личности применительно к дискурсу поликультурного города.
Литература
БарабанщиковВ.А., Жегалло А.В. Методы регистрации движений глаз в психологии: основы учебно-методического комплекса // Экспериментальная психология. 2014. № 1. С. 132— 137.
Белянин В.П. Психолингвистика. М.: Флинта: Московский психолого-социальный институт, 2008. 226 с.
Вайсгербер Й.Л. Родной язык и формирование духа / Пер. с нем., вступ. ст. и коммент. О.А. Радченко. М.: УРСС, 2004. 229 с.
Винокур Т.Г. Говорящий и слушающий. Варианты речевого поведения. М.: Наука, 1993. 172 с.
Выготский Л.С. Мышление и речь. М.: АСТ, 2022. 576 с. (впервые издана в 1934 г.) Калашникова Л.В. Введение в языкознание: курс лекций. Орел: Орловский гос. аграрный ун-т, 2010. 279 с.
Касавин И.Т. Текст. Дискурс. Контекст. Введение в социальную эпистемологию языка. М.: Канон+, 2008. 544 с.
Курицкий В.Ю., Садов С.В. Нейросетевой алгоритм распознавания эмоций человека по изображению лица // Электронная библиотека Белорусского гос. ун-та. 2020. С. 245-248. Режим доступа: https://elib.bsu.by/bitstream/123456789/248683/1/245-248.pdf (дата обращения: 25.04.2024).
Лурия А.Р. Язык и сознание / Под ред. Е.Д. Хомской. М.: Изд-во Московского ун-та, 1979. 320 с.
Матюшкин А.М. Проблемные ситуации в мышлении и обучении. М.: Директ-Медиа, 2014. 274 с.
Парина И.С., Парин С.Б. Исследование уровня стресса у начинающих переводчиков-синхронистов в рамках когнитивной парадигмы // Вопросы психолингвистики. 2019. № 2 (40). С. 124-134. DOI: 10.30982/2077-5911-2019-40-2-124-134.
Полякова Е.Н. Речевая адаптация детей-билингвов в ДОУ // Молодой ученый. 2022. № 34 (429). С. 114-119.
Прохоров Ю.Е. Национальные социокультурные стереотипы речевого общения и их роль в обучении русскому языку иностранцев. М.: ИКАР, 1997. 224 с.
Савченко И.А. Изучение интеркультурного восприятия речи: возможности трансдисциплинарной регионологии // VI Готлибовские чтения: Востоковедение и регионоведение Азиатско-Тихоокеанского региона. Материалы Международной научно-практической конференции / Отв. ред. Е.Ф. Серебренникова. Иркутск: Изд-во ИГУ, 2023. С. 40-44.
Савченко И.А., Кремнёв Е.В. Дискурсивная трихотомия в урбанистике: модели социального управления в Китае // Вестник Томского гос. ун-та. Сер.: Философия. Социология. Политология. 2023. № 74. С. 113-125. DOI: 10.17223/1998863Х/74/11.
Седов К.Ф. Структура устного дискурса и становление языковой личности: грамматический и паралингвистический аспекты. Саратов: Изд-во Сарат. пед. ин-та, 1998. 111 с.
СергуновД.И., АртемоваА.А., Гришунов С.С. Система распознавания эмоций по голосу на основе сверточной нейронной сети // E-Scio. 2019. № 7 (34). C. 44-51.
Серова Е.Е., Замащикова Л.В. Исследование поликультурных качеств у иностранных военнослужащих (ИВС) в процессе профессиональной речевой адаптации // Педагогический журнал. 2022. Т. 12. № 5-1. С. 486-497.
Тимофеева О.П., Неимущев С.А., Неимущева Л.И., Тихонов И.А. Распознавание эмоций по изображению лица на основе глубоких нейронных сетей // Труды Нижегородского гос. технического ун-та им. Р.Е. Алексеева. 2020. № 1 (128). С. 16-24. DOI: 10.46960/1816-210X_2020_1_16.
Федорова О.В. Зрительное внимание говорящего и слушающего на монологических этапах естественной коммуникации: развивая идеи А. Кендона // Социо- и психолингвистические исследования. 2020. № 8. С. 17-24.
Фролова О.Е. Речевая агрессия и реакция на нее // Русская речь. 2021. № 4. С. 45-60. DOI: 10.31857/S013161170016214-4.
Шупейко И.Г., Хаткевич Л.А., Семенов Е.Е. Применение нейронных сетей для распознавания эмоций по изображениям лиц // BIG DATA and Advanced Analytics. Минск: Республика, 2022. С. 457-461.
Benveniste E. Problèmes de linguistique générale, Paris: Gallimard, 1976. 363 p.
Cao H., Cooper D.G., Keutmann M.K., Gur R.C., Nenkova A., Verma R. CREMA-D: Crowd-Sourced Emotional Multimodal Actors Dataset // IEEE Transactions of Affective Computing. 2014. October-December. No. 5 (4). P. 377-390. DOI: 10.1109/TAFFC.2014.2336244.
Fishman J.A. Sociolinguistics: a Brief Introduction. New York: Newbury House Publishers, 1970. 126 p.
Fishman J.A. The Sociology of Language: An Interdisciplinary Social Science Approach to Language in Society. New York: Newbury House Publishers, 1972. 250 p.
Foucault M. Orders of Discourse // Social Science Information. 1971. No. 10 (2). P. 7-30. DOI: 10.1177/053901847101000201.
Mirsamadi S, Barsoum E, Zhang C. Automatic Speech Emotion Recognition Using Recurrent Neural Networks with Local Attention // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2017. P. 2227-2231. DOI: 10.1109/ICASSP.2017.7952552.
Pieris R. Speech and Society: A Sociological Approach to Language // American Sociological Review. 1951. Vol. 16. No. 4. P. 499-505. DOI: 10.2307/2088282.
Pilgun M.A., Kharlamov A.A. Information Retrieval and Analysis of Digital Conflictogenic Zones by Social Media Data // Lecture Notes in Networks and Systems. 2022. Vol. 236. P. 677-685.
Rayner K. Eye Movements in Reading and Information Processing: 20 Years of Research // Psychological Bulletin. 1998. Vol. 124. No. 3. P. 372-422. DOI: 10.1037/0033-2909.124.3.372.
Schouten B. The Nature of Speech Perception (the Psychophysics of Speech Perception III) // Speech Communication. 2003. Vol. 41. No. 1. P. 1-6.
Algorithmized Analysis of Speech Perception in Discursive
Urban Studies
Irina A. Savchenko
Moscow City l University, Moscow, Russia; e-mail: savchenko-514@mgpu.ru
Maksim I. Zolotarev
Moscow City l University, e-mail: maksbrain@gmail.com
Irina S. Bulanova
Higher School of Economics, Moscow, Russia; e-mail: bis_m@mail.ru
The role of speech and speech perception in the development of urban discourse is substantiated. The prospects of a new interdisciplinary direction — the sociology of speech — are outlined. Software and methodological complex designed to diagnose visual and psychovegetative reactions to speech is described. The complex is intended primarily for the study of cross-cultural perception of speech in a multi-ethnic city. This algorithmized technique is aimed at studying the peculiarities of perception (reflected in the psychophysiological reactions of the subject) of residents of a multi-ethnic city of non-native speech, coming mainly from migrants communicating with each other, and speech native to the recipient, but not native to the speaker ("speech with an accent"). The testing system includes a computer, a data processing program and data collection equipment, the role of which in this case is performed by a sound recording device and a fitness bracelet (heart rate and oxygen sensor in the blood, pulse measurement, tonometer). The methodology includes guidelines containing instructions for using the program and recommendations on the interpretation of the results obtained. The
prospects of organizing training procedures by means of an algorithmized methodology are shown. The theoretical and methodological potential of the methodology is revealed, as well as the possibility of its application to substantiate the concepts of discursive stress and discursive tension as unconscious forms of speech rejection.
Keywords: sociology of speech, intercultural speech perception, city, discourse, algorithmized methodology, reflex of consciousness, discursive stress, discursive tension, psychovegetative reactions, emotions.
Acknowledgment
The research was carried out with support from the Russian Science Foundation (RSF) according to the research grant No. 23-18-00288 "Discursive Transformations of the Modern City: Coordinates of Russian Urban Studies" (https://rscf.ru/project/23-18-00288/).
References
Barabanshchikov, V.A., Zhegallo, A.V. (2014). Metody registratsii dvizheniy glaz v psikhologii: osnovy uchebno-metodicheskogo kompleksa [Methods of registering eye movements in psychology: fundamentals of the educational and methodological complex], Eksperimental'naya psikhologiya, no. 1, 132—137 (in Russian).
Belyanin, V.P. (2008). Psikholingvistika [Psycholinguistics], Moskva: Flinta: Moskovskiy psikhologo-sotsial'nyy institut (in Russian).
Benveniste, E. (1976). Problèmes de linguistique générale, Paris: Gallimard (in French).
Cao, H., Cooper, D.G., Keitman, M.K., Gur, R.S., Nenkova, A., Verma, R. (2014). CREMA-D: A Data Set on Emotional Multimodal Actors Collected from Crowdsourcing, IEEE Transactions of Affective Computing, no. 5 (4), 377-390. DOI: 10.1109/TAFFC.2014.2336244.
Fedorova, O.V. (2020). Zritel'noye vnimaniye govoryashchego i slushayushchego na monologicheskikh etapakh yestestvennoy kommunikatsii: razvivaya idei A. Kendona [Visual attention of the speaker and listener at the monological stages of natural communication: developing the ideas of A. Kendon], Sotsio- ipsikholingvisticheskiye issledovaniya, no. 8, 17-24 (in Russian).
Fishman, J.A. (1970). Sociolinguistics: a Brief Introduction, New York: Newbury House Publishers.
Fishman, J.A. (1972). Sociology of Language: an Interdisciplinary Sociological Approach to Language in Society, New York: Newbury House Publishers.
Foucault, M. (1971). Orders of Discourse, Social Science Information, no. 10 (2), 7-30. DOI: 10.1177/053901847101000201.
Frolova, O.E. (2021). Rechevaya agressiya i reaktsiya na neye [Speech aggression and reaction to it], Russkaya rech', no. 4, 45-60 (in Russian). DOI: 10.31857/S013161170016214-4.
Kalashnikova, L.V. (2010). Vvedeniye vyazykoznaniye: kurs lektsiy [Introduction to linguistics: a course of lectures], Orel: Orlovskiy gos. agrarnyy un-t (in Russian).
Kasavin, I.T. (2008). Tekst. Diskurs. Kontekst. Vvedeniye v sotsial'nuyu epistemologiyu yazyka [Text. Discourse. Context. Introduction to the social epistemology of language], Moskva: Canon+ (in Russian).
Kuritsky, V.Yu., Sadov, S.V. (2020). Neyrosetevoy algoritm raspoznavaniya emotsiy cheloveka po izobrazheniyu litsa [Neural network algorithm for recognizing human emotions by facial image], in Elektronnaya biblioteka Belorusskogo gos. un-ta [Electronic library of the Belarusian State University] (pp. 245-248). Available at: https://elib.bsu.by/bitstream/123456789/248683/1/245-248.pdf (date accessed: 26.04.2024) (in Russian).
Luria, A.R. (1979). Yazyk isoznaniye [Language and consciousness], Moskva: Izd-vo Moskov-skogo un-ta (in Russian).
Matyushkin, A.M. (2014). Problemnyye situatsii v myshlenii i obuchenii [Problem situations in thinking and learning], Moskva: Direkt-Media (in Russian).
Mirsamadi, S., Barsum, E., Zhang, S. (2017). Automatic Recognition of Speech Emotions Using Recurrent Neural Networks with Local Attention, in IEEE2017International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 2227-2231). DOI: 10.1109/ICASSP.2017.7952552.
Parina, I.S., Parin, S.B. (2019). Issledovaniye urovnya stressa u nachinayushchikh perevodchikov-sinkhronistov v ramkakh kognitivnoy paradigmy [The study of stress levels in novice simultaneous interpreters within the cognitive paradigm], Voprosy psikholingvistiki, no. 2 (40), 124-134 (in Russian).
Pieris, R. (1951). Speech and Society: a Sociological Approach to Language, American Sociological Review, 16 (4), 499-505. DOI: 10.2307/2088282.
Pilgun, M.A., Kharlamov, A.A. (2022). Information Retrieval and Analysis of Digital Conflict Zones Based on Social Network Data, Lecture Notes in Networks and Systems, no. 236, 677-685.
Polyakova, E.N. (2022). Rechevaya adaptatsiya detey-bilingvov v DOU [Speech adaptation of bilingual children in preschool], Molodoy uchenyy, no. 4 (429), 114-119 (in Russian).
Prokhorov, Yu.E. (1997). Natsional'nyye sotsiokul'turnyye stereotipy rechevogo obshcheniya i ikh rol' v obuchenii russkomu yazyku inostrantsev [National socio-cultural stereotypes of speech communication and their role in teaching the Russian language to foreigners], Moskva: IKAR (in Russian).
Rainer, K. (1998). Eye movements when reading and processing information: 20 years of research, Psychological Bulletin, 124 (3), 372-422. DOI: 10.1037/0033-2909.124.3.372.
Savchenko, I.A. (2023). Izucheniye interkul'turnogo vospriyatiya rechi: vozmozhnosti transdistsiplinarnoy regionologii [Studying the intercultural perception of speech: the possibilities of transdisciplinary regionology], in E.F. Serebrennikova (Ed.), VI Gotlibovskiye chteniya: Vostokovedeniye i regionovedeniye Aziatsko-Tihookeanskogo regiona. Materialy Mezhdunarodnoy nauchno-prakticheskoy konferentsii [VI Gottlieb readings: Oriental studies and regional studies of the Asia-Pacific region. Materials of the International scientific and practical conference] (pp. 40-44), Irkutsk: Izd-vo IGU (in Russian).
Savchenko, I.A., Kremnyov, E.V. (2023). Diskursivnaya trikhotomiya v urbanistike: modeli sotsial'nogo upravleniya vKitaye [Discursive trichotomy in urban studies: models of social management in China], Vestnik Tomskogo gos. un-ta. Filosofiya. Sotsiologiya. Politologiya, no. 74, 113-125 (in Russian). DOI: 10.17223/1998863X/74/1.
Schouten, B. (2003). The Nature of Speech Perception (Psychophysics of Speech Perception III), Speech Communication, 41 (1), 1-6.
Sedov, K.F. (1998). Struktura ustnogo diskursa istanovleniyeyazykovoy lichnosti:grammaticheskiy i paralingvisticheskiy aspekty [The structure of oral discourse and the formation of a linguistic personality: grammatical and paralinguistic aspects], Saratov: Izd-vo Sarat. ped. in-ta (in Russian).
Sergunov, D.I., Artemova, A.A., Grishunov, S.S. (2019). Sistema raspoznavaniya emotsiy po golosu na osnove svertochnoy neyronnoy seti [Voice facial recognition system based on a clear neural network], E-Scio, no. 7 (34), 44-51 (in Russian).
Serova, E.E., Zamashchikova, L.V. (2022). Issledovaniye polikul'turnykh kachestv u inostrannykh voyennosluzhashchikh (IVS) v protsesse professional'noy rechevoy adaptatsii [The study of multicultural qualities in foreign military personnel (IVS) in the process of professional speech adaptation], Pedagogicheskiy zhurnal, 12 (5-1), 486-497 (in Russian).
Shupeyko, I.G., Khatkevich, L.A., Semenov, E.E. (2022). Primeneniye neyronnykh setey dlya raspoznavaniya emotsiy po izobrazheniyam lits [Application of neural networks for emotion recognition from facial images], in Big Data and Advanced Analytics (pp. 457-461), Minsk: Republic (in Russian).
Timofeeva, O.P., Neimushchev, S.A., Neimushcheva, L.I., Tikhonov, I.A. (2020). Raspo-znavaniye emotsiy po izobrazheniyu litsa na osnove glubokikh neyronnykh setey [Recognition of
emotions by facial image based on deep neural networks], Trudy Nizhegorodskogogos. tekhnicheskogo un-ta im. R.E. Alekseeva, no. 1 (128), 16—24 (in Russian).
Vinokur, T.G. (1993). Govoryashchiy islushayushchiy. Varianty rechevogopovedeniya [Speaking and listening. Variants of speech behavior], Moskva: Nauka (in Russian).
Vygotsky, L.S. (2022). Myshleniye i rech' [Thinking and speech], Moskva: AST (first published in 1934) (in Russian).
Weisgerber, J.L. (2004). Rodnoy yazyk i formirovaniye dukha [Native language and the formation of the spirit], Moskva: URSS (in Russian).
