CC BY
20
Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2017. № 2
Е.И. Ратникова
АКУСТИЧЕСКАЯ СЕГМЕНТАЦИЯ УСТНОПОРОЖДАЕМОГО
ВЫСКАЗЫВАНИЯ (экспериментальное исследование на материале
французского, русского и английского языков)
Федеральное государственное бюджетное образовательное учреждение
высшего образования «Московский государственный университет имени М.В. Ломоносова» 119991, Москва, Ленинские горы, 1
Исследование посвящено выявлению закономерностей развертывания устнопорождаемого высказывания. В статье представлены результаты экспериментального исследования логнормального распределения фонационных отрезков (ФО), разделенных паузами от 0,300 сек и функционирующих в уст-нопорождаемом высказывании, на материале французского, русского и английского языков в трех ситуациях общения: 1) интервью; 2) устной беседе; 3) устном ответе на экзамене по иностранному языку. В ходе анализа статистически репрезентативного (100 речевых продукций) корпуса устных текстов было установлено, что такая темпоральная характеристика устнопорождаемого высказывания, как длительность фонационного отрезка подчиняется логнор-мальному статистическому распределению вне зависимости от типа изучаемой ситуации, индивидуальных особенностей говорящих, тематики и общей длительности высказывания, а также от того, на каком языке осуществляется порождение (родном или иностранном). Подчинение логнормальному распределению количественных характеристик проявлений какого-либо процесса свидетельствует об устойчивости базового механизма, отвечающего за их реализацию. Результаты настоящей работы могут быть использованы при разработке методики анализа устнопорождаемого высказывания, а также компьютерных алгоритмов автоматического распознавания речи.
Ключевые слова: акустическая фонетика; устнопорождаемая речь; логнор-мальное распределение; фонационный отрезок; пауза.
Очевидно, что одним из самых сложных для изучения в лингвистике объектов является устнопорождаемая речь, традиционно рассматриваемая и как процесс человеческой деятельности, и как ее продукт. В связи с этим особую актуальность в наше время представляет вопрос измеряемости и формализации (моделирования) параметров устнопорождаемой речи, что обусловлено как потребностями самой лингвистики [Бубнова, 2008; Бубнова, Ратникова, 2009; Энгель, 2004],
Ратникова Елена Игоревна — кандидат филологических наук, доцент кафедры французского языка для факультета иностранных языков и регионоведения МГУ имени М.В. Ломоносова (e-mail: [email protected]).
так и смежными с ней областями, такими как, например, автоматическое распознавание речи, где существует необходимость усовершенствования применяемых компьютерных алгоритмов [Кодзасов, Крив-нова, 2001; Campbell, 2000; Klatt, 1979; Ramus, Nespor, Mehler, 1999].
Известно, что основной проблемой разработки подхода к анализу устнопорождаемой речи является ее вариативность, проявляющаяся на всех уровнях высказывания и задающаяся начальными условиями ситуации, в которой протекает говорение, индивидуальными особенностями говорящего (физические, психические и т.п.), а также рядом других внешних факторов, степень влияния которых на порождение зачастую не представляется возможным установить.
И тем не менее, несмотря на многообразие форм и ситуаций, в которых осуществляется порождение устного высказывания, очевидно, должны существовать некие общие типические черты, характерные для порождения речи, независящие от конкретных условий ее протекания. Поскольку охват всего многообразия форм устного порождения не представляется возможным в рамках одного исследования, мы ограничимся в данной статье изучением устного монологического высказывания, порождаемого в трех различных ситуациях: 1) в формате интервью; 2) в устной беседе; 3) в устном ответе на экзамене по иностранному языку. Таким образом, объектом настоящего исследования является спонтанное монологическое высказывание, порождаемое устно. Спонтанность в данном случае определяется отсутствием визуальной опоры (текста) во время говорения, непредсказуемостью развертывания высказывания говорящего. Под монологальностью понимается порождение на длинную дистанцию без прерывания гово-роящего слушающим (интервьюером, собеседником, экзаменатором). При этом необходимо оговориться, что непредсказуемость в данном случае не исключает наличия общего замысла и даже иногда плана высказывания.
В исследовании выбран формальный подход к анализу устнопорож-даемого высказывания, в рамках которого высказывание рассматривается с акустической точки зрения, как набор фонационных отрезков (далее — ФО) и пауз. Несмотря на то что такой подход является отчасти редукционистским, представляется, что он целесообразен на первом этапе исследования, поскольку позволяет достичь необходимой для целей эксперимента объективации данных. Это необходимо еще и потому, что мы имеем дело с разнородным корпусом устных текстов и большим массивом данных (100 речевых продукций), первичная формализация которых в рамках перцептивного анализа представляла бы собой большие сложности.
При этом, намеренно рассматривая ФО без учета их языкового наполнения, мы исходим из того, что, вероятно, существуют некие зако-
ны, программа, позволяющая этим отрезкам образовывать законченную речевую продукцию. Попытке, хотя бы частично приблизиться к пониманию этих законов, и посвящено настоящее исследование.
В качестве предмета исследования выбрана одна из темпоральных характеристик ФО, а именно его длительность. Задачей же является изучение частотного распределения ФО разной длительности высказываний, записанных нами в трех типах ситуаций. В качестве гипотезы исследования выдвигается предположение о том, что модель распределения длительности ФО идентична для всех изучаемых высказываний и не зависит от ситуации, тематики высказывания, индивидуальных особенностей говорящих, а также от того, на родном или иностранном языке осуществляется порождение.
Материал исследования представляет собой звуковые файлы, любезно предоставленные оргкомитетом Всероссийской олимпиады школьников по французскому языку, а также записи, сделанные автором, которые включают ответы респондентов в ходе видеоинтервью на французском и русском телевидении. Из видеоинтервью извлекалась звуковая дорожка с помощью программы "Movavi Video Converter" для последующего анализа.
Всего было использовано 100 записей высказываний (в соответствии с общепринятыми требованиями к размеру выборки для статистического анализа) длительностью около четырех минут каждое; общая длительность звучания корпуса составляет шесть с половиной часов. Длительность четыре минуты совпадает с требованиями, предъявляемыми к устному ответу конкурсантов в ходе проведения экзаменов и конкурсов по иностранному языку на уровне B21. Другим обязательным критерием при отборе материала была целостность и законченность высказывания, т.е. отбирались высказывания, не прерываемые слушающим(-и) (интервьюером, собеседником, экзаменатором). Любое вмешательство слушающего в продукцию говорящего рассматривалось как нарушение целостности порождения, и такие высказывания исключались из корпуса. Все используемые в работе звуковые файлы были оцифрованы в формате wav. с частотой дискретизации 44 кГц в программе "Adobe Audition".
Таким образом, исходя из целей анализа, отобранный материал был разделен на три группы, каждая из которых соответствует рассматриваемой коммуникативной ситуации:
1. Ответы в ходе интервью.
1.1. 15 устных ответов носителей французского языка в ходе видеоинтервью различной тематики (спорт, кино, компьютерные игры, ли-
1 Бубнова Г.И. Всероссийская олимпиада школьников по французскому языку 2012. СПб.: Люмьер, 2012. 60 с.
тература), записанные на французском телевидении. Возраст интервьюируемых от 25 до 60 лет.
1.2. 15 устных ответов на русском языке (тематика интервью — музыка, литература), записанного на российском телевидении. Возраст интервьюируемых от 28 до 54 лет.
Особенностью данной группы является тот факт, что респондентам заранее известна тема интервью, однако полностью они не готовят ответы на вопросы и отвечают без письменной опоры.
2. Ответы в ходе свободной беседы.
15 устных ответов на русском языке в ходе свободной беседы на спонтанно поставленный экспериментатором вопрос. Возраст испытуемых от 30 до 50 лет. Единственное условие, поставленное испытуемым, — говорить не менее четырех минут. Отличие данной группы от групп 1 и 3 в том, что говорящему заранее неизвестна тема беседы, фактически полностью отсутствует этап подготовки и продумывания высказывания.
3. Ответы русскоговорящих испытуемых на устных экзаменах и конкурсах по иностранному языку.
3.1. 15 устных ответов конкурсантов на французском языке, записанных во время проведения устного конкурса Всероссийской олимпиады школьников по французскому языку. Уровень владения языком испытуемых данной группы В1, возраст от 15 до 17 лет.
3.2. 15 устных ответов студентов третьего курса факультета иностранных языков и регионоведения МГУ имени М.В. Ломоносова, изучающих французский как второй иностранный. Ответы записаны в ходе семестрового экзамена по французскому языку. Уровень владения В1, возраст от 19 до 20 лет.
3.3. 15 устных ответов на английском языке взрослых носителей русского языка. Уровень владения С2, возраст от 30 до 50 лет. Ответы записаны в ходе постановочного эксперимента, имитирующего ситуацию экзамена. Испытуемым было предложено такое же задание, как и подгруппе 3.1.
3.4. Для дополнительной верификации записаны 10 устных ответов русскоговорящих на родном языке. Испытуемым было предложено олимпиадное задание, как и в подгруппах 3.1, и 3.3. Возраст испытуемых от 30 до 50 лет.
Необходимо отметить, что задание для всех подгрупп третьей группы было схожим. Конкурсантам и экзаменуемым нужно было за 20 минут подготовить монологическое высказывание на заданную тему (всего шесть разных тем), соответствующее критериям связности и логичности построения. Во время подготовки им разрешалось делать записи и продумывать план высказывания. Однако во время ответа записями конкурсанты не пользовались.
Исследование состояло из двух этапов: сегментации высказываний на ФО и анализа их статистического распределения. Сегментация была проведена в ходе акустического анализа в программе PRAAT. В качестве критерия сегментации использовалась длительность паузы, которую мы рассматриваем, как полный перерыв фонации длительностью 0,300 сек и более [Блохина, Потапова, 1986]. В результате сегментации для каждого высказывания получен набор входящих в него ФО. Их общее количество в изученных речевых продукциях варьируется в пределах от 97 до 103 единиц, т.е. количество ФО во всех высказываниях практически одинаковое. Минимальная длительность ФО в исследуемом корпусе — 0,300—0,400 сек, максимальная — 7—8 сек.
Задачей следующего этапа явилось установление характера частотного распределения ФО по длительности в пределах каждого высказывания, осуществленное с помощью статистической программы "МтПаЪ". Анализ введенных данных выявил наличие ярко выраженного лог-нормального распределения, графически отраженного на выходных гистограммах. Гистограмма является одним из видов репрезентации экспериментальных данных, которая демонстрирует их группировку по определенному признаку и общий характер частотного распределения. Для компактного представления полученных результатов анализируемые данные, наиболее схожие по основному признаку, разбиваются статистической программой на группы или интервалы в соответствии с выбранным алгоритмом. Этот алгоритм определяется программой на основе размаха вариации группировочного признака (Я) и общего количества анализируемых единиц с целью обеспечения наиболее показательной репрезентации выявленного статистического распределения. Основное внимание в ходе анализа гистограммы принято уделять ее форме, т.е. характеру распределения изучаемых единиц и их частотности [Ширяев, 1989].
На гистограммах, полученных в ходе эксперимента, анализируемые ФО сгруппированы по длительности в девять интервалов, которым соответствует шаг в одну секунду. Величины интервалов откладываются на оси Х. Цифрами обозначаются средние значения интервалов. В интервал со средним показателем 0 попадают ФО длительностью от 0,300 до 0,500 сек, в первый — от 0,500 до 1,5 сек, во второй — от 1,5 до 2,5 сек, в третий — от 2,5 до 3,5 сек и т.п.
На оси Y откладываются частотные значения ФО, т.е. их количество. Чем выше вертикальный прямоугольник (столбец), тем частотнее входящие в него ФО. Данная методика применялась для построения гистограмм распределения длительности ФО для всех изучаемых высказываний корпуса, т.е. для каждого говорящего строилась отдельная гистограмма.
Результаты анализа показывают, что для высказываний всех трех групп характерно одинаковое распределение ФО: наблюдается обратная
зависимость их частотности от длительности. Наиболее частотные ФО группируются в 1 и 2 интервалах, а наименее с 5 по 8, т.е. частотность ФО уменьшается по мере увеличения их длительности. Таким образом, правая часть гистограммы имеет характерный вид последовательного падения или вытянутого хвоста, что демонстрирует асимметрию наблюдаемого распределения и говорит о том, что дистрибуция отрезков подчиняется логнормальному распределению. Распределение ФО в высказываниях, порождаемых в трех разных ситуациях, проиллюстрировано для каждой группы на гистограммах 1, 2, 3 соответственно.
Гистограмма ФО_Интервью (группа 1Д говорящий №]2)
40
30
О ©
л
I-
и
§ 20
О н
и пз
т
10
012345678 Интервалы длительности ФО
Гистограмма 1. Пример логнормального распределения длительности ФО (гр. 1, говор. № 12)
Логнормальность наблюдаемых распределений дополнительно протестирована и подтверждена с помощью так называемого статистического теста на нормальность, который был также осуществлен с помощью статистической программы "МШТаЪ".
Описанная картина отмечена во всех изученных нами высказываниях. Это позволяет сделать вывод о том, что распределение ФО разной длительности подчиняется единой модели независимо от тематики, индивидуальных особенностей говорящих, языка, на котором протекает порождение и т.п. Вероятно, в логнормальном распределении ФО по длительности проявляется некая универсальная программа порождения спонтанного высказывания, так как традиционно в научных исследованиях логнормальное распределение рассматривается как проявление устойчивости и внутренней оформленности механизма
Гистограмма 2. Пример логнормального распределения длительности ФО (гр. 2, говор. № 4)
Гистограмма 3. Пример логнормального распределения длительности ФО (гр. 3, говор. № 9)
реализации изучаемого процесса. Причем, как показал проведенный эксперимент, данную программу не нарушает ни степень подготовленности высказывания, ни количество времени, отведенное испытуемому на подготовку или ответ, ни конкретно поставленная перед ним
задача, всех говорящих объединяло только одно — порождение устного высказывания.
Результаты, полученные в ходе настоящей работы, согласуются с другими исследованиями в данной области. Логнормальное распределение обнаруживается и по отношению к длительности таких лингвистических явлений, как заполненные паузы в устнопорождаемой речи на французском языке [Christodoulides, Avanzi, 2014], незаполненные паузы в речи больных, страдающих артикуляторными нарушениями (атактической дизартрией) [Rosen, Kent, Duffy, 2003], в распределении длительности гласных и согласных в устной речи на английском языке [Kristin, 2005]. Исследования, проводившиеся на материале письменной речи, также показали, что, например, длительность сообщений на интернет-форумах различной тематики подчиняется логнормаль-ному распределению [Sobkowiczetal, 2013]. На основании этого автором выдвигается гипотеза об универсальности данной модели, причем не только для устнопорождаемой, но и для письменной речи как отражение речемыслительной деятельности человека.
При всей важности обнаруженной количественной закономерности представляется необходимым дополнить в последующем результаты исследования более глубоким качественным анализом полученного распределения. Выбранная в работе методика анализа позволяет классифицировать ФО на группы по длительности для дальнейшего сопоставительного изучения высказываний разных речевых жанров, а также описания характера языковой наполняемости анализируемых групп ФО. В будущем планируется провести тестирование выявленной модели применительно к высказываниям иной длительности и другому количеству составляющих их отрезков.
Список литературы
1. Блохина Л.П., Потапова Р.К. Перцептивная категоризация паузальной сегментации слитной речи II Сборник научных трудов МГПИИЯ им. Мориса Тореза. 1986. Вып. 265. C. 247-415.
2. Бубнова Г.И. Специфика дискурсивного процесса в условиях устного и письменного порождения речи || Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2008. № 1. С. 23-37.
3. Бубнова Г.И., Ратникова Е.И. Устнопорождаемая речь: изучение синерге-тических свойств на акустическом уровне || Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2009. № 3. С. 124-135.
4. Кодзасов С.В., Кривнова О.Ф. Общая фонетика: Учебник. М.: Росс. гос. гуманит. ун-т, 2001.
5. Ширяев А. Н. Вероятность. М.: Наука, 1989.
6. Энгель Е.И. Изменение акцентных структур омографических пар в современном английском языке || Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2004. № 3. С. 15-21.
7. Campbell N. Timing in Speech: A Multi-Level Process // Prosody: Theory and Experiment / Ed. by M. Horne. Kluwer Academic Publishers, 2000. P. 281—334.
8. Christodoulides G., Avanzi M. Phonetic and Prosodic Characteristics of Dis-fluencies in French Spontaneous Speech. URL: https://www.academia. edu/27911025/Phonetic_and_Prosodic_Characteristics_of_Disfuencies_in_ French_Spontaneous_Speech (accessed: 16.07.2016).
9. Klatt D.H. Synthesis by rule of segmental durations in English sentences // Frontiers of Speech Communication Research / Ed. by B. Lindblom, S. Ohman. Academic Press, 1979. P. 287-299.
10. Kristin M. R. Analysis of speech segment duration with the lognormal distribution: A basis for unification and comparison // Journal of Phonetics. \bl. 33. N 4. 2005. P. 411-426.
11. Ramus F., Nespor M., Mehler J. Correlates of linguistic rhythm in the speech signal // Cognition. № 73. 1999. P. 265-292.
12. Rosen K.M., Kent R.D., Duffy J.R. Lognormal distribution of pause length in ataxic dysarthria // Clinical Linguistic Phonetics. № 17 (6). 2003. P. 469-486.
13. Sobkowicz P. et al. Lognormal distributions of user post lengths in Internet discussions — a consequence of the Weber-Fechner law? // EPJ Data Science. 2013. N 2 (1).
Elena I. Ratnikova
ACOUSTIC SEGMENTATION OF SPEECH UTTERANCES (an experimental study with the use of French, Russian and English speech data)
Lomonosov Moscow State University 1 Leninskie Gory, Moscow, 119991
The present article is concerned with the issue of developing workable approaches to establishing a more robust parametrization of the phonetic and prosodic characteristics of a speech utterance. The article presents the results of an experimental study analyzing the distribution of phonation units (speech chunks) within speech utterances produced in the French, Russian and English languages in three communicative situations: 1) interview; 2) general oral discussion and 3) student's spoken answer in a foreign language test. The analysis of an extensive corpus of recorded speech data showed that such fundamental intrinsic characteristic of speech utterance as the length of its constituent phonation units distinctly follows a log-normal distribution irrespective of the communicative situation, the language spoken (mother or foreign), the thematic subject and overall duration of the utterance, and the individual manner of the speakers. The log-normality of the quantitative characteristics of a process' specific instances, as a rule, testifies to the existence of some stable underlying mechanism regulating their realizations. The findings of the conducted study presented in the article can be a valuable resource for developing a practicable methodology of speech utterance analysis, as well as for fine-tuning and improving the existing speech recognition algorithms and approaches.
Key words: acoustic phonetics; oral speech; speech utterance; log-normal distribution; phonation unit; pause.
About the author: Elena I. Ratnikova — PhD Philology, Assistant Professor of the
French Language Chair of the Faculty of Foreign Languages and Area Studies, Lo-
monosov Moscow State University ([email protected]).
References
1. Blokhina L.P., Potapova R.K. 1986. Pertseptivnaya kategorizatsiya pauzal'noi segmentatsii slitnoi rechi [Perceptual categorization of pause segmentation of continuous speech]. Sbornik nauchnykh trudov MGPIIYa im. Morisa Toreza., vol. 265, pp. 247—415. (In Russ.)
2. Bubnova G.I. 2008. Spetsifika diskursivnogo protsessa v usloviyakh ustnogo i pis'mennogo porozhdeniya rechi [Intrinsic features of the discourse process during the production of oral and written speech]. Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no. 1, pp. 23—37. (In Russ.)
3. Bubnova G.I., Ratnikova E.I. 2009. Ustnoporozhdaemaya rech': izuchenie sinergeticheskikh svoistv na akusticheskom urovne [Oral speech production: study of the synergetic features at the acoustic level]. Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no. 3, pp. 124-135. (In Russ.)
4. Kodzasov S.V, Krivnova O.F. 2001. Obshchaya fonetika: Uchebnik [General Phonetics: Manual]. Moscow, Publishing House of Russian University of Humanities. (In Russ.)
5. Shirjaev A.N. 1989. Verojatnost' [Probability]. Moscow, Nauka. (In Russ.)
6. Engel' E.I. 2004. Izmenenie aktsentnykh struktur omograficheskikh par v sovremennom angliiskom yazyke [Change of the stress structure of the homographic pairs in the modern English]. Moscow State University Bulletin. Series 19. Linguistics and Intercultural Communication, no. 3, pp. 15-21. (In Russ.)
7. Campbell N. 2000. Timing in Speech: A Multi-Level Process. In M. Horne (ed). Prosody: Theory and Experiment. Kluwer Academic Publishers, pp. 281-334.
8. Christodoulides G., Avanzi M. 2014. Phonetic and Prosodic Characteristics of Disfluencies in French Spontaneous Speech. Accessible at URL: https://www. academia.edu/27911025/Phonetic_and_Prosodic_Characteristics_of_Dis-fluencies_in_French_Spontaneous_Speech (accessed: 16.07.2016).
9. Klatt D.H. 1979. Synthesis by rule of segmental durations in English sentences. In B. Lindblom, S. Ohman (eds.) Frontiers of Speech Communication Research. Academic Press, pp. 287-299.
10. Kristin M.R. 2005. Analysis of speech segment duration with the lognormal distribution: A basis for unification and comparison. Journal of Phonetics, vol. 33, no 4, pp. 411-426.
11. Ramus F., Nespor M., Mehler J. 1999. Correlates of linguistic rhythm in the speech signal. Cognition, no 73, pp. 265-292.
12. Rosen K.M., Kent R.D., Duffy J.R. 2003. Lognormal distribution of pause length in ataxic dysarthria. Clinical Linguistic Phonetics, no 17(6), pp. 469-86.
13. Sobkowicz P. et al. 2013. Lognormal distributions of user post lengths in Internet discussions — a consequence of the Weber-Fechner law? EPJ Data Science, no 2(1).
