Фракталы и крупномасштабная временная структура акустического речевого сигнала и музыки Текст научной статьи по специальности «Физика»

Электронный журнал «Техническая акустика» http://webcenter.ru/~eeaa/ejta/

2004, 21

О. П. Скляров

НИИ уха, горла, носа и речи

Россия, 190013, Санкт-Петербург, ул. Бронницкая, 9, e-mail: skljarov@admiral.ru

Фракталы и крупномасштабная временная структура акустического речевого сигнала и музыки

Получена 30.10.2004, опубликована 04.12.2004

В статье рассматриваются Хаусдорфова размерность и Колмогоровская энтропия последовательности длительностей голосовых сегментов в речи (V-ритма). Хаусдорфовы размерности и Колмогоровская энтропия вычисляются из экспериментально определенных V-ритмов образцов как нормальной речи, так и речи при заикании. Эти вычисления оказались возможными благодаря введению в рассмотрение обобщенной размерности Реньи и обобщенной энтропии Реньи. В статье показано, что V-ритм речи образует фрактальную структуру, причем соответствующая Хаусдорфова размерность больше топологической размерности. В свою очередь, фрактальная размерность нормальной речи больше фрактальной размерности участков речи, состоящих из запинок. Кроме того, обнаружено, что Колмогоровская энтропия ритма нормальной речи положительна и конечна, что является необходимым и достаточным условием существования детерминированного хаоса в структуре ритма. Нижняя граница Колмогоровской энтропии для запинок отрицательна, что говорит в пользу регулярности структуры запинок в речи. На примере пьес Вивальди и Паганини показано, что Хаусдорфова размерности музыки ниже размерности запинок, что позволяет сравнить структуру V-ритма музыки со структурой ритма ранней фонетики у детей.

1. ВВЕДЕНИЕ

В последнее десятилетие значительное число задач в нелинейной акустике было успешно решено методами теории критических явлений [1]. Довольно часто динамика таких задач вблизи критической точки описывается средствами теории динамического хаоса.

Оказалось, что этот подход является весьма продуктивным при объяснении многих эффектов при описании крупномасштабной временной структуры акустических речевых сигналов [2, 3]. Можно показать, исходя из исследования структуры сигнала, что речь обладает целым набором динамических режимов. Переход из одного режима в другой может происходить под влиянием как внешних, так и внутренних воздействий на динамическую систему. В нашем случае такой системой является механизм речеобразования человека.

В работе мы описываем метод регистрации крупномасштабной временной структуры речевого сигнала, базирующийся на сегментации речевого сигнала по принципу «есть голос — нет голоса». Пронумерованную последовательность длительностей сегментов в речи, когда происходят колебания голосовых складок, мы назвали V-ритмом. На временной оси такой ритм образует некий аналог канторова множества. Примем длину всего образца речи за единицу. Тогда, как можно допустить на основе экспериментальных данных, обычная топологическая размерность такого множества V-сегментов имеет размерность строго меньше 0,7 [6]. Однако, как будет показано в статье, нижние границы хаусдорфововых размерностей V-ритмов, оцененные по экспериментальным последовательностям V-сегментов на обширной фонотеке сигналов, оказались в интервале (0,7.. .0,9).

Мандельброт предложил называть фракталами множества, для которых Хаусдорфова размерность строго больше топологической [4]. Таким образом, в статье показывается, что V-ритм речи как в норме, так и при заикании, фрактален.

Измерялась также безмодельным способом Колмогоровская энтропия таких множеств. На основе этих вычислений мы заключаем, что система может иметь как регулярные, квазипериодические свойства, характерные для участков речи с нарушенным ритмом, так и иррегулярные хаотические свойства, характерные для нормальной речи. Участки речи с нарушенным ритмом можно получить, регистрируя речь заикающихся.

Оказалось, что система речеобразования имеет критическую точку в сценарии перехода динамики V-ритма к хаосу в зависимости от внешнего управляющего параметра. В качестве такого сценария, как оказалось, можно принять сценарий Фейгенбаума перехода к хаосу в зависимости от управляющего параметра. Управляющий параметр может использоваться для того, чтобы приводить такие временные характеристики, как речевой V-ритм, в область нормальных значений.

2. СЕГМЕНТАЦИЯ РЕЧЕВОГО СИГНАЛА ПО ПРИНЦИПУ “VOICE/UNVOICE”

Производилась регистрация акустических речевых сигналов, полученных как от нормальных в речевом отношении лиц, так и от заикающихся. Исследования проводились в течение двух лет. Речь регистрировалась как при чтении стандартного текста объемом в 120 слогов, так и при произнесении спонтанной речи длительностью около 1,5 минут в группе заикающихся, в которую входили как взрослые мужчины и женщины, так и дети от 4 лет и старше (у детей дошкольного возраста регистрировалась только спонтанная речь). Число обработанных записей, производимых трижды в течение месячного курса коррекции, в течение двух лет составило 600 образцов. Число контрольных записей речевого сигнала составило 100 образцов как взрослой, так и детской речи без явных признаков патологии.

Речевые сигналы вводились в компьютер с частотой дискретизации 10000 Гц. После предварительной фильтрации определялся порог сегментации для каждого отдельного субъекта с помощью тестовой фразы. Амплитудный порог нарастал постепенно с

достаточно малым шагом до тех пор, пока впервые не выделялись шесть (и только шесть) сегментов, содержащихся в тестовой фразе «папа, папа, папа». Для определения момента, когда начинается не голосовой сегмент, использовался параметр временного разрешения, составляющий 40 мсек. Процесс определения порога прекращался, если коэффициент вариаций длительностей сегментов не превышал 0,5.

Затем это значение порога использовалось для автоматической сегментации основного сигнала. Сравнение результатов, полученных с помощью автоматической сегментации, и результатов как ручной сегментации сигнала, так и результатов, полученных при вычислении интонационного контура, дали удовлетворительное согласие. Кроме того, контрольное прослушивание сигнала, полученного обнулением «не голосовых» сегментов сигнала, не приводило к нарушению разборчивости речи.

Среднюю длительность этих сегментов мы назвали индикатором «V/иьтемпа, а их последовательность — «^/и»-ритмом. В случае только «Voice» сегментов эти величины называются соответственно индикатором «^»-темпа и «^»-ритмом.

3. ФРАКТАЛЬНО-ХАОТИЧЕСКАЯ ПРИРОДА РЕЧИ

3.1. Хаусдорфовы размерности

Реконструкция динамики сложных систем возможна безмодельным способом по информации, содержащейся во временной экспериментальной последовательности только одной, но существенной переменной. В нашем случае такой последовательностью являются элементы «V/U»-ритма или <^»-ритма. Ренормгрупповые свойства фракталов обеспечивали равноправность этих двух представлений ритма [4].

В частности, для «Vi^rn^ возможно реконструировать хаусдорфовы размерности исследуемого множества. В непрерывном случае эта размерность соответствует размерности странного аттрактора [5, стр. 109-110], к которому стягивается фазовая траектория динамической задачи.

Следуя Шустеру [5], проверим, является ли V-ритм речи образованием с дробной Хаусдорфовой размерностью. Для этого сопоставим V-ритму {T1, T2, ...Tn} аналог канторовского множества единичной длины. Полученные нами экспериментальные данные позволяют предположить, что топологическая размерность такого аналога как для заикающихся, так и в случае нормальной речи, строго меньше 0,7 [6].

В соответствии с [5], приведем полученное множество длины L (в миллисекундах) к единичной длине и будем проверять это множество в контрольных точках через интервалы времени в 1/L. Разделим одномерное пространство на ячейки l=1000/L. Размер ячеек оказался достаточным для достоверного определения Хаусдорфовой размерности по алгоритму Grassberga и Procaccia [7].

Хаусдорфова размерность (вернее, ее нижняя граница), вычисленная напрямую по этому алгоритму, как оказалось, варьирует на огромном множестве сигналов на

интервале (0,7...0,9). Большая статистика экспериментов свидетельствует в пользу надежности результатов.

В соответствии с алгоритмом ОгаБвЬе^а и Ргосасаа, для определения хаусдорфовой размерности ° некоторого множества, занимающего область с объемом Ь° в °-мерном пространстве, покроем это множество кубами с объемом 1°. Минимальное число таких непустых кубов, покрывающих множество, есть М(I) = Ь° (1/1)° . Из этого выражения можно получить приближенную оценку

D = lim

1^0

ln M (І) ln(1 /1)

(1)

На практике более удобно для оценки этой размерности использовать математическую конструкцию, известную как размерность Реньи, , связанную с

вероятностью р. нахождения контрольной точки в г-ой ячейке в степени/:

Df = lim

J І ^0

( 1 Л

ln

(М(І) Л

Z pJ

V i=0 )

ln l

, J = 0,1,2,...

(2)

При J ^ 0 мы имеем из формулы (2):

( M (І)

11

J 1n M (І)

= D.

lim

І ^0

D0 =-

V і=1 )_ , ;mln M (l)

= -lim-

1^0

(3)

1п I 1^0 1п I

т. е. размерность Реньи °0 совпадает с хаусдорфовой размерностью (1). В силу монотонности как функции / размерность Рени уменьшается как функция степени и, поэтому, выполняется следующее неравенство: °2 < °0 = °. Таким образом, наибольшая нижняя граница Хаусдорфовой размерности °2 представима в виде

С М (I) ^

(4)

ln

D2 = lim-

Z P2

V *=!

l ^0

ln l

Принимая во внимание, что вероятность нахождения контрольной точки в i-ой ячейке Р оценивается как pi = lim Ni / N, где N есть общее число контрольных точек через

N

интервалы 1/Ь, и есть число точек в г-ой ячейке, формула (4) может быть рассчитана

из экспериментально измеренных длительностей сегментов. На практике наибольшую нижнюю границу размерности Б2 можно вычислить как тангенс угла наклона

линеинои регрессии следующих точек разных І.

ln

2_

N

(M (І) Л Л

Z N2 ;1п(і)

V і )

вычисленных при

Типичные длины образцов речи Ь представляют собой величины порядка (150...200)103 миллисекунд, но могут быть и больше. В качестве наименьшей ячейки /0 покрытия мы выбрали 103 миллисекунд, все последующие покрытия / были кратны этому 10. Вероятностные отношения N. / N вычислялись как отношения числа миллисекунд У-сегментов, попавших в г-ую ячейку, к общему числу миллисекунд данного образца речи. Для определения фрактальной размерности была написана подпрограмма (на языке Паскаль) к программе сегментации речи, так что при каждой сегментации сигнала с целью определения ритма мы автоматически получали оценку его фрактальной размерности.

Эти хаусдорфовы размерности для нормальной речи и для речи с нарушенным ритмом оказались равными: нормальный ритм: .02=0,85±стЕ =0,85±0,1; нарушенный

ритм: £>2=0,75±сте =0,75±0,03. Дробная размерность больше нуля для нарушенного

ритма ^2=0,75 есть доказательство его фрактальной природы. Можно показать, что

раннему периоду становления фонетики у детей соответствуют еще меньшие значения фрактальных размерностей [8].

Хаусдорфова размерность для ритма нормальной речи соответствует хаотической природе ритма. Это соответствие доказывается безмодельным способом с помощью энтропии Колмогорова.

Нами была предпринята попытка вычисления фрактальной размерности для У-ритмики музыки. Для вычисления были взяты фрагменты из произведений Вивальди и концерта №5 Паганини. Сегментация проводилась с помощью той же программы, которая использовалась для исследования речи. Полученные результаты представлены на рис. 1.

•Paganini

•Vivaldi

ln(///0 )

Рис. 1. Сравнение фрактальных размерностей У-ритмик музыки Вивальди и Паганини. Наибольшая нижняя граница размерности В2 определяется как тангенс угла наклона

( 1 (м(/) 2 ^ ^

линейной регрессии следующих точек I Р(/) = 1п—-1 £ N. |;1п(/ // ) I, вычисленных

I N2 ^ г =1 ) )

при разных /

Как видно из рисунка, наклон линейной регрессии, или фрактальная размерность V-ритмики музыки Вивальди, равна Т>2 « 0.5 , что больше соответствует У-ритмике речи с упрощенным, фрактальным ритмом, свойственным речи заикающихся. Фрактальная размерность для фрагмента из музыки Паганини оказалась еще меньшей: В2 « 0.3 , т. е.

У-ритмика музыки Паганини отстоит еще дальше от границы хаоса, чем музыка Вивальди, что соответствует более упрощенной ритмике данного фрагмента.

3.2. Колмогоровская энтропия или (в одномерном случае) показатель Ляпунова

Обобщим понятие информационной энтропии (энтропии Шеннона). По определению, энтропия Шеннона есть информация, которую мы получаем, узнав, что контрольная точка х0 находится в конкретном из п подинтервалов, на которые разбит единичный отрезок. Для этой информации мы имеем следующую формулу:

Обобщим эту формулу на рассматриваемый случай речевого «У»-ритма. Как оказалось, в случае «У»-ритма это обобщение допускает возможность экспериментальной оценки информационной энтропии. Рассмотрим отрезок ритма Т = (71,... , ТЫ) (У-элементы ритма упорядочены членами натурального ряда). Будем

совместная вероятность того, что элемент ритма Т1 (для определенности, его правая граница) находится в ячейке с номером г1, 72 находится в ячейке с номером г2 и так далее.

По аналогии с формулой (5), узнав, что ритмика системы находится в конкретном

По аналогии с одномерным случаем, определим величину информации, диссипируемую системой генерации ритма при п+ 1-ой итерации как /п - /п+1. Тогда

К-энтропию Колмогорова для ритмики можно определить как среднюю величину информации, генерируемой системой за одну итерацию:

Для удобства оценивания энтропии по экспериментальным данным вводят обобщенную конструкцию вида (так называемую энтропию Реньи):

(5)

следить за состоянием системы по мере разворачивания ритма. Пусть р . есть

разбиении 11,...,1п с ячейками длиной /, мы, при условии знания априорных вероятностей р . , получаем информацию:

1,"', п

(6)

I -1

1п X К-п • (8)

Нетрудно видеть с помощью правила Лопиталя, условия нормировки для вероятностей, а также с помощью факта монотонного убывания энтропия Реньи, как функции /, что справедливы следующие соотношения:

К1 = К и К^ < Кг при / < /'. (9)

Особо выделяется К2 как нижняя граница энтропии Колмогорова, причем эта

граница зачастую достаточно проста для вычислений (во всяком случае, в случае одномерной ритмики речи), так как легко проверить выполнение следующего равенства:

К2 =-НтНт- 1п £ Р1 ...,,■ =-11пг11т- 1пСя(/). (Ю)

I ——0 п—да п - п /—0 п—да п

11г’1п

Причем, в качестве корреляционного интеграла Сп (/) может служить в случае речевой ритмики следующая величина, являющаяся обобщением определения корреляционного интеграла ( N — общее число элементов ритмики) [5]:

1 N

СЛ0 = 1—тда -2Х в(/-п:п> - Т<">|). (11)

1=1, ]=1

Для прояснения термина «корреляционный» в определении корреляционного интеграла рассмотрим колебательную систему с аттрактором типа предельного цикла размерностью 1. Любая пара точек на этом предельном цикле, будет, очевидно, демонстрировать сильную корреляцию. С другой стороны, если пара точек относится к процессу с хаотической динамикой, то тогда, по определению, интервал между этими точками должен увеличиваться экспоненциально со временем из-за положительности показателя Ляпунова. Естественно, корреляция такой пары точек должна быть значительно меньше, чем в случае периодического движения.

В этом случае отклонение Сп (/) от нуля будет служить уже мерой влияния вектора

элементов ритмики Т(п) = (Т, Т1+1,...,Т+п) на остальные векторы Т;(п) = (Т}., Т;.+1,..., Т;.+п) (1 ^ ]), а не одиночного элемента ритмики на остальные элементы, как предусматривалось обычным определением.

Так как физический смысл обобщенного корреляционного интеграла Сп (/) допустимо трактовать (в соответствии с формулой для корреляционной размерности

Я = Пт —[С( )] , получаемой по аналогии с формулой для хаусдорфовой размерности)

1—01п / \

как обобщение на п-мерный случай соотношения С(/) ~ (/)Я , где Я — корреляционная

размерность области фазового пространства соответствующей ритмики речи, то есть, как Сп (/) ~ (/)пК, то допустимо и выполнение следующего равенства:

П+1

с„,(/)=С/ (I). (12)

Используя прологарифмированное равенство (12), равенство (10) можно переписать в следующем виде:

К2 =-1іт1іт11п С (I) = 1іт1іт1п

2 і п П V / 7

I ^0 п^да п 1^0 п^да

С„ (I)

С„+і(І)

(13)

В случае речевой ритмики выражение (13) с помощью формулы (11) допускает построение довольно простого алгоритма компьютерного вычисление нижней границы энтропии Колмогорова К2 из экспериментальных данных. Фактически формула (13)

совместно с формулой (11) в случае конечной экспериментальной выборки представляет собой сжатую формулировку алгоритма. На рис. 2а и 2Ь приведены типичные результаты для оценки энтропии Колмогорова, получаемые нами для У-ритмики нормальной речи (рис. 2а) и участков речи, содержащих только нарушения плавности, возникающие в результате заикания (рис. 2Ь).

а) Ь)

Рис. 2. Оценки снизу для энтропии Колмогорова для различных п и /

Из рисунка видно, что при п ^ да и / ^ 0 энтропия Колмогорова для нормальной речи положительна и конечна. Это соответствует детерминированной хаотичности ритмики плавной речи. Для участков речи с нарушенным ритмом нижняя граница энтропии Колмогорова отрицательна, что, в принципе, допускает нулевое значение энтропии Колмогорова, а тем самым, допускается наличие периодических форм движения с нулевой информационной энтропией. Поскольку энтропия Колмогорова представляет собой информацию, генерируемую системой, то приведенные выше рассуждения позволяют характеризовать хаос, как состояние, в котором система «генерирует», или «диссипирует» информацию.

Таким образом, анализ структуры сегментированной речи показывает, что эта структура имеет хаотическую природу для нормальной речи и квазипериодическую фрактальную структуру для случая нарушенного ритма. Это заключение заставляет нас искать такую математическую модель процесса генерации ритма, которая, во-первых, имела бы как хаотический, так и фрактальный квазипериодический динамический режим.

4. МОДЕЛЬ РЕЧЕВОГО V-РИТМА

Во-первых, для того, чтобы удовлетворить первому условию, вспомним, что хаусдорфова размерность есть D2 = 0,75 для ритма при заикании и D2 = 0,85 для ритма

нормальной речи. Таким образом, выполняется довольно хорошее согласие наших результатов с теоретическими оценками хаусдорфовых размерностей для логистического отображения yn+l = ryn(1 - yn); (yn e[0,1]), найденных в [6, стр. 121] для

зоны бифуркаций и для зоны хаоса соответственно. Можно также показать, что определенные по таким размерностям индексы критичности задачи согласуются с постоянными Фейгенбаума для логистического уравнения. Кроме того, именно такие области наилучшей корреляции теоретического и экспериментального ритма мы наблюдали в зоне хаоса для нормальной речи, в то время как профиль такой корреляции при нарушенном ритме ярко выражен всплеском в бифуркационной зоне, рис. 3).

2 2.5 3 3.5 4

Управляющий параметр r

Рис. 3. Сравнение профилей коэффициента корреляции модели и экспериментальных

данных на материале первой синтагмы.

Сплошная кривая — речевая фонация испытуемого с нормальной речью (К. Л.); пунктирная кривая — речевая фонация испытуемого, страдающего заиканием (В.В.); тройная вертикальная — граница между зоной хаоса (справа) и зоной бифуркаций

(слева)

10

(10)

ЗАКЛЮЧЕНИЕ

В работе экспериментально установлено, что длительности сегментов речи генерируются для нормальной речи в фрактальном иррегулярном, хаотическом режиме, а при нарушении ритма вследствие заикания — в фрактальном квазиосцилляционном режиме. Экспериментальное исследование фрактальной размерности музыки показало, что ритм музыки соответствует формам ритма, характерным для начального этапа становления фонетики у детей. Можно предположить, что именно в этом кроются причины того, что восприятие как музыки, так и примитивной фонетики младенцев не зависит от языка, на котором говорит слушатель. Строение примитивных ритмов позволяет воспринимать звуки лишь эмоционально, но не на семантическом уровне. И только тогда, когда ритм приобретает иррегулярные черты, т. е. черты детерминированного хаоса, возможно семантическое, специфически языковое восприятие акустических ритмических последовательностей.

ЛИТЕРАТУРА

[1] Feigenbaum M. J., Kadanoff L. P., Shenker S. J. Quasi periodicity in dissipate systems: renormalisation group approach. Physica, 1983, vol. 5D, 239-248.

[2] Скляров О. П. Элементы теории ритма речи на основе физической феноменологии его нарушений. Автореф. дисс... доктора физ.-мат. наук. Санкт-Петербургский Университет, СПб, 1999.

[3] Skljarov O. P. Neurodynamical Route to Chaos and Normal Speech vs. Stuttering. Proceedings of Int. Conf. “Control of Oscillations and Chaos”, St. Petersburg, 2000, 449-452.

[4] Заславский Г. М., Сагдеев Р. З. Введение в нелинейную физику: от маятника до турбулентности и хаоса. М.: «Наука», 1988.

[5] Шустер Г. Детерминированный хаос. М., «Мир», 1988.

[6] Скляров О. П. V/U-ритм речи при чтении как индикатор состояния функции речевого дыхания у заикающихся. Электронный журнал «Техническая акустика», http://webcenter.ru/~eeaa/ejta, 2004, 16.

[7] Grassberger P., Procaccia I. On the Characterization of Strange Attractors, Phys. Rev. Lett., 1983, vol. 50, 346-354.

[8] Скляров О. П. Онтогенез речи и сценарий развития ее V-ритмов. Электронный журнал «Техническая акустика», http://webcenter.ru/~eeaa/ejta, 2004, 7.