Автоматическое распознавание элементарных речевых единиц методом обеляющего фильтра Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

Библиографический список

1. Возенкрафт Дж., Джекобс И. Теоретические основы техники связи. М.: Мир, 1969. 638 с.

2. Помехоустойчивость и эффективность систем передачи информации / Под ред. А. Г. Зюко. М.: Радио и связь, 1985. 272 с.

A. S. Chernyshev

Novgorod state university named after Jaroslav the Wise Iterative algorithm for spherical codes computing

Binary and spherical codes characteristics were compared. Two modifications of spherical codes computing algorithms were described. Characteristics of resultant spherical codes are listed.

Spherical codes, sphere packing, sphere-surface packing, ensemble of noiseproof signals Статья поступила в редакцию 6 июля 2006 г.

УДК 621.372:519.72

В. В. Савченко, Д. Ю. Акатьев, Н. В. Карпов

Нижегородский государственный лингвистический университет

Автоматическое распознавание элементарных речевых единиц методом обеляющего фильтра

Исследованы возможности метода обеляющего фильтра и принципа минимума информационного рассогласования по Кульбаку-Лейблеру в задаче распознавания элементарных речевых единиц. Предложен алгоритм с нормированием речевых сигналов по дисперсии порождающего шума в их авторегрессионной модели, в котором учтены особенности голосового механизма человека. На конкретном примере из практики распознавания десяти фонем, принадлежащих как к гласным, так и различного вида согласным звукам, показано, что достигаемый эффект состоит в существенном (в несколько раз) уменьшении вероятности ошибки.

Автоматическое распознавание речи, элементарные речевые единицы, алгоритм с нормированием речевых сигналов, информационное рассогласование, вероятность ошибки

Большинство современных методов автоматического распознавания речи (АРР) основывается на процедуре предварительного сегментирования сигналов на короткие отрезки данных [1]. В результате задача сводится к поэтапному распознаванию речи. На первом, базовом этапе распознаются элементарные речевые единицы (ЭРЕ) типа отдельных фонем. На втором, заключительном этапе распознаются слова, фразы и целые тексты как соответствующим образом структурированные последовательности разных ЭРЕ. Таким образом, задача распознавания ЭРЕ является ключевой при АРР. В рамках универсального байесовского подхода указанная задача обычно формулируется как задача статистической классификации. Решению данной задачи посвящено множество работ. Одним из наиболее перспективных инструментов для ее решения является принцип минимума информационного рассогласования (МИР), подтвердивший свою эффективность на целом ряде примеров из практики. Это было показано, в частности в работах [2], [3], при решении задачи распознавания речи по каждому слову целиком. В предлагаемой статье дается

© Савченко В. В., Акатьев Д. Ю., Карпов Н. В., 2007 35

развитие данного принципа на задачи распознавания отдельных фонем при учете их неравноценного значения в слитной речи.

Метод обеляющего фильтра. Исходным пунктом при обосновании метода обеляющего фильтра (МОФ) служит авторегрессионная модель (АР-модель) наблюдений, которая описывает множество анализируемых сигналов X, или рабочий словарь {Хг} объемом Я > 1, следующей зависимостью:

к

хг (п +1) = ^ аг (г) хг (п - г +1) + ег (п +1), г = 1, Я, (1)

г =1

где х (п +1) - значение (п +1) -го отсчета речевого сигнала; к - порядок АР-модели; аг (г) - компоненты вектора АР-коэффициентов речевого сигнала аг; ег (п +1) - порождающий процесс типа "белого" шума с нулевым значением математического ожидания и фиксированной дисперсией аг . При этом вычисление АР-коэффициентов, или настройка АР-моделей (1), производится по классифицированным выборкам наблюдений в расчете на минимизацию ошибок линейного предсказания по дисперсиям.

В работе [2] показано, что при гауссовском распределении сигналов Рг = N (Кг ), где

Kr - матрица автокорреляции размера n х n, n > 1, r = 1, R, выражение для оптимального решающего правила в задаче R-альтернативной статистической классификации анализируемой выборки X = {xm} сводится к виду

Wv (X): V (X) = g? (X V а? + ln а? r=v = min; (2)

где а2г (X) = (1/М) £ [у(т} (X)]2 ; = [ГТК-1Г] 1; М- объем выборки;

т=1

Утг (X) = АТгХт (3)

- отклик декоррелятора г-го канала на сигнал X; Г = со1п(1, 0, ..., 0) - вектор-столбец размера п, составленный из нулей, за исключением единицы на первой позиции; Аг =

= [1, -аг ], аг К-^Т - вектор коэффициентов авторегрессии; символы Т и -1 обозначают операции транспонирования векторов и обращения матриц соответственно.

Согласно (2) решение (X) принимается в пользу гипотезы : Р = Ру, у< Я

при условии минимизации взвешенной с коэффициентом 1/ о^ и смещенной на величину

1п () выборочной дисперсии о^ (X) отклика декоррелятора у-го канала (3), структура которого однозначно определяется вектором коэффициентов авторегрессии Ау. Это стандартная формулировка МОФ в задачах распознавания образов [2], [3], причем в качестве базы априорных данных для АРР (набора эталонов) используют Я оценок векторов АР-коэффициентов аг заданного порядка к, а также соответствующие им дисперсии по-

2 -

рождающих процессов ог , г = 1, Я.

36

Эффективность МОФ (2) может быть охарактеризована набором условных вероятностей перепутывания каждого у-го и г-го сигналов:

ау г = Р{Жг (X)|Жу} = Р(Ху (Ху ) >К (Ху )}, V, г = 1~Я, V ф г .

К сожалению, строгий анализ данной зависимости в общем случае наталкивается на значительные трудности вычислительного характера. Поэтому упростим задачу, сведя ее к асимптотическому случаю. Известно [4], что выражение (2) с точностью до некоторой константы воспроизводит в асимптотике при п ^ да удельную (приходящуюся на один отсчет данных)

величину информационного рассогласования (ВИР) I (Р| Рг) эмпирического гауссовского распределения Р = N (8х ) относительно г-й гипотезы Рг = N (Кг ) по Кульбаку-Лейблеру, т. е.

V (X )

>(р1 рг )

= п

-1

1г ( 8 ХК- ) - 1п

8 хКг 1

- п

= 2п~11 (Р| Рг ),

(4)

где 8х - оценка максимального правдоподобия автоковариационной матрицы анализируемого сигнала X; р (Р| Рг) - удельное информационное рассогласование; 1х (•) - опера-

ция определения следа матрицы. В таком случае будем иметь

Уу, г < Я: ауг =.

Р {р ( Р| Ру ) >р ( Р| Рг )

^ .

(5)

у,г Iк\|Аг

Рассмотрим отдельно каждый из элементов под знаком вероятности Р {•} в выражении (5). Известно [5], что при справедливости гипотезы и ограниченном порядке АР-модели

(1) статистика 21 (Р| Рг) = у]т1ь с точностью до делителя Ь = (3М - к )/ 3 асимптотически (при М » 1) распределена как Хт -случайная величина Пирсона с т = к (к +1)/2 степенями свободы. Ее удельная величина р (Р| Рг) = ^1^ распределена аналогичным образом с коэффициентом пропорциональности й-1 = (кЬ ) 1 . С другой стороны, при М ^ да вы-

полняется асимптотическое равенство р (Р| Рг) информационного рассогласования [4]:

п. н.

р (Ру| Рг ) к величине удельного

р(Р|Рг) = 0.5Га2 (Ху ) а;: + 1п(а^а2 )-1

(6)

между распределениями у-го и г-го сигналов. На основании изложенного в первом приближении (5) будем иметь

а = Р

^у г

Х2т > йР (Р1 Рг )

V, г = 1; Я, уф г .

(7)

В практически интересном случае т »1 величина Хт1й хорошо аппроксимируется N(т/й, 2т/й2) = N (т, 2т2/т), где т = т/й - его математиче-

гауссовским законом

1 Символ "п. н." обозначает сходимость с вероятностью единица ("почти наверное").

ское ожидание (МО). В результате вероятность перепутывания (7) может быть переписана следующим образом:

а уг = 0.5 (1 -Ф {[р ( Ру| Рг ) - т ]/^2т 2/т}), (8)

| г /

где Ф{-} - интеграл вероятности, или функция Лапласа, значения которой подробно табулированы [6]. При любом фиксированном числе степеней свободы т вероятность пере-путывания у-го и г-го сигналов (8) однозначно определяется МО минимальной решающей

статистики (4), а также величиной их информационного рассогласования р (Ру| Рг). Чем

это рассогласование меньше, тем больше вероятность ошибки ау г .

Пример практического применения. В работе [2] была рассмотрена актуальная в прикладной информатике задача автоматического распознавания десяти слов - числительных: "ноль", "один", ..., "девять" МОФ по каждому слову целиком, т. е. без разбиения слов на короткие сегменты данных. Полученные в данной работе результаты в целом позволяют характеризовать МОФ как достаточно эффективный инструмент для АРР. Поэтому представляет несомненный интерес развитие полученных ранее результатов и сделанных выводов на задачу АРР с посегментной обработкой данных. Именно в такой постановке указанная задача реализована в большинстве программных и технических разработок. С этой целью поставлен и проведен эксперимент по автоматической обработке и распознаванию десяти наиболее характерных фонем: гласных "а", "и", "о", "э", взрывных согласных "б", "р", назальной "н" и шипящих "ф", "ш", "щ".

Для каждой фонемы на этапе подготовки данных было сформировано 20 файлов данных по двадцати ее независимым реализациям, полученным от одного диктора в разное время и в существенно разных условиях. При этом использовались бытовой микрофон, персональный компьютер марки РЕКТШМ-4 и встроенный АЦП с частотой дискретизации 8 кГц, согласованной по теореме Котельникова с полосой частот стандартного телефонного канала связи. Каждая реализация нормировалась по своей средней мощности к некоторому фиксированному уровню. В результате был сформирован экспериментальный словарь (ЭС) X = {хг ^, г = 1, 10, у = 1, 20}.

*

Из этого словаря для каждой фонемы был выбран один массив хг в качестве ее эталонной реализации длиной 240 отсчетов (0.03 [с] х 8000 [Гц]). При этом в каждом случае

выбирались наиболее типичные (на слух и на вид) реализации. В результате был сфор-

* ( * -)

мирован словарь эталонов (СЭ) X = | хг рез, г = 1, 10|. В соответствии с формулировкой МОФ (2) по каждому массиву данных из СЭ были рассчитаны вектор коэффициентов авторегрессии аг порядка к = 10 и дисперсия порождающего шума аг . В расчетах применялась рекуррентная процедура Берга-Левинсона [7]:

п-1

-2

ат,г (г) = ат-1,г (г) + ст,гат-1,г (т - г), г = 1 т ; ст,г = ^т-1 Е Пт-1 (*)ут-1 (* -1);

t=т

n-1

S,

m-1,r

= 0.5 (n - m) 1 £ [nm-l (t) + vm-l (t-1)] ; Пт (t) = Пт-l (t) - cm,rvm-1 (t -1) ; t=m

vm (t) = vm-1 (t -0 - cm,rnm-1 (t), t = 0 1 n -1;

2 Л 2 \ 2 2 _ e2 _ГТ

am,r - ^ - cm,r ) am-1,r, a0,r - S0,r, m - 1 k

при ее инициализациях системой равенств Уд (}) = По -1) = х* ^), г = 1, Я . Финальные

значения рекурсий аг = г (г), г = 1, к}; аГ = а| г , г = 1, Я и определили в конечном счете

базу априорных данных для АРР по МОФ. На этом завершился этап подготовки данных.

С использованием сформированного ЭС последовательно по каждой фонеме извлекались все 20 ее реализаций хг у, у = 1, 20. Для каждой реализации согласно выражению

(3) рассчитывались отклики десяти настроенных на эталоны обеляющих фильтров. После этого принималось решение в пользу одной из десяти гипотез (2) по критерию минимума решающей статистики (4). Принятые решения на множестве из 20 независимых реализаций давали оценку вероятности правильного распознавания каждой фонемы. Полученные результаты сведены в табл. 1, из которой видно, что наихудший результат получен при распознании фонемы "а", причем три реализации данной фонемы были перепутаны с фонемой "р" и одна - с "ф". Это хорошо согласуется с данными теоретического анализа.

По формуле (6) с использованием СЭ была получена оценка ВИР для фонем "а" и "р", равная 0.784. Подставив ее в формулу (8), в которой т = 55, т = 0.671, будем иметь ау г = 0.5[1 -Ф(0.867)] = 0.19. Отметим, что полученный результат существенно хуже

аналогичных результатов при распознавании целых слов [2]. В этом состоит главная особенность автоматического распознавания ЭРЕ: их спектральный состав значительно беднее спектра мощности целого слова. Для решения данной проблемы предложена новая модификация МОФ, рассмотренная далее.

Модифицированный МОФ. При решении задачи автоматического распознавания ЭРЕ необходимо учитывать, что разные фонемы вносят существенно разный вклад в формирование слитной речи: одни фонемы доминируют над другими по времени и интенсивности своего звучания. Как правило, наиболее интенсивными являются гласные и звонкие согласные звуки, а все остальные фонемы играют вспомогательную роль. На основании этого свойства сформулирована идея нормировать каждую фонему по дисперсии порождающего шума в ее АР-модели наблюдений

(1), т. е. Vr < R Оу = const. В результате средняя мощность сигналов разных ЭРЕ будет сильно различаться в зависимости от их характера - строго в соответствии с человеческим механизмом формирования речи. По сути, здесь используется дополнительная информация о структуре фонетиче-

Таблица 1

Входной сигнал Относительная частота распознавания Входной сигнал Относительная частота распознавания

а 0.8 р 1.0

и 1.0 н 0.85

о 1.0 ф 1.0

э 1.0 ш 1.0

б 0.9 щ 1.0

ской базы данных каждого языка: при произнесении человеком отдельных слов интенсивность воздушного потока из его легких в гортани на интервалах в несколько десятков миллисекунд почти не меняется.

При равенстве аг = 1 формулировка МОФ (2) примет вид

(X): Хг (X) = а2 (X)

Г =У

= Ш1П .

(9)

т. е. решение принимается по критерию минимума дисперсии откликов системы обеляющих фильтров (3). Такой алгоритм впервые предложен в работе [4] для решения задачи распознавания АР-сигналов общего вида (1). Его возможности в задаче АРР рассматриваются далее.

Отметим, что согласно (4) и (6) дисперсия отклика г-го обеляющего фильтра на нормированный у-й сигнал Ху = Ху| с точностью до множителя 0.5 и константы 1 определяет величину информационного рассогласования по Кульбаку-Лейблеру между у-м и г-м сигналами. Это новый результат в теории гауссовских аппроксимаций при АРР.

Эффективность модифицированного алгоритма (9) была исследована экспериментально по предыдущей схеме вычислений с применением сформированных ранее ЭС и СЭ. Полученные результаты сведены в табл. 2, из которой видно, что частота ошибок при распознавании фонемы "а" здесь сократилась до нуля, сравнявшись с частотой ошибок при распознавании всех других фонем.

Сделанный вывод имеет ясное физическое обоснование: введенная нормировка ЭРЕ по дисперсиям порождающего шума приводит к уменьшению вариаций ВИР (6) в пределах множества различных реализаций каждой фонемы. Это видно из сравнения матриц ВИР (табл. 3 и 4, в которых представлены значения ВИР для десяти (пронумерованы от 0 до 9) типичных реализаций фонемы "а" в отсутствие нормировки к единичному уровню по дисперсии порождающего шума (табл. 3) и при введении этой нормировки (табл. 4)). В таблицах жирным шрифтом помечены максимальные значения ВИР в каждом случае для наиболее проблемных реализаций.

На главной диагонали обеих таблиц имеем нулевые значения ВИР - признак эквивалентности сигналов в теоретико-информационном смысле. Вне главной диа-

Таблица 2

Входной сигнал Относительная частота распознавания Входной сигнал Относительная частота распознавания

а 1.0 р 1.0

и 1.0 н 1.0

о 1.0 ф 1.0

э 1.0 ш 1.0

б 0.95 щ 1.0

Таблица 3

Номер Номер анализируемой реализации

реализации -эталона 0 1 2 3 4 5 6 7 8 9

0 0 0.1477 0.229 0.15668 0.3017 0.3411 0.2953 0.3263 0.0875 0.176

1 0.2614 0 0.11756 0.49258 0.6506 0.3031 0.2163 0.4130 0.3025 0.219

2 0.4981 0.1925 0 0.50823 0.7599 0.2010 0.1745 0.2103 0.6490 0.276

3 0.2849 0.3981 0.23599 0 0.5028 0.2149 0.3169 0.1986 0.4027 0.242

4 0.6240 1.0091 0.69011 0.46537 0 0.4386 0.3956 0.2602 0.3159 0.158

5 0.9329 0.7720 0.26703 0.31789 1.1101 0 0.3560 0.2022 0.8875 0.332

6 0.7315 0.4829 0.16918 0.75056 0.4012 0.2107 0 0.1622 0.4709 0.168

7 0.1256 0.2646 0.47543 0.48001 0.6267 0.2098 0.255 0 0.9719 0.258

8 0.0885 0.1997 0.231 0.23848 0.2156 0.2954 0.2175 0.3006 0 0.119

9 0.5163 0.7347 0.37764 0.34581 0.2898 0.1864 0.1878 0.1422 0.2224 0

Таблица 4

Номер Номер анализируемой реализации

р еализации -эталона 0 1 2 3 4 5 6 7 8 9

0 0 0.3975 0.51281 0.2158 0.1712 0.2319 0.3379 0.2623 0.2024 0.125

1 0.2655 0 0.44206 0.2357 0.3617 0.2032 0.2877 0.2698 0.3088 0.310

2 0.8154 0.5149 0 0.54974 0.4786 0.2642 0.2682 0.1635 0.2500 0.809

3 0.2396 0.2013 0.67364 0 0.3133 0.213 0.4123 0.2807 0.3028 0.139

4 0.1721 0.6095 0.26079 0.22877 0 0.1761 0.2348 0.1633 0.1732 0.143

5 0.3974 0.2867 0.31056 0.19566 0.2019 0 0.4082 0.1940 0.1025 0.382

6 0.2247 0.2691 0.23669 0.29475 0.2094 0.2742 0 0.0714 0.2567 0.272

7 0.3949 0.2856 0.19107 0.20351 0.1929 0.1507 0.0862 0 0.0959 0.414

8 0.5855 0.5439 0.27322 0.30384 0.2401 0.1256 0.3438 0.1065 0 0.547

9 0.0901 0.4745 0.49755 0.15999 0.2096 0.2397 0.3624 0.2979 0.2452 0

гонали значения ВИР отличается от нуля тем больше, чем больше различия между сигналами. Чем больше ВИР в каждом отдельном случае, тем больше вероятность соответствующих ошибок при распознавании сигналов [2], [3].

На основании проведенного исследования могут быть сделаны следующие выводы.

Главной отличительной особенностью фонетической базы данных любого языка, включая русский, является существенно неравноценное значение различных фонем с точки зрения формирования на их основе слитной речи. Наибольшее значение в этом смысле имеют фонемы гласных звуков, которым соответствуют максимальная частота или суммарное время звучания в тексте. Напротив, фонемы шипящих, взрывных и подобных звуков, носящих нерегулярный, шумоподобный характер, влияют на распознавание слитной речи в значительно меньшей степени, так как время их звучания в речи существенно меньше. Указанная неравноценность ЭРЕ связана, в свою очередь, с особенностями механизма формирования человеческой речи: фонемы шумоподобного вида звучат значительно слабее всех остальных фонем. Здесь можно говорить о природной, биологической нормировке ЭРЕ по количеству содержащейся в них информации: чем выше степень регулярности их структуры (гласные и звонкие согласные звуки), тем ниже их энтропия и тем, следовательно, больше должна быть их сила звучания. Именно такой природный механизм и реализован в предложенной модификации МОФ (9) с нормированием речевых сигналов по дисперсии порождающего шума. При гауссовской аппроксимации речевых сигналов логарифм от этой дисперсии определяет с точностью до некоторой константы удельную величину шеннонов-ской энтропии каждого сигнала как исчерпывающую характеристику его информационной емкости. Таким образом, отмеченные преимущества МОФ в задаче автоматического распознавания ЭРЕ являются следствием более полного использования в нем по сравнению с другими методами особенностей человеческого механизма формирования речи.

Библиографический список

1. Picone J. Signal modeling techniques in speech recognition // Proc. of the IEEE. 1993. Vol. 81, № 9. P. 1215-1246.

2. Савченко В. В. Автоматическая обработка речи по критерию минимума информационного рассогласования на основе метода обеляющего фильтра // Радиотехника и электроника. 2005. Т. 50, № 3. С. 309-315.

3. Akatiev D. Y., Savchenko V. V. Autoregressive model for recognition of speech signals based on theoretical information approach // VI Int. Congress on Math. Modeling, Nizhniy Novgorod, 20-26 sept. 2004. N. Novgorod: N. Novgorod University, 2004, P. 347-348.

4. Савченко В. В. Различение случайных сигналов в частотной области // Радиотехника и электроника.

1997. Т. 42, № 4. С. 426-431.

5. Кульбак С. Теория информации и статистика. М.: Наука, 1967. 408 с.

6. Мюллер П., Нойман П., Шторм Р. Таблицы по математической статистике // Пер. с нем; Под ред.

В. М. Ивановой. М.: Финансы и статистика, 1982. 278 с.

7. Марпл С. Л.-мл. Цифровой спектральный анализ и его приложения. М.: Мир, 1990. 584 с.

V. V. Savcenko, D. Y. Akatiev, N. V. Karpov

Linguistic university of Nizhniy Novgorod

Automatic recognition of elementary speech units by the white-wash filter method

The possibilities of using the white-wash filter method and the principle of the minimal information mismatch in Kullback-Leibler are investigated to solve the problem of recognition of elementary speech units. The new algorithm which normalizes the speech signals in accordance with the generative noise in their autoregressive model is offered. The algorithm takes into consideration the peculiarities of the man's speech production. The concrete example taken from the practice of the recognition of tenth vocals and consonants of different types showed that the achieved effect consists in a considerable reduction of probability to make a mistake.

Automatic speech recognition, elementary speech units, algorithm which normalizes the speech signals, informative

mismatch, the possible false choice

Статья поступила в редакцию 13 сентября 2006 г.