CC BY
1584
Метод классификации речевых сигналов с использованием адаптивного признакового описания на основе вейвлет-преобразования и генетического алгоритма
Сорока А.М., Ковалец П.Е., Хейдоров И.Э.
В статье представлен метод построения признакового описания на основе адаптивной базовой вейвлет-функции, использование которого позволяет повысить различительную способность признакового описания. Предложен многоэтапный метод классификации фонем русского языка с использованием полученных адаптивных вейвлет-функций, учитывающий способ образования фонем и позволяющий повысить точность классификации фонем.
• вейвлет-преобразование • векторов • классификация • алгоритм
вектор признаков • речевые сигналы
метод опорных • генетический
In this paper it is proposed the original method of adaptive feature vector construction for speech signals based on wavelet transform and support vector machines (SVM) in order to increase feature resolution power. The multistep Russian phoneme classification method that utilizes the adaptive feature construction method and leads classification accuracy increasing is proposed.
• wavelet transformation • feature vector• support vector machine
• speech signals • genetic algorithm
Введение
Классификация акустических сигналов — актуальная задача в области цифровой обработки сигналов, которая включает классификацию музыкальных композиций, анализ речевых сигналов, распознавание патологий голосового тракта и др. Методы решения данных задач, как правило, включают два
этапа — первичная обработка сигнала, в ходе которой строится признаковое описание сигнала, и непосредственно классификация акустических сигналов [1]. Выбор вектора признаков является важным этапом решения задачи распознавания аудиосигналов. В настоящее время существует множество различных алгоритмов признакового описания. Наиболее широко используемыми являются признаки на основе MFCC, LPC, DCT[1].
Вейвлет-преобразование [2] широко используется в задачах цифровой обработки сигналов, в частности, для первичного анализа акустических сигналов в различных задачах классификации. Данное преобразование позиционируется как средство анализа в первую очередь нестационарных сигналов, так как позволяет получить оптимальное частотно-временное разрешение, что, в свою очередь, позволяет локализовать малые изменения сигнала как в частотной, так и во временной областях.
Показано, что различительную способность признакового описания можно существенно улучшить, если оптимизировать параметры построения признакового описания для решаемой задачи классификации [3, 4]. Оптимизацию параметров алгоритма построения признакового описания можно осуществить с использованием численных методов оптимизации, в частности широко используется генетический алгоритм [5, 6, 3].
Другой подход, который позволяет улучшить признаковое описание — агрегация признаков, полученных с использованием различных подходов, однако, это ведёт к существенному увеличению размерности признакового пространства, в результате чего пространство становится разреженным, что, в свою очередь, ухудшает точность последующего статистического анализа и распознавания [7]. Для преодоления данной проблемы предлагается уменьшать размерность признакового пространства, исходя из предположения о том, что многие признаки обладают невысокой информационной ценностью [8-12]. Такой подход обладает некоторыми очевидными недостатками:
• возможна потеря информации о сигнале, которая может быть значимой для дальней-
шего анализа;
• вектора признаков могут быть распределены в пространстве признаков с большим
перекрытием кластеров схожих аудиосигналов, что требует использования сложных нелинейных классификаторов.
В данной статье предлагается новый подход к построению признакового описания на основе вейвлет подобного преобразования с базовой функцией, построенной с использованием генетического алгоритма. В отличие от рассмотренных методов, предлагается оптимизировать не отдельные параметры заданного вейвлета, а непосредственно форму базисной вейвлет-функции. Предлагаемый метод позволяет получить признаковое описание, которое является оптимальным с точки зрения последующей классификации, что позволит упростить распознавание сигнала и в вырожденном случае использовать линейный классификатор.
Метод построения адаптивной вейвлет-функции на основе генетического алгоритма и метода опорных векторов
Вейвлет-преобразование представляет собой интегральное преобразование [2], которое задаётся функцией двух переменных:
(1)
85
■Рчг?* Сорока А.М., Ковалец П.Е., Хейдоров И.Э. Метод классификации речевых сигналов с использованием адаптивного признакового описания на основе вейвлет-преобразования и генетического алгоритма
86
где 8(1) — анализируемый сигнал, — вейвлет-функция, а — масштаб, т — сдвиг во времени.
Предположим, что существует вейвлет-функция которая описывается набором параметров р и позволяет локализовать значимые коэффициенты вейвлет-преобразования W (а,т) таким образом, чтобы обеспечить наилучшее разделение заданных классов в признаковом пространстве. Для оценки распределения векторов в признаковом пространстве будем использовать линейный классификатор на базе метода опорных векторов [13]. Для случая бинарной классификации данный^етод позволяет построить оптимальную разделяющую гиперплоскость (Ь , х ) -Ь0=0, максимизируя при этом расстояние между разделяющей гиперплоскостью и границами классов. Решающее правило для такого классификатора описывается выражением:
a(x*) = sign«!), x* > -b„).
(2)
С использованием вейвлет-преобразования (1) построим набор признаковых описаний X = {х |1=1...К} для речевых сигналов двух различных классов, точная классификация с(Х^ = {—1;1} которых известна. С использованием процедуры кроссвалидации построим решающее правило с использованием (2). Для этого разделим множество X на К непересекающихся подмножеств {X |Х = Х1иХ2и ...иХ,; ХЛХ = 0; 1 =1...К, ) =1...К; при этом каждое подмножество Х содержит п, векторов признаков. Обучим набор классификаторов
^ (!) | k = 1...K},
(3)
используя набор векторов признаков Х1 - Х\Хк. В качестве целевой функции будем использовать среднюю точность классификации набором классификаторов (3):
г ^
^ОО + с(х)|
f =
(4)
Для построения требуемой адаптивной вейвлет-функции необходимо найти вектор р . = (р р2 ...рп ), р.еЯ, задающий вейвлет-преобразование W( а, т) такой, что f и тах.
Для построения функции вейвлет-преобразования, адаптированной для классификации исследуемых акустических сигналов, используем численные методы оптимизации. В качестве метода оптимизации целевой функции выберем генетический алгоритм [14], поскольку он обладает рядом достоинств, важнейшими из которых являются:
• возможность нахождения глобального экстремума целевой функции;
• скорость схождения;
• возможность распараллеливания алгоритма, что позволяет существенно
сократить время расчёта, при использовании современных систем параллельной обработки данных.
Генетический алгоритм оперирует вектором р* опосредствованно через после-
~ _ ~ qп ), которую в теории называть хромосомой.
довательность кодовых символов q = (q1,q2 ... эволюционных методов оптимизации принято
Хромосома д однозначно определяет вектор параметров р , при этом:
♦ каждый параметр р,,1 е1..^ описывается соответствующим геном q¡,ie1...N ;
♦ каждый ген q¡,iе 1...N состоит из М аллелей, которые выбираются из конечного мно-
жества. Для удобства реализации генетического алгоритма используется конечное множество аллелей {0,1}.
Для построения адаптивной функции вейвлет-преобразования зададим временное представление искомой функций параметрической кривой, а именно сплайном Акимы [15]. Данный выбор параметрической кривой обусловлен, во-первых, тем фактом, что результирующая кривая проходит через все точки; во-вторых, устойчивостью сплайна Акимы к локальным выбросам — у данного сплайна практически отсутствуют осцилляции кривой вблизи точек выброса, в отличие от кубических сплайнов [15]. Данное свойство сплайна Акимы является значимым, так как любые дополнительные осцилляции ухудшают локализацию вейвлет-функции в частотной области. Сплайн задаётся набором ординат базовых точек р(п) = {р. , 1 = 1...К}, где значение р1 кодируется геном д. , причём р.е [-1...1]. Так как геном состоит из конечного числа аллелей, соответственно значения кодируются с некоторой точностью е. В таком случае максимальное количество значений, которое может кодироваться геном д. , описывается выражением:
Минимальное количество аллелей в гене, необходимое для кодирования всех значений, составляет: ) = [ 1о§2 (тах(р. )-т1п(р. )/е)].
Операции мутации и кроссовера в данном случае являются тривиальными [14], так как любая комбинация аллелей является легитимной.
В качестве алгоритма отбора особей для формирования следующей популяции используется алгоритм элитарного отбора, поскольку данный алгоритм обеспечивает более высокую скорость схождения при решении задачи оптимизации вейвлет-функции в сравнении с методами рулеточного или турнирного отборов [14]. Блок-схема разработанного метода построения адаптивной вейвлет-функции с использованием генетического алгоритма представлена на рис. 1.
Рисунок 1. Блок-схема разработанного метода построения адаптивной вейвлет-функции
87
Решением сформулированной выше задачи оптимизации является вектор параметров p*, описывающий адаптивную вейвлет-функцию, локализующую значимые вейвлет-коэффициенты в заданной полосе масштабов, что позволяет повысить различительную способность признакового описания.
В качестве одного из преимуществ построенной адаптивной вейвлет-функ-ции является тот факт, что она учитывает динамику сигнала на всём протяжении, поскольку на каждом масштабе строится вейвлет-функ-ция,"зависящая от всего сигнала, а соответственно, содержащая в себе информацию обо всех изменениях в исследуемом сигнале. В классических методах первичного анализа для учёта динамических характеристик акустического сигнала на стадии построения признакового описания традиционно используются дельта коэффициенты [1], позволяющие учесть только локальные изменения сигнала, в отличие от предлагаемой адаптированной вейвлет- функции.
Применение адаптивной вейвлет-функции для решения задачи классификации фонем
Рассмотрим пример использования предлагаемого метода построения адаптивной вейвлет-функции для первичного анализа акустического сигнала в задаче классификации фонем. Речевой сигнал состоит из последовательности звуков, для генерации которых задействуются различные механизмы речеобразования. Это приводит к неоднородности свойств таких сигналов. Например, гласные фонемы возникают за счёт возбуждения контура резо-нации и могут быть представлены в качестве квазигармонического сигнала. В то же время многие фонемы (например, практически все согласные) генерируются посредством кратковременных сужений или смыканий голосового тракта. Такие звуки имеют сложную структуру, в которой отсутствуют гармонические составляющие. Отсутствие гармонической составляющей и шумовая природа происхождения согласных приводят к тому, что методы анализа, предназначенные для анализа гармонических сигналов, не позволяют построить признаковое описание такого типа фонем, которое обладает приемлемой различительной способностью.
Стоит отметить, что точность классификации согласных фонем является определяющим фактором в общей точности распознавания слитной речи, так как семантический смысл согласных является более значимым в сравнении с гласными фонемами. Такое предположение основано на том факте, что в слитной речи эффект редукции гласных приводит к незначительному искажению семантики, в то время как редукция согласных может существенно изменить семантику слова. Данное явление можно наблюдать у детей младшего возраста, когда ребёнок уже способен воспроизводить все гласные звуки, но ещё не может воспроизвести многих согласных -речь такого ребёнка является практически неразборчивой [16]. Таким образом, согласные звуки, являющиеся по сути точками скачкообразных изменений микроструктуры речевого сигнала, составляют семантический каркас речевого сообщения. Следовательно, для увеличения точности распознавания речевых сигналов необходимо разработать метод первичного анализа, позволяющий получить устойчивое признаковое описание как гласных, так и согласных фонем.
88
Рассмотрим задачу классификации фонем русского языка. Предположим, что имеются:
• множество акустических реализаций фонем Рк = {р!гк:к = 1 ...К,К Е 2};
• алгоритм построения признакового описания \Рк —» Р, где Г — некоторое пространство признаков;
• множество классов фонем С = {с1п Е [1,Л7]}> гДе N — количество фонем русского языка.
Можно построить набор данных X = {х; = (ркк)\I Е [1,АТ]}, состоящий из векторов, которые являются признаковыми описаниями отдельных фонем. Предположим, что точная классификация объектов некоторой репрезентативной выборки X1 объектов известна: У1(х,,у1),у1 Е С,х{ Е X1. Необходимо построить алгоритм классификации: а:Х С такой, чтобы минимизировать функционал ошибок классификации:
Традиционно данная задача многоклассовой классификации решается путём построения композитного классификатора, состоящего из набора бинарных классификаторов, которые могут распознавать классы непосредственно, например, дерево классификаторов или набор классификаторов, обученных по методам «один против всех» или «каждый против каждого». Для учёта неравномерности распределения признаковых описаний объектов в пространстве признаков используются различные нелинейные методы классификации, такие как расширение размерности пространства признаков, распознавание каскадом классификаторов и др. [17]. Для речевых сигналов в целом характерно неравномерное распределение признаковых описаний, при этом признаковые описания некоторых фонем могут существенно перекрываться между собой и значительно отличаться от других фонем. Такое явление связано с особенностями речеобразования: существует несколько базовых механизмов речеобразова-ния и соответствующих им типов фонем — шумные смычные, шумные аффрикаты, сонорные носовые и т.д. Очевидно, что при схожих механизмах образования фонемы будут обладать схожими признаковыми описаниями, которые будут расположены в одной области признакового пространства. Такое характерное для фонем распределение признаковых описаний приводит к тому, что » Q(arX2), где Х^ — множество признаковых описаний фонем со схожими механизмами речеобразования, Х2 — множество признаковых описаний фонем с различными механизмами речеобраз ования.
В данной работе для классификации фонем русского языка предлагается двухэтапный алгоритм, учитывающий особенности механизмов речеобразования. Предположим, что существует множество метаклассов фонем П = {nji = 1 ...М,М « N}, каждый метакласс которого содержит объекты различных классов cit признаковые описания которых расположены в значительно пересекающихся областях пространства признаков, в то время как признаковые описания объектов метакласса расположены в относительно слабопересекающихся областях.
В качестве первого этапа алгоритма выступает алгоритм классификации а1: X -> П, при этом фонемы разделены на метаклассы таким образом, чтобы минимизировать функционал {^Са^П). В качестве алгоритма классификации я1 в данной работе используется многоклассовый классификатор на базе метода опорных векторов (MOB) с радиально-базис-
89
ной функцией в качестве ядра (РБФ). После классификации фонем по метаклассам строятся гюизнаковые описания сЬонем, учитывающие особенности речеобразования X' = = 1 ... М}, где fj — набор алгоритмов
построения признакового описания, различных для фонем, относящихся к различным метаклассам. В общем случае, для каждого метакласса существует свой алгоритм построения признаков, однако, их количество может быть уменьшено, и в вырожденном случае используется один общий алгоритм для всех метаклассов. Для каждого метакласса также строится алгоритм классификации Е [1,М]. Классификация с использованием множества классификаторов А2{аI Е [1, М]} является вторым этапом классификации, в качестве классификаторов на втором этапе используется набор одноклассовых классификаторов на базе метода опорных векторов (ОКМОВ). Общая схема алгоритма приведена на рисунке 2. Разделение фонем на метаклассы определено эмпирическим путём на основе анализа ошибок распознавания многоклассовым классификатором. Для каждой фонемы определялись наиболее частотные неверные результаты классификации, на основе которых делалось предположение о схожести рассматриваемых фонем. Далее была проведена глобализация пар фонем с целью определения метаклассов фонем.
Итоговое разбиение фонем на метаклассы представляет набор множеств:
Метакласс 1 — [й], [и], [и], [ы], [э], [а], [о], [у];
Метакласс 2 — [к], [к'], [г], [г'];
Метакласс 3 — [ч], [щ], [ш], [ж], [с'], [з'], [с], [з];
90
Рис. 2. Алгоритм классификации фонем с учётом механизмов речеобразования
Метакласс 4 — [ц], [т], [д], [т'], [д']; Метакласс 5 — [п'], [б'], [п], [б]; Метакласс 6 — [ф'], [в'], [ф], [в];
Метакласс 7 — [р'], [р].
Как можно видеть, данное разбиение, полученное эмпирическим путём, в целом соответствует принятому в фонетике разделению звуков по способу и месту их образования, что является подтверждением сделанного предположения о схожести признаковых описаний для звуков со схожими механизмами речеобразования.
Эксперимент
С использованием предложенного алгоритма построены базовые вейвлет-функции, адаптированные для анализа различных классов фонем. Для построения адаптивной вейвлет-функции использовался описанный в данной статье метод с использованием генетического алгоритма, при этом количество оптимизируемых параметров составило N=256, размер популяции — 25000, Ктах— 2000 , — 11. Согласно графику, представленному на рисунке 3, количество итераций, необходимое для получения адаптированной вейвлет-функции, составляет ~150.
Рис. 3. График зависимости значений целевой функции (4) от номера популяции, a максимальное значение целевой функции для текущей популяции, Ь — среднее значение целевой функции
91
llitJ (| fflE Сорока А.М., Ковалец П.Е., Хейдоров И.Э. Метод классификации речевых сигналов с использованием адаптивного признакового описания на основе вейвлет-преобразования и генетического алгоритма
Для оценки различительной способности адаптивных векторов признаков (АВП), полученных с использованием предлагаемого метода, проведено сравнительное тестирование для различных признаков с различной размерностью d. Для сравнения выбраны признаки, полученные с использованием вейвлет-преобразования и функций Хаара d=13, Морле d=13; адаптивные признаки на базе предложенного метода (d^13, d2=26); признаки, полученные с использование МЧКК d=13, дельта-МЧКК d=26 (13 МЧКК + 13 дельта коэффициентов), дельта-дельта-МЧКК d=39 (13 МЧКК, 13 дельта коэффициентов, 13 дельта-дельта коэффициентов). В таблице 1 представлены результаты линейной бинарной классификации фонем различных типов (гласные, сонорные, шумовые). При этом форма записи [ph] — [ph, ph1, ph2 ...] обозначает решение задачи классификации фонемы [ph] из множества фонем [ph, ph1, ph2...]. Для проведения сравнительного тестирования использована база речевых сигналов, содержащая 750 записей речевых сигналов в формате flac, 16bit, 44.1kHz, моно. Всего в речевой базе 25 мужских и 50 женских записей, средний возраст диктора — 21 год, за исключением 11 записей, в которых средний возраст диктора — 50 лет. Записи сегментированы на фонемы вручную, среднее число реализаций каждой фонемы составило 5000.
Согласно результатам, приведённым в таблице 1, использование предложенного метода построения векторов признаков позволяет улучшить точность классификации акустически схожих фонем, что особенно заметно в случае классификации таких фонем, как [м], [н] (улучшение на 5,2%). Данный результат является особенно значимым, так как согласные фонемы являются семантическим каркасом речевого сообщения [16]. Также стоит отметить, что для достижения сравнимой точности предложенный алгоритм позволяет использовать признаковое описание меньшей размерности, чем МЧКК.
Таблица 1
Точность классификации некоторых фонем, %
Хаар13 Морле13 АВП13 АВП26 МЧКК13 МЧКК26 МЧКК39
[а] — [а,о] 84,6 88,0 91,5 94,2 91,5 90,8 91,0
[а] — [гласные] 73,4 77,1 90,0 93,0 89,9 87,4 87,3
[а] — [все фонемы] 72,1 75,8 84,0 87,0 85,2 80,4 80,4
[п] — [п,т] 59,8 62,0 74,8 75,0 67,8 69,8 68,5
[п] — [все фонемы] 54,8 60,2 72,3 71,4 66,3 66,9 65,8
[з] — [з,ж,ш,с] 70,1 74,8 78,6 82,2 75,2 78,4 79,9
[з] — [все фонемы] 69,9 73,2 77,4 79,1 74,9 76,3 77,1
92 С использованием полученных адаптивных вейвлет-функций проведено сравнительное исследование характеристик предложенного двухэтапного алгоритма классификации. В качестве одноэтапного многоклассового классификатора использовался набор нелинейных классификаторов на базе метода опорных векторов, обученных по принципу «один-против-всех» с ядром РБФ, параметры которого найдены с использованием метода поиска по сетке. В качестве метода построения признакового описания использовались МЧКК26. Согласно результатам, представленным в таблице 2, точность предложенного алгоритма превышает точность одноэтапного алгоритма от 2% до 6%.
Таблица 2
Сравнение точности классификации некоторых фонем с использованием предложенного алгоритма и алгоритма одноэтапной классификации
[а] [м] [н] [з]
Точность предложенного алгоритма, % 93,1 85,7 79,6 84,2
Точность одноэтапного распознавания, % 91,3 79,1 76,3 81,3
Заключение
В данной статье предложен метод построения адаптивной функции вейвлет-преобразова-ния, позволяющей улучшить признаковое описание для акустических сигналов различных классов за счёт локализации значимых коэффициентов вейвлет-преобразования в пределах некоторой полосы масштабов. Показано, что использование предлагаемой функции позволяет получить устойчивое повышение точности классификации, в частности для различных согласных улучшение точности составляет от 2% до 6%.
Литература
1. Huang X, Acero A, Hon H.W. Spoken Language Processing: A Guide to Theory, Algorithm, and System Development // Prentice Hall PTR, 2001.
2. Mallat S. A Wavelet Tour of Signal Processing: The Sparse Way // Academic Press, 2008.
3. Vignolo L.D., Rufiner L.H., Milone D.H., Goddard J.C. Evolutionary splines for cepstral filterbank optimization in phoneme classification // EURASIP Journal on Advances in Signal Processing. Vol. 2011.
4. Dr. Murthy A.S., Holla N. Robust speech recognition system designed by combining empirical mode decomposition and a genetic algorithm // International Journal of Engineering Research & Technology (IJERT)/ Vol. 2, P. 2056-2068, September 2013.
5. Goldberg D.E. Genetic Algorithms in Search, Optimization and Machine Learning // Addison-Wesley Longman Publishing Co, Boston, 1st edition, 1989.
6. Xue-ying Zhang Li-xia Huang, G. Evangelista. Adaptive bands filter bank optimized by genetic algorithm for robust speech recognition system // Journal of Central South University of Technology. Vol. 18, P. 1595-1601, October 2011.
7. Bellman R.E. Adaptive Control Processes: A Guided Tour // Princeton University Press Princeton, NJ, 1961.
8. Schuller B., Reiter S., Rigoll G. Evolutionary feature generation in speech emotion recognition // Multimedia and Expo, 2006 IEEE International Conference, 2006, P. 5-8.
9. Mkinen T., Kiranyaz S., Raitoharju J., Gabbouj M. An evolutionary feature synthesis approach for content-based audio retrieval // / EURASIP Journal on Audio, Speech, and Music Processing. Vol. 2012.
10. Cheng-Lung Huang, Chiehjen Wang. A ga-based feature selection and parameters optimization for support vector machines // Expert Systems with Applications, no. 31, Р. 231-240, 2006.
11. Zhuo L., Zheng J., Wang F., Li X., Ai B., Qian J. A genetic algorithm based wrapper feature selection method for classification of hyperspectral images using support vector machine // Proceedings SPIE7147, 2008.
12. Srinivasan V., Ramalingam V., Sellam V. Classification of normal and pathological voice using ga and svm // International Journal of Computer Applications. Vol. 60, no. 3, 2012.
13. Vapnik V., The Nature of Statistical Learning Theory // Springer, 2000.
14. Back T., Evolution algorithms in theory and practice // Oxford University Press, 1996.
15. Akima H., A new method of interpolation and smooth curve fitting based on local procedures // Journal of the ACM, vol. 17, no. 4, Р. 589-602, 1970.
93
Сорока А.М., Ковалец П.Е., Хейдоров И.Э. Метод классификации речевых сигналов с использованием адаптивного признакового описания на основе вейвлет-преобразования и генетического алгоритма
94 16. БуланинЛ.Л. Фонетика современного русского языка. Книжный дом «Либроком», M., 2011. 17. Freund Y, Schapir R.E. A short introduction to boosting // Journal of Japanese society for Artificial intelligence, 14(5), 1999, Р. 771-780. Оведения об авторах Сорока Александр Михайлович, старший преподаватель факультета радиофизики и компьютерных технологий Белорусского государственного университета. Область научных интересов: цифровая обработка сигналов, теория метода опорных векторов, смесь гауссовых распределений, эволюционные методы оптимизации. E-mail: soroka.a.m@gmail.com Хейдоров Игорь Эдуардович, кандидат физико-математических наук, доцент кафедры радиофизики и цифровых медиатехнологий факультета радиофизики и компьютерных технологий Белорусского государственного университета. Область научных интересов: методы и алгоритмы обработки, сегментации и классификации речевых и аудиоданных, поиск музыкальных фрагментов в базах данных мультимедиа. Ковалец Павел Евгеньевич, аспирант кафедры радиофизики и цифровых медиатехнологий факультета радиофизики и компьютерных технологий Белорусского государственного университета. Область научных интересов: методы обработки и анализа звуковых сигналов, вейвлет анализ, методы нелинейной многомерной глобальной оптимизации, параллельные вычисления. E-mail: feanor-pk@yandex.by
