CC BY
113
№ 2 (34), 2015 Технические науки. Информатика, вычислительная техника
УДК 621.391
Т. Т. Стас, М. А. Щербаков, В. В. Сазонов
МЕТОД ПОЛУЧЕНИЯ ВЕКТОРОВ АКУСТИЧЕСКИХ ПРИЗНАКОВ ДЛЯ РАСПОЗНАВАНИЯ ПОСЛЕДОВАТЕЛЬНОСТИ ФРАЗЫ В УСЛОВИЯХ ШУМОВЫХ ПОМЕХ
Аннотация.
Актуальность и цели. Повышение точности распознавания речи в условиях наличия шумовых помех представляет собой важную задачу, поскольку существуют области применения систем распознавания речи, где, несмотря на растущую актуальность, существует проблема достижения высокой точности распознавания при наличии различных шумовых воздействий. Объектом исследования являются бортовые системы автоматического распознавания речи. Предметом исследования являются повышение вероятности распознавания речи в условиях шумовых помех. Цель исследования - разработка методов и алгоритмов повышения точности распознавания в условиях наличия шумовых помех.
Материалы и методы. Исследование методов распознавания речи в условиях шумовых помех выполнено с использованием нейронных сетей и скрытых марковских моделей.
Результаты. Разработан метод получения вектора акустических признаков на основе применения мел-частотных кепстральных коэффициентов. Основу разработанного метода составила новая формула обучения линейных однослойных нейронных сетей (ЛОНС), полученная с помощью применения двух целевых функций. Первая целевая функция - это вероятностная функция нормального гауссовского многомерного распределения, вторая целевая функция -это функция вычисления кепстральных коэффициентов на основе применения линейных однослойных нейронных сетей для вычисления средней спектральной мощности.
Выводы. Предложен метод получения вектора акустических признаков на основе применения мел-частотных кепстральных коэффициентов. Алгоритм обучения ЛОНС, основу которого составляет формула обучения, полученная на основе применения двух целевых функций, позволил повысить вероятность распознавания речи в условиях шумовых помех.
Ключевые слова: нейронная сеть, скрытая Марковская модель, распознавание речи, бортовая аппаратура.
T. T. Stas, M. A. Shcherbakov, V. V. Sazonov
METHOD FOR OBTAINING VECTORS OF ACOUSTIC CHARACTERISTICS FOR PHRASE SEQUENCE RECOGNITION IN CONDITIONS OF NOISE INTERFERENCE
Abstract.
Background. Improvement of the accuracy of speech recognition under noise interference is an important task, because there are applications of speech recognition systems, where, despite the growing relevance, there is a problem of high recognition accuracy achievement in the presence of various noise impacts. The research object is on-board systems of automatic speech recognition. The research subject is
Engineering sciences. Computer science, computer engineering and control
95
Известия высших учебных заведений. Поволжский регион
the improvement of speech recognition probability under noise interference. The work purpose is to develop methods and algorithms of the recognition accuracy improvement under noise interference.
Materials and methods. The research of speech recognition methods under noise interference was implemented using neural networks and hidden Markov models.
Results. The authors have developed a method of obtaining a vector of acoustic features based on the use of chalk-frequency cepstral coefficients. The basis of this method of training is formed by a new formula of linear single-layer neural networks (LONS), obtained through the use of two target functions. The first objective function - a function of the probability of the normal Gaussian multivariate distribution, the second objective function - a function of calculating the cepstral coefficients based on the use of LONS for computing the average spectral power.
Conclusions. The authors have suggested the method of obtaining a vector of acoustic features based on the use of chalk-frequency cepstral coefficients. The LONS learning algorithm, which is based on the formula of training obtained through the application of the two objective functions, enhanced the probability of speech recognition under noise interference.
Key words: neural network, hidden Markov model, speech recognition, onboard equipment.
Введение
Исследование методов повышения точности распознавания в условиях наличия шумовых помех является актуальной задачей, поскольку существуют области применения систем распознавания речи, где проблема достижения высокой точности распознавания при наличии различных шумовых воздействий имеет первостепенное значение. К таким областям применения относятся, например, бортовая авиационная среда летательного аппарата при выдаче экипажу речевых команд от электронной системы [1], справочные и поисковые системы, системы автоматической идентификации пользователей по голосу и т.д. На сегодня существует множество методов избавления речевого сигнала от шумовых воздействий. К таким методам относятся методы фильтрации речевого сигнала с помощью адаптивного фильтра Винера, методы спектрального вычитания, метод минимизации среднеквадратичной ошибки с помощью байесовской оценки, метод применения фильтров Калмана [2].
Одним из наиболее распространенных методов получения признаков описания речевого сигнала при наличии шумовых помех является метод вычисления мел-частотных кепстральных коэффициентов [3-5], которые при построении вектора акустических признаков (ВАП) заменяют большое количество отчетов, сохраняя при этом высокую точность распознавания. С целью повышения вероятности распознавания речи в условиях шумовых помех в статье предложен метод получения очищенного от шумовых воздействий ВАП на основе применения мел-частотных кепстральных коэффициентов. Основу разработанного метода составила новая формула обучения линейных однослойных нейронных сетей (ЛОНС), полученная с помощью применения двух целевых функций. Первая целевая функция - это вероятностная функция нормального гауссовского многомерного распределения, вторая целевая функция - это функция вычисления кепстральных коэффициентов на основе применения ЛОНС для вычисления средней спектральной мощности. При замене первой целевой функции на ее аппроксимацию была получена формула обучения однослойной нейронной сети.
96
University proceedings. Volga region
№ 2 (34), 2015 Технические науки. Информатика, вычислительная техника
1. Разработка метода получения вектора акустических признаков для распознавания акустической последовательности фразы
Важной задачей цифровой обработки сигнала является фильтрация сигнала от шумовых воздействий, реализуемая с помощью цифрового фильтра.
Наиболее общий вид цифрового фильтра первого порядка определяется следующим уравнением [6]:
P Q
У(п) = 2bix(n -i) - 2акУ(п -k). (!)
i=0 k=1
Данная формула описывает линейный фильтр с бесконечной импульсной характеристикой (БИХ-фильтр), использующий один или более своих выходов в качестве обратной связи. Основным свойством таких фильтров является то, что их импульсная переходная характеристика имеет бесконечную длину, а передаточная функция имеет дробно-рациональный вид. Такие фильтры могут быть как цифровыми, так и аналоговыми. Фильтр с конечной импульсной характеристикой (КИХ-фильтр) является частным случаям БИХ фильтра, характерной особенностью которого является ограниченность по времени его импульсной характеристики, а также отсутствие обратной связи.
Выход ЛОНС можно определить следующим выражением:
N
У(i) = 2 wijxj + wi0 . (2)
j=1
Такие сети имеют сходство с уравнением цифрового фильтра первого порядка, которое заключается в том, что все математические операции как в фильтре первого порядка, так и в однослойной нейронной сети (2) являются операциями умножения двух чисел с накоплением.
Рассмотрим алгоритм обучения ЛОНС, в основе которого лежит формула для вычисления весовых значений таких сетей во время их обучения и адаптации к шумовым воздействиям при распознавании отдельных фраз речи.
В существующих методиках для преобразования акустической последовательности отдельной фразы в последовательность ВАП применяется метод получения мел-частотных кепстральных коэффициентов, который на сегодня является одним из наиболее эффективных методов получения признаков описания речевого сигнала. В соответствии с этим методом акустический сигнал отдельный фразы разбивается на равные по времени отрезки, после чего полученные отрезки усредняются на мел-шкале и формируют ВАП.
Последовательность ВАП отдельной фразы распознается набором скрытых марковских моделей (СММ), каждая из которых представляет отдельную фразу речи, а каждое ее состояние моделирует отдельный кластер слова или фонемы [2, 7, 8], для получения вектора центра кластера применяется однослойная нейронная сеть Кохонена.
Для распознавания ВАП, который получен в результате преобразования акустической последовательности отдельной фразы в последовательность ВАП, в существующих методиках применяется байесовское решающее правило [4]:
Engineering sciences. Computer science, computer engineering and control
97
Известия высших учебных заведений. Поволжский регион
P(x, W) = P(x | W)P(W).
Значения вероятности P(x, W) можно получить вероятностной функцией многомерного гауссовского нормального распределения [2, 3, 7]:
P(x | W) =
1 (x-MO, ) V-1 (x-MOJ
(3)
где MOs - вектор центра кластера слова W; s = 1,...,m ; m - количество слов или фонем во фразе.
Решающее правило можно получить приведением расстояния Махала-нобиса формулы (3) в евклидово расстояние [9]:
1 - 2 Е ( -mo )2
Ps = P(x|W) = ^= e 2 < , (4)
Ы2пп
где moj - значение i-й координаты желаемого вектора центра кластера МО ; X; - значение i -й координаты ВАП; п - количество признаков (длина вектора акустических признаков).
Прологарифмировав (4), получаем следующее решающее правило [9, 10]:
1 п 1 п п
d(XW)s =--Еx2,i --Еm<0S,i + ЕXs,i •m0si . i i i
Для получения очищенных от шумовых воздействий векторов, акустическими признаками которых являются частотные кепстральные коэффициенты, получена формула для вычисления весовых коэффициентов ЛОНС, применяемая для вычисления средней спектральной мощности. Используя
~ ~ ~ t
весовые значения линейной однослойной нейронной сети w j i для j -го входа в i -й нейрон в качестве координат вектора весовых коэффициентов w в пXп -мерном пространстве, поиск наиболее максимального значения целевой функции Ps осуществляется с помощью ее градиента VPs, представляющего собой вектор [9]:
dPs dPs dPs dPs
K dw1,1 ’ dw2,1 ’’ dwj/ " ’ dwN,N ,
Для оценки вероятности принадлежности ВАП соответствующему кластеру слова или фонемы (с помощью ЛОНС, вычисляющей среднюю спектральную мощность) используется функция многомерного гауссовского нормального распределения следующего вида:
1 -1Е ( (/)-CGs (l))2
Ps (Crs) =-.--e 2 l ,
л/2лп
98
University proceedings. Volga region
№ 2 (34), 2015 Технические науки. Информатика, вычислительная техника
где n - количество коэффициентов в векторе акустических признаков; Cos -вектор центра кластера с номером s , полученный с помощью алгоритма обучения сети Кохонена на предыдущих стадиях; Crs - вектор акустических признаков, элементами которого являются частотные мел-кепстральные коэффициенты, вычисляемые следующим образом [5]:
Cr (l) = I 1og( sl (k ))cos f U f k + y
k=0 VU v 2
где Cr(l) - кепстральный коэффициент с номером l; U - общее количество фильтров в банке фильтров; Si (k) - средняя спектральная мощность k -го фильтра вида
1 M(k)+N (k)
Sl (k) = N7k7 I \X(i ) “'(W),
N (k) i=M(k)
где k - номер фильтра; M(k), N(k) и w(k,i) - начальная частота, ширина и значения весовой функции (треугольной формы) k -го фильтра соответственно; X(i) - i -я амплитуда дискретного преобразования Фурье.
Для адаптации мел-частотных кепстральных коэффициентов к шумовым воздействиям применяется линейная однослойная нейронная сеть вида
Уг (k) = I w(k,i) |X(i)| + wl (k).
i=1
При таком подходе среднюю спектральную мощность можно получить с помощью следующей формулы:
sl(k)=N1k) ((k) - wl(k)).
Для вычисления значений весовых коэффициентов w(k, i) применяется алгоритм обучения, основу которого составляет формула обучения, полученная на основе применение двух целевых функций. Первая целевая функция является вероятностной функцией многомерного гауссовского нормального распределения, вычисляющая меру близости вектора центра кластера (ВЦК) от ВАП. Вторая целевая функция является функцией вычисления кепстральных коэффициентов на основе применения ЛОНС, которая, в свою очередь, применяется для вычисления средней спектральной мощности.
Градиент целевой вероятностной функции многомерного гауссовского нормального распределения можно записать следующим образом:
VPs (wl (k, i))
dPs .
dw( k, i)
Градиент двух целевых функций: функции получения Ps и функции получения вектора Crs , - можно записать следующим образом:
Engineering sciences. Computer science, computer engineering and control
99
Известия высших учебных заведений. Поволжский регион
VPS (wf (k, i)) =
dPs dPs ybCrs (k)
(5)
dw(k, i) dCrs (k) dw(k, i)
Подставляя значения
= Ps X (Css (k) - Crs (k)), = a(k) \X(i)|,
dCrs (k) dw(k, i)
где
lg 2 w(k, i)\X (i)|
^ i=M(k)
в выражение (5), можно получить следующее выражение:
Поскольку при нахождении максимума целевой функции Ps (w(k,i)) (на основе применения метода крутого восхождения) значения производной от вероятностной функции Ps относительно переменной весовых значений w(k,i) стремятся к нулю, то из этого следует, что lim Crs = Cos .
Поскольку целевая функция ds , отображающая решающее правило для распознавания ВАП, является аппроксимацией вероятностной функции многомерного гауссовского нормального распределения, то максимизация значения вероятностной функции приведет к минимизации значения целевой функции ds . С помощью применения двух целевых функций: ds и функции вычисления вектора Crs на основе применения ЛОНС для вычисления средней спектральной мощности, - также можно получить формулу для вычисления весовых значений при обучении ЛОНС.
Градиент двух целевых функций: функции ds и функции вычисления вектора Crs , - можно записать следующим образом:
dds = dds xdCrs (k)
-----—-------X--------
(6)
1 iV 1 iV iV
- 2 Crs (k)2 - - 2 Cos (k)2 + 2 Crs (k) • Cos (k).
N , N N
d
s
2 k 2 k k
Подставляя значение
100
University proceedings. Volga region
№ 2 (34), 2015 Технические науки. Информатика, вычислительная техника
а также значения = Cos (k) — Crs (k) в выражение (6), можно получить
следующую формулу:
Vds (w(k,i)) = a(k)t(Cos(k) — Сг^(k))|X(i)|.
Поскольку wt+^(k,i) = wl(k,i) + Vds (wl(k,i)), то для обучения ЛОНС можно использовать следующее правило:
W(+1) = w(ki) + a(k)t(Cos(k) — Crs(k))|X(i)\,
где Crs (k) - реальное значение кепстрального коэффициента с номером k в векторе акустических признаков Crs; Cos (k)- желаемое значение кепстрального коэффициента с номером k в векторе центра кластера Cos.
Если в качестве целевой функции для получения весовых значений использовать функцию средней квадратичной ошибки
E ( W( k i)) = j Z (Crs (k) — Cos (k ))2,
2 l
а значения каждого признака в ВАП вычислить с помощью Crs (l) = Zl X (i )| w(k,i), то градиент целевой функции Es можно представить
i
следующим образом:
VEs (w(k,i))
dE
s_____
dE
ydCrs(k)
Если
dEs
= (Cos (k) — Crs (k)) и
dw(k, i) dCrs (k) dw(k, i) dCrs (k)
■ = | X (i)|:
то вычисление ве-
dCrs (l) л' " dw(k,i)
совых коэффициентов осуществляется с помощью следующей формулы:
wki) = w{k ,i) + at (Cos (k) — Crs (k ))| X (i )|.
Формулу для обучения ЛОНС можно получить также путем минимизации средней квадратичной ошибки, но, в отличие от этого подхода, в полученной предложенным методом формуле определяется коэффициент обучения ЛОНС.
Заключение
С целью повышения вероятности распознавания речи в условиях шумовых помех в статье предложен метод получения очищенного от шумовых воздействий ВАП на основе применения мел-частотных кепстральных коэффициентов. Дальнейшее направление исследований заключается в проведении сравнительных экспериментов, подтверждающих эффективность распознавания отдельных фраз речи в условиях наличия шумовых помех с помощью алгоритмов, построенных на основе предложенного подхода.
Engineering sciences. Computer science, computer engineering and control 101
Известия высших учебных заведений. Поволжский регион
Список литературы
1. Englund, C. Speech recognition in the JAS 39 Gripen aircraft -Adaptation to speech at dierent G-loads: Master Thesis in Speech Technology / C. Englund // Department of Speech, Music and Hearing, Royal Institute of Technology. - Stockholm. - 2004. -11th March. - P. 1.
2. Vaseghi, S. V. Digital signal processing and noise reduction, fourth edition /
S. V. Vaseghi. - London : John Wily and Sons Ltd Publication, 2008. - 466 p.
3. Dongsuk, Y. Robust speech recognition using neural networks and hidden markov models: Doctor of Philosophy / Y. Dongsuk. - New Jersey : Graduate school - New Brunswick Rutgers, The State University of New Jersey, 1999. - 18 p.
4. Giampiero, S. Mining speech sounds, machine learning methods for automatic speech recognition and analysis: doctoral thesis / S. Giampiero. - Stockholm : KTH school of computer science and communication, 2006. - 25 p.
5. Геппенер, В. Разработка систем автоматической верификации дикторов с использованием нейронных сетей / В. Геппенер, К. Симончик // Современные проблемы нейроинформатики. - 2006. - № 15. - С.14-23.
6. Фильтр с бесконечной импульсной характеристикой. - URL: https://ru.wikipedia. org/wiki/Фильтр_с_бесконечной_импульсной_характеристикой
7. Pассел, С. Искусственный интеллект - современной подход / С. Рассел, П. Норвиг. - 2-е изд. - М. : Вильямс, 2007. - 777 с.
8. Rabiner, L. Fundamentals of sрeech recognition / L. Rabiner, B.-H. Juang. - New Jersey : Prentice Hall, 1993. - 387 р.
9. Тихомиров, В. А. Математическая модель системы распознавания акустической последовательности фраз речи / В. А. Тихомиров, Т. Т. Стас // Необратимые процессы в природе и технике : сб. Всероссийской конф. (Москва, 26-28 января 2011 г.). - М. : Изд-во МГТУ им. Баумана, 2011. - Ч. II, № 11. -С. 140-144.
10. Дж, Т. Принципы распознавания образов / Т. Дж, Р. Гонсалес. - М. : Мир, 1978. -242 с.
References
1. Englund C. Speech recognition in the JAS 39 Gripen aircraft -Adaptation to speech at dierent G-loads: Master Thesis in Speech Technology. Department of Speech, Music and Hearing, Royal Institute of Technology. Stockholm. 2004, 11th March, p. 1.
2. Vaseghi S. V. Digital signal processing and noise reduction, fourth edition. London: John Wily and Sons Ltd Publication, 2008, 466 p.
3. Dongsuk Y. Robust speech recognition using neural networks and hidden markov models: Doctor of Philosophy. New Jersey: Graduate school - New Brunswick Rutgers, The State University of New Jersey, 1999, 18 p.
4. Giampiero S. Mining speech sounds, machine learning methods for automatic speech recognition and analysis: doctoral thesis. Stockholm: KTH school of computer science and communication, 2006, 25 p.
5. Geppener V., Simonchik K. Sovremennye problemy neyroinformatiki [Modern problems of neural informatics]. 2006, no. 15, pp. 14-23.
6. Fil’tr s beskonechnoy impul’snoy kharakteristikoy [Filters with infinite impulse response]. Available at: https://ru.wikipedia. org/wiki/Fil'tr_s_beskonechnoy_impul'snoy_ kharakteristikoy
7. Passel S., Norvig P. Iskusstvennyy intellekt - sovremennoy podkhod [Artificial intelligence - modern approach]. Moscow: Vil'yams, 2007, 777 p.
8. Rabiner L., Juang B.-H. Fundamentals of sreech recognition. New Jersey: Prentice Hall, 1993, 387 p.
102
University proceedings. Volga region
№ 2 (34), 2015 Технические науки. Информатика, вычислительная техника
9. Tikhomirov V. A., Stas T. T. Neobratimye protsessy v prirode i tekhnike: sb. Vse-rossiyskoy konf. (Moskva, 26-28 yanvarya 2011 g.) [Irreversible processes in nature and technology: proceedings of the All-Russian conference (Moscow, 26-28 January 2011)]. Moscow: Izd-vo MGTU im. Baumana, 2011, part II, no. 11, pp. 140-144.
10. Dzh T., Gonsales R. Printsipy raspoznavaniya obrazov [Concepts of image recognition]. Moscow: Mir, 1978, 242 p.
Стас Тамби Тахсинович
ведущий инженер-программист, Научно-производственное объединение Российские инновационные технологии (Россия, г. Тверь, ул. Озерная, 14, к. 1)
E-mail: ttstas@npo-rit.ru
Щербаков Михаил Александрович доктор технических наук, профессор, заведующий кафедрой автоматики и телемеханики, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: avitel@pnzgu.ru
Сазонов Владимир Васильевич
кандидат технических наук, доцент, кафедра автоматики и телемеханики, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: sazonov@inbox.ru
Stas Tambi Takhsinovich Leading programming engineer, scientific production association Russian innovative technologies (building 1,
14 Ozernaya street, Tver, Russia)
Shcherbakov Mikhail Aleksandrovich Doctor of engineering sciences, professor, head of sub-department of automation and remote control, Penza State University (40 Krasnaya street, Penza, Russia)
Sazonov Vladimir Vasil'evich Candidate of engineering sciences, associate professor, sub-department of automation and remote control, Penza State University (40 Krasnaya street, Penza, Russia)
УДК 621.391 Стас, Т. Т.
Метод получения векторов акустических признаков для распознавания последовательности фразы в условиях шумовых помех / Т. Т. Стас, М. А. Щербаков, В. В. Сазонов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2015. - № 2 (34). - С. 95-103.
Engineering sciences. Computer science, computer engineering and control 103
