Исследование особенностей фонетического строя речи и идентификация дикторов по голосу Текст научной статьи по специальности «Компьютерные и информационные науки»

МЕТОДЫ И СРЕДСТВА ЗАЩИТЫ ИНФОРМАЦИИ

УДК 004.056

ИССЛЕДОВАНИЕ ОСОБЕННОСТЕЙ ФОНЕТИЧЕСКОГО СТРОЯ РЕЧИ И ИДЕНТИФИКАЦИЯ ДИКТОРОВ ПО ГОЛОСУ

© Васильев Роман Александрович

аспирант Нижегородского государственного лингвистического университета им. Н. А. Добролюбова, инженер 1-й категории аттестационного отдела, Нижегородский научно-технический центр ФГУП «НПП «Гамма».

И romangamma@mail.ru

В работе предлагается метод фонетического анализа речи — выделение списка элементарных речевых единиц отдельных фонем из непрерывного потока разговорной речи конкретного диктора. В статье описан практический алгоритм идентификации диктора — процесс определения говорящего из заданного набора дикторов.

Ключевые слова: идентификация по голосу, фонетический анализ речи, метрика Кульбака-Лейблера, минимальные звуковые единицы.

В связи с возросшей информатизацией современного общества, увеличением числа объектов и потоков информации, которые необходимо защищать от несанкционированного доступа, а также необходимостью интеллектуализации всех форм взаимодействия пользователей автоматизированных систем управления с техническими средствами, всё более актуальными становятся проблемы использования механизмов речевых технологий для разграничения доступа к информационно-вычислительным системам, в частности метод идентификации пользователей системъ по голосу. Привлекательность данного метода -удобство в применении. Продукты с проверкой голоса сейчас предлагают более 20-ти компаний.

Хорошо известно, что у дикторов разного возраста и пола как состав, так и свойства элементов списка фонем сильно варьируются. Поэтому, сопоставляя фонетические базы данных (ФБД) разных дикторов, мы, по их рассогласованию, можем с высокой точностью и чувствительностью оценить принадлежность произнесённых фонем тому или иному диктору, причём благодаря информационной теории восприятия речи (ИТВР) - с количественной характеристикой отклонения от нормы. Это обеспечивает одновременно наиболее информативное и компактное описание

каждой отдельной фонемы. В таком случае множество всех выделенных из речевого потока речевых единиц и определяет, в конечном итоге, фонетический строй речи данного диктора на роль высокоинформативной базы данных для идентификационных обследований.

Задача распознавания диктора по голосу может быть разделена на две подзадачи: идентификация и верификация. Распознаваемый голос сравнивается с эталонными голосами. Из набора выбирается тот диктор, голос которого в наибольшей степени соответствует данному. В случае верификации говорящий вначале предъявляет свой идентификатор (объявляет, кто он такой), а затем система определяет, принадлежит ли распознаваемый голос диктору с указанным идентификатором или нет. При росте числа пользователей время принятия решения не увеличивается и является постоянным для различного числа пользователей. Это определяет возможность более широкого применения систем верификации, чем систем идентификации.

К настоящему моменту в нашей стране и за рубежом реализованы системы автоматической идентификации по голосу, большинство из которых строятся по единой концептуальной схеме:

- производится регистрация пользователя и вычисляется шаблон;

- выбираются участки речевого потока для дальнейшего анализа;

- осуществляется первичная обработка сигнала;

- вычисляются первичные параметры;

- строится «отпечаток» (шаблон) голоса;

- производится сравнение «отпечатков» голосов и формируется решение по идентичности голосов или «близости» голоса к группе голосов.

В поисках путей решения проблемы адекватной системы описания отдельных фонем в работах [3, с. 24-33], [4, с. 26-31] само понятие «фонема» впервые было строго определено в теоретико-информационном смысле как «множество однородных минимальных звуковых единиц (МЗЕ), объединенных в кластер по критерию минимального информационного рассогласования (МИР) в метрике Кульбака-Лейблера. Условно говоря, человеческий мозг объединяет и запоминает в себе как нечто целое (в виде абстрактного образа) разные образцы (произношения) каждой отдельной фонемы в соответствующей сфере своей памяти вокруг абстрактного центра с заданным радиусом (рис. 1) [1, с. 3-9].

О О

Рис. 1. Образцы произношения каждой отдельной фонемы в соответствующей сфере

Несмотря на существующие различия в реализациях фонем одного диктора, все они воспринимаются человеком как нечто общее, иначе речь утратила бы свою информативность. Можно поэтому утверждать, что одноимен-

ные реализации

Г ,Г

Г = 1, J , J >> 1

^ Г Г

в сознании человека группируются в соответствующие классы или речевые образы фонем

X = {х } , Г = 1,К вокруг некоторого центраг-' эталонной метки данного образа. В информационной теории восприятия речи

указанные эталоны определяются в строгом теоретико-информационном смысле [3, с. 24-33]:

речевая метка х* с X создаёт информационный центр-эталон г-го речевого образа, если в пределах множества X она характеризуется минимальной суммой информационных рассогласований (ИР) по Кульбаку-Лейблеру относительно всех других его меток-реализаций

х ., ] = 1, J .

Г Г г

Нетрудно увидеть, что именно в понятии

информационного центра (ИЦ) г-го множества реализаций X даётся наиболее информативное описание свойств соответствующей фонемы. Одновременно становится очевидным и механизм формирования самого этого множества. Анализируемый (входной) речевой сигнал X ) в дискретном времени t = 0,1,... сначала разбивается на ряд последовательных сегментов данных х^) длиной в одну МЗЕ: примерно 10-15 мс. После этого каждый такой парциальный сигнал рассматривается в пределах конечного списка фонем } и отождествляется с той из них, которой отвечает минимум информационного рассогласования (МИР) между вектором х(^) и соответствующим эталоном х*, у < к . Это известная [4, с. 26-31] формулировка критерия МИР в задачах автоматического распознавания речи. Задача существенно упрощается, если воспользоваться гауссовой (нормальной) аппроксимацией закона распределения каждой фонемы вида р = N (К ), где К - автокорреляционная

Г \ Г > Г

матрица (АКМ) размера п х п, п > 1.

Голос формируется из комбинации физиологических и поведенческих факторов. В настоящее время идентификация по голосу используется для управления доступом в помещения средней степени безопасности, например, лаборатории и компьютерные классы. Идентификация по голосу удобна, но в то же время не так надёжна, как другие биометрические методы. Например, человек с простудой или ларингитом может испытывать трудности при использовании данных систем. Существует также возможность воспроизведения звукозаписи с магнитофона.

Особенности фонетического строя речи

В связи с тем, что голосовая автоматическая идентификация дикторов бесконтактна и не требует от человека особых усилий, в России и за рубежом активно ведутся работы по созданию голосовых замков и систем ограничения доступа к информации. Интерес к этой тематике активно повышается за счёт того, что, по прогнозам, наличие голосовых интерфейсов обмена информацией должно стать стандартом для

карманных компьютеров и сотовых телефонов. Автоматическое распознавание дикторов - это один из важных фрагментов будущих голосовых интерфейсов. На сегодняшний день существует два различных подхода к решению задачи биометрической идентификации человека по голосу. Оба этих подхода построены на учёте структуры речевого сигнала. В свою очередь структура речевого сигнала образуется последовательностью всплесков колебаний и пауз между ними (рис. 2).

Рис. 2. Пример голосовой фразы

и выделения из неё 8-ми фрагментов

Всего в русской речи выделяют 42 фонемы, но далеко не все они пригодны для идентификации человека [3, с. 24-33]. К хорошо согласованным (колебательным) фонемам относятся звуки «э», «о», «л», «а», «и». Они носят ярко выраженный индивидуальный характер. К шипящим (шумоподобным) фонемам относятся звуки «ц», «ч», «ш», «щ». Они не носят индивидуального характера, использовать их при идентификации диктора нельзя. Существует и некоторая промежуточная группа фонем, достаточно вокализованных, но в то же время имеющих значительную шумовую составляющую.

Вычисления фонем повторяются циклически для всех последующих сегментов данных из речевого сигнала X), причём повторятся «нарастающим итогом» для переменного значения Я=2,3,... Каждый очередной сегмент данных сопоставляется по правилу одновременно со всеми Я множествами {X^} из текущего списка фонем. При этом не исключается возможность объединения одного и того же сегмента данных с элементами одновременно нескольких разных множеств. В результате будем иметь список фонем с некоторым фиксированным числом элементов R*. Это важная характеристика как речевого сигнала, так и самого диктора. Чем больше значение R* для конкретного диктора, тем богаче с фундаментальной, фонетической точки зрения его речь.

В данном выводе и состоит, по-видимому, главный смысл и назначение фонетического анализа речи (ФАР). Однако здесь же присутствует и очевидная проблема: чрезмерно большое

число фонем в речи диктора - это признак её нечёткости, неинформативности. С точки зрения качества устной речи первостепенный интерес, безусловно, представляет собой множество чётких МЗЕ, что и следует считать основным итогом ФАР. Поэтому логика подсказывает: после выполнения всех указанных вычислений некоторые «фонемы» из окончательного списка можно исключить как маргинальные.

Добавим к сказанному, что предложенный алгоритм имеет множество разнообразных модификаций за счёт применения рекуррентных вычислительных процедур корреляционно-спектрального анализа [3, с. 24-33]. Среди них наибольший интерес представляет метод обеляющего фильтра (МОФ) [4, с. 26-31], основанный на авторегрессионной модели МЗЕ.

Исследователями [5, с 297-303] было показано, что в асимптотике, когда п ^ ю, и при гауссовом распределении речевого сигнала р = N (К ) с обратной АКМ ленточной структуры, выражение для оптимальной решающей статистики сводится к виду:

1 V

р =— V

x, r f +1 ^

F +1 f = 0

1 + V ar (m)e

m=1

-jnmf / F

2

--1 > 0.

1 + V ax (m)

- jnmf / F

m = 1

Здесь {ах (т)}, (т)} - два вектора АР-коэффициентов: входного сигнала и г-го эталона, оба одного порядка р>1. Это стандартная формулировка МОФ в частотной области. Преимуществом данной интерпретации критерия МИР является, прежде всего, возможность его эффективной реализации в адаптивном варианте на основе быстрых вычислительных процедур АР-анализа, таких как метод Берга и др. [4, с. 26-31]. Именно такой вариант МОФ был реализован в дальнейшем для проведения его экспериментальных исследований в типовой задаче ФАР.

Следует обратить внимание на то, что вокализованные фрагменты речи имеют явно выраженный периодический (колебательный) характер. Период и характер колебаний весьма и весьма индивидуальны. В этом легко удостовериться, сравнивая внутренние колебания одинаковых вокализованных участков речи одного и того же человека с другим человеком.

В ходе исследования выяснилось, что формы внутренних колебаний периодических переходных процессов для одного диктора на одном фрагменте одной и той же фразы очень

2

похожи. В частности, практически совпадает число внутренних колебаний, постоянная их затухания и период повторения колебательных процессов (период основного тона). У другого диктора оказываются существенно иными и период основного тона, и форма внутренних колебаний переходных процессов. Всё это свидетельствует о близости частотных спектров голосовых фраз одного человека и существенном их отличии от спектра аналогичной фразы, но произнесенной другим человеком.

Индивидуальные различия распределения мощности сигнала по спектру положены в основу первых систем биометрической аутентификации человека по голосу. Они строятся на базе гребёнки узкополосных фильтров, выделяющих из голоса колебания разных частот. Заметим, что полосы пропускания разделяющих фильтров подбираются при проектировании биометрической системы, но полосовые фильтры не могут быть слишком узкими. Система не должна быть чувствительной к собственным вариациям частотного спектра голоса человека. С другой стороны, информации о распределении спектральной плотности должно быть достаточно для уверенной идентификации человека. Обычно используют гребёнку из 16-ти фильтров, которые, по аналогии с гребёнкой вокодеров, расширяются по мере роста значений выделяемой частоты. Это связано с тем, что высокие частоты менее стабильны по энергии в сравнении с низкими частотами.

Системы спектрального анализа голоса обучаются, периодически запоминая распределение энергий по 16-ти каналам. Периодичность опроса каналов составляет порядка 35-ти миллисекунд. В итоге получается достаточно большой массив данных, соответствующий анализируемому слову (фразе). Если подобные системы воспроизводятся программно, то стараются использовать входные данные снятые с частотой 16 кГц 16-разрядным АЦП, что связано с особенностями реализации гребёнки цифровых фильтров. Решение об эквивалентности полученной фразы эталону принимается любым известным на сегодня аппаратом. Может быть использован классический аппарат математической статистики. Та же задача решается в нейросетевом базисе. Всё определяется традициями и взглядами разработчика биометрической системы. Независимо от используемого математического инструмента, при корректном его использовании, конечные результаты оказываются сопоставимы.

Программа экспериментальных исследований

Эксперимент состоял из двух этапов. На первом этапе были выбраны двадцать наиболее распространённых фонем русского языка: «а»,

«о», «у», «э», «ш», «щ», «р», «с», «в», «з», «ж», «и», «л», «л'», «ф», «х», «ч», «е», «ы», «м». Все они последовательно во времени, многократно (в разных реализациях) проговаривались в микрофон группой из десяти дикторов разного возраста, мужчины и женщины - в режиме продолжительного (до 1с), достаточно информативного звучания. Полученные сигналы через АЦП (частота дискретизации 8 кГц) были записаны в память ПК в виде соответствующих звуковых файлов для последующего анализа.

На втором этапе идентификация дикторов осуществлялась по требованиям ГОСТ 16600-72 «Передача речи по трактам радиотелефонной связи. Требования к разборчивости речи и методы артикуляционных измерений». В соответствии с ГОСТ 16600-72 были выбраны тексты фраз и команд последовательно во времени, многократно (в разных реализациях) проговаривались в микрофон группой из десяти человек разного возраста, мужчины и женщины - в режиме продолжительного (до 1 мин.), достаточно информативного звучания. Полученные сигналы через АЦП (частота дискретизации 8 кГц) были записаны в память ПК в виде соответствующих звуковых файлов.

Для реализации предложенных экспериментальных исследований был разработан лабораторный образец информационной системы фонетического анализа слитной речи (ИС ФАР). Данная система представляет собой фонетический анализатор. Варианты применения такого анализатора можно привести из самых различных областей. Это может быть, например, задача анализа качества речи по её фонетическому составу как для отдельного диктора, так и для идентификации диктора по голосу. В качестве прикладной задачи используем текстонезависимую идентификацию разных дикторов по голосу в режиме реального времени.

ИС обеспечивает выполнение следующих возможностей:

- автоматическое выделение фонем из входных данных;

- обработка фонем;

- хранение фонем;

- визуализация полученных результатов;

- текстонезависимая идентификация дикторов по голосу.

Ниже представлена блок-схема ИС ФАР (рис. 3).

Блоки, ограниченные штриховой линией, выполнены в виде соответствующих программных модулей и составляют, собственно, информационную систему. Звуковой сигнал поступает с микрофона М на предусилитель МПУ, который осуществляет его усиление и преобразование в цифровой вид. Преобразованный таким об-

Рис. 3. Блок-схема ИС ФАР: М - динамический микрофон AQG D77 S; МПУ - микрофонный предусилитель со встроенным аналого-цифровым преобразователем; БВД - блок ввода данных; БВР - блок вывода результатов; БД - база данных; БОД - блок обработки данных; АТР - подсистема автоматического транскрибирования речевых сигналов

разом сигнал поступает по шине USB в персональный компьютер, где осуществляется его запись в звуковой файл. Этот файл считывается БВД, где осуществляется его предварительная обработка, анализ и запись полученных результатов в базу данных в соответствии с выбранным режимом обработки.

БВР осуществляет извлечение данных из БД, соответствующих требуемому критерию, и отображение их в виде, удобном для пользователя. БОД предназначен для организации возможности работы с группами дикторов и формирования входных данных для БВР.

Подсистема АТР позволяет производить отображение в различных режимах и автоматическую разметку входного сигнала на фонемы в соответствии со списком фонем какого-либо диктора из БД. Кроме того, возможно озвучивание выбранных фрагментов сигнала, сохранение результатов транскрибирования в текстовый файл и анализ получаемых результатов.

Информация, содержащаяся в БД, может быть как непосредственно считана БВР, так и поступать в БВР через БОД.

Интерфейс ИС ФАР состоит из главной формы, на которой отображаются дикторы, внесённые в БД и главное меню программы. При выборе любого диктора из списка, в правой части окна отображается краткая информация о нём. Кроме того, при помощи имеющегося меню, можно выбирать различные режимы работы, загрузки, сохранения и отображения данных. Нами представлен общий вид интерфейса ИС ФАР (рис. 4).

Информационная

Файл Дикторы Группы Инструменты Помощь

J^Jxj

Список дикторов

Идент Надя Идент Рома Идент Саша ИДЕНТИФИКАЦИЯ рома,в ас я.саша ,надя,ле КОЧЕТ КОВ А НАДЯ Надя-мандарин Рома-мандарии Роман А

— Информация о дикторе-

Пол мужской Возраст 25 Регион Нижегородская область Число фонем 1083

-г

I

Порядок АР-модели Порог по сегментации

Порог по ВИР одноименных ЭРЕ нового диктора

Порог по длине ЭРЕ

Порог по ВИР одноименных ЭРЕ б группе

^jnjxj

d

Фонема /рома/ Фонема /рома/ Фонема /рома/ Фонема ^ома/ Фонема ^ома/ Фонема ¡рома/ Фонема /рома/

Изменить название...

Экспорт данных...

—Параметры группы дикторов-

Название группы:

Спекральная плотность мощности Фонемы

Относительная частота Временная диаграмма

— Параметры воспоизведения— Тип фонемы

i* Вокализованная С Невокализованная Частота основного тона, Гц

Громкость

1_Ш

Длительнеегь, с

-Отображена

jß СПМ.

ВТ клп

Рис. 4. Общий вид интерфейса ИС ФАР Научно-практический журнал. ISSN 1995-5731

В процессе эксперимента на сегментирование подавались фразы отдельных дикторов и проводилась идентификация одного из них посредством подсчёта распознанных фонем. Решение о принадлежности произнесённой фразы конкретному диктору принимается автоматически после подсчёта всех распознанных фонем и вычисления доминирующих фонем среди всех остальных, что представлено ниже (рис. 5).

На рисунке видно, что в произнесённой фразе всего выделено 759 фонем, из них 609 принадлежат диктору «рома», а 150 - распознаны как «ложные», похожие на фонемы других дикторов. Таким образом, по большему количеству принадлежащих определённому диктору фонем, можно идентифицировать, кто произнёс фразу. При этом в системе «ИС ФАР» нет привязки к произнесённым командам и фразам, осуществляется автоматическая текстонезависимая идентификация диктора.

В ходе решения поставленной задачи были получены следующие результаты.

1. Благодаря применению МОФ в задаче ФАР удаётся резко сократить вычислительную сложность решаемой задачи идентификации и одновременно в полной мере использовать оптимальные свойства решающей статистики МИР.

2. Проанализирован процесс речеобразо-вания и исследована работа артикуляторного

аппарата человека, на этой основе выработаны пути построения модели идентификации голосового сообщения.

3. Произведён обзор и анализ методов, которые могут использоваться при идентификации голосового сообщения - нейросети, частотные цифровые фильтры, Фурье-анализ, кепстральный анализ, методы машинного обучения, векторное квантование, гауссовы смеси и вейвлет-анализ. Показана предпочтительность выбора Фурье-анализа как основы построения модели.

4. Построена структурная схема модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса.

5. Спроектирована структура базы данных голосовых сообщений для тестирования и статистической оценки качества работы предложенной модели.

Исследования осуществлены в терминах универсального теоретико-информационного подхода и информационной теории восприятия речи [1, с. 3-9]. Их главная цель - создание необходимой методологической и программной базы для дальнейшей конструкторской разработки системы идентификации диктора по голосу.

Материалы поступили в редакцию 15.08.2012 г

Рис. 5. Окно выполнения идентификации диктора по количеству фонем

Библиографический список

1. Савченко В. В. Информационная теория восприятия речи [Текст] // Известия высших учебных заведений России. - Радиоэлектроника.

- 2007. - Вып. 6. - ISSN 1993-8985.

2. Савченко В. В. Автоматическое распознавание элементарных речевых единиц методом обеляющего фильтра [Текст] / В. В. Савченко, Д. Ю. Акатьев, Н. В. Карпов / / Известия высших учебных заведений России. Радиоэлектроника.

- 2007. - Вып. 4. - ISSN 1993-8985.

3. Савченко В. В. Теоретико-информационное обоснование гауссовой модели сигналов в задачах автоматического распознавания речи [Текст] // Известия высших учебных заведений России. Радиоэлектроника. - 2007. - Вып. 1. -ISSN 1993-8985.

4. Савченко В. В. Оптимизация авторегрессионной модели сигналов в задаче автоматического распознавания речи [Текст] / В. В. Савченко, И. В. Губочкин // Известия высших учебных заведений России. Радиоэлектроника. - 2007.

- Вып. 2. - ISSN 1993-8985.

5. Савченко В. В. Анализ фонетического состава речевых сигналов методом переопределённого дерева [Текст] / В. В. Савченко, Н. В. Карпов // Системы управления и информационные технологии. - 2008. - Вып. 2. - ISSN 1729-5068.

6. Савченко В. В. Фонетический анализ речи методом переменного дерева [Текст] / В. В. Савченко, И. В. Губочкин // Известия высших учебных заведений России. Радиоэлектроника.

- 2007. - Вып. 3. - ISSN 1993-8985.

1. Savchenko V. V. Informacionnaja teorija vosprijatija rechi [Tekst] // Izvestija vysshih uchebnyh zavedenij Rossii. - Radiojelektronika. -2007. - Vyp. 6. - ISSN 1993-8985.

2. Savchenko V. V. Avtomaticheskoe raspoznavanie jelementarnyh rechevyh edinic metodom obeljajuwego fil'tra [Tekst] / V. V. Savchenko, D. Ju. Akat'ev, N. V. Karpov // Izvestija vysshih uchebnyh zavedenij Rossii. Radiojelektronika. -

2007. - Vyp. 4. - ISSN 1993-8985.

3. Savchenko V. V. Teoretiko-informacionnoe obosnovanie gaussovoj modeli signalov v zadachah avtomaticheskogo raspoznavanija rechi [Tekst] // Izvestija vysshih uchebnyh zavedenij Rossii. Radiojelektronika. - 2007. - Vyp. 1. - ISSN 19938985.

4. Savchenko V. V. Optimizacija avtoregressionnoj modeli signalov v zadache avtomaticheskogo raspoznavanija rechi [Tekst] / V. V. Savchenko, I. V. Gubochkin // Izvestija vysshih uchebnyh zavedenij Rossii. Radiojelektronika. - 2007. -Vyp. 2. - ISSN 1993-8985.

5. Savchenko V. V. Analiz foneticheskogo sostava rechevyh signalov metodom pereopredeljonnogo dereva [Tekst] / V. V. Savchenko, N. V. Karpov // Sistemy upravlenija i informacionnye tehnologii. -

2008. - Vyp. 2. - ISSN 1729-5068.

6. Savchenko V. V. Foneticheskij analiz rechi metodom peremennogo dereva [Tekst] / V. V. Savchenko, I. V. Gubochkin / / Izvestija vysshih uchebnyh zavedenij Rossii. Radiojelektronika. -2007. - Vyp. 3. - ISSN 1993-8985.

I ППТТПИГиПИ Uli TTUirr I

I

I

I

ПОДПИСНОЙ ИНДЕКС ПО КАТАЛОГУ АГЕНТСТВА «РОСПЕЧАТЬ»

I

I

I

36829