CC BY
143
А.Н. Голубинский,
кандидат технических наук
МЕТОДЫ АНАЛИТИЧЕСКОГО РАСЧЁТА ВЕСОВЫХ КОЭФФИЦИЕНТОВ МЕРЫ РАЗЛИЧИМОСТИ НА ПРИМЕРЕ ЗАДАЧИ ВЕРИФИКАЦИИ ЛИЧНОСТИ ПО ГОЛОСУ
METHODS OF ANALYTICAL CALCULATION OF WEIGHT COEFFICIENTS OF THE MEASURE OF DISTINGUISHABILITY ON AN EXAMPLE OF A PROBLEM OF VERIFICATION OF THE PERSON ON A VOICE
Разработано три метода аналитического расчёта весовых коэффициентов меры различимости для верификации личности по голосу. Даны практические рекомендации по вычислению весовых коэффициентов и порога верификации.
Three methods of analytical calculation of weight coefficients of the measure of distin-guishability for verification of the person on a voice are designed. Practical recommendations about computation of weight coefficients and a verification threshold are given.
В настоящее время системы управления, безопасности, связи и информационные системы часто используют аутентификацию личности для различных целей. При этом идентификация (установление) и верификация (подтверждение) личности по голосу [1] находят широкое применение в системах для ограничения несанкционированного доступа к информационным или материальным ресурсам на основе биометрической голосовой информации человека.
В системе верификации личности по голосу тех говорящих, которые заявляют истинную идентичность, можно называть «своими», в то время как говорящих, заявляющих ложную идентичность, можно называть «чужими». При оценке говорящих система верификации говорящего может делать ошибки двух типов: ложное отклонение и ложный допуск. Ошибка ложного отклонения (ошибка первого рода — вероятность ложной тревоги) имеет место, когда «свой» заявляет истинную идентичность, но система верификации говорящего его отвергает. Когда «чужой» получает допуск с помощью системы верификации говорящего, имеет место ошибка ложного допуска (ошибка второго рода — вероятность пропуска цели). Также можно характеризовать обнаружение сигнала средней вероятностью ошибки, которая определя-
ется как половина от суммы ошибок первого и второго рода. Решение принять или отвергнуть идентичность зависит от порога верификации. В зависимости от цены ошибки каждого типа система может быть спроектирована так, чтобы достичь компромисса между одним типом ошибки и другим.
Однако на пути проектирования системы верификации личности по голосу стоит задача определения весовых коэффициентов, определяющих степень вклада каждого из существенных параметров речевого сигнала в меру различимости двух голосов. Данная задача, как правило, решается эмпирическим путём, основанным на согласовании подобранных весовых коэффициентов с результатами верификации на этапе обучения системы.
Цель работы — разработка методов аналитического расчёта весовых коэффициентов меры различимости для верификации личности по голосу.
Приведём наиболее часто используемые меры различимости (близости или степени сходства), применяемые для верификации и идентификации личности по голосу на основе параметров речевого сигнала или его математической модели:
1) сумма квадратов ошибок (СКО) [2] — между параметрами речевого сигнала (или его математической модели) верифицируемого диктора и параметрами речевого сигнала (математической модели) эталонного диктора:
D = £ЛГ -Л?)\ (1)
i=1
где Лэт и лвер — значения i-го параметра математической модели речевого сигнала
эталонного и верифицируемого дикторов соответственно; I — количество сущест-
венных параметров математической модели, взятых для сравнения в процессе верификации;
2) СКО, делённая на количество точек, взятых для сравнения:
D = ЦЛ-Л")2, (2)
1 i=1
3) квадратный корень из СКО, делённой на количество точек, взятых для сравнения [3]:
D =
11 Л -Л” )2; (3)
4) взвешенная СКО [2,4]:
D = £ о, (Л”р -ЛГ )2, (4)
i=1
где о, — весовые коэффициенты, выбираемые на основе значимости i-го параметра речевого сигнала верифицируемого (идентифицируемого) диктора. Заметим, что, как правило, весовые коэффициенты стараются нормировать (обычно к единице):
I
Е«г = 1; (5)
i=1
5) взвешенная СКО, делённая на количество точек, взятых для сравнения;
6) нормированная (на сумму квадратов эталонных параметров) СКО;
7) взвешенная нормированная СКО;
8) корень из нормированной СКО;
9) сумма модулей разностей между параметрами экспериментальных данных и модели (возможны и её модификации, вводимые по аналогии с мерами 2—8);
10) мера различимости, на базе ковариационной матрицы весовых коэффициентов, в предположении о нормальном распределении параметров речевого сигнала [2].
Вычисленная каким-либо образом мера различимости D сравнивается с порогом D0, при этом, если порог не превышен:
D < Do, (6)
диктор верифицирован (принят), т.е. система приняла решение: диктор «свой», а при условии
D > D0 (7)
— не верифицирован (отклонён), т.е. система приняла решение: диктор «чужой».
Набор весов о; и порог D0 определяются в процессе обучения системы [4,5], и в общем случае для каждого верифицируемого диктора могут быть различными.
Следует отметить, что наилучшие результаты, как меры различимости, даёт взвешенная СКО [2,4], при этом мера (4) является самой простой формой записи, удобной для практической верификации и идентификации. Однако для применения меры (4) необходимо оценить значения весовых коэффициентов о,, дающих оптимальный вклад в меру различимости D при условии высокой точности верификации. Вычисление весовых коэффициентов о,, как правило, проводится методом чисто случайного поиска или методом случайных возмущений [6], с последующей адаптацией к результатам эксперимента.
Таким образом, стоит задача расчёта весовых коэффициентов о,, входящих в меру различимости D сравниваемых речевых сигналов, при этом получаемые весовые коэффициенты должны быть оптимальны в смысле поставленного критерия.
Качество работы (точность) систем верификации и идентификации личности по голосу принято характеризовать тремя следующими параметрами [5]:
1) вероятностью ошибки первого рода а, т.е. вероятностью отказа в допуске «своему»;
2) вероятностью ошибки второго рода р, т.е. вероятностью допуска «чужого»;
3) средней вероятностью ошибки:
Pe = 1 (а + Р). (8)
Говорят, что система верификации работает наилучшим образом при а, р ^ 0 или Pe ^ 0 .
Исходя из вышеизложенного, в данной работе представлено три разработанных метода аналитического расчёта весовых коэффициентов меры различимости применительно к задаче верификации личности по голосу:
1) на основе минимизации вероятности ошибки первого рода а при фиксированном пороге принятия решения D0 (минимум суммарной квадратичной метрики между «своими» и эталоном D™ );
2) на основе минимизации вероятности ошибки второго рода р при фиксированном D0 (максимум суммарной квадратичной метрики между «чужими» и эталоном Dr);
3) на основе минимизации средней вероятности ошибки Pe при фиксированном D0 (минимум обобщённой метрики D^f = D™ + D^*).
Рассмотрим первый предлагаемый метод аналитического расчёта весовых коэффициентов меры различимости на примере математической модели в виде импульса АМ-колебания с несколькими несущими частотами [7]. В рамках данной математической модели существенными параметрами речевого сигнала, отвечающими за уникаль-
ность голоса диктора при произнесении парольной фразы, являются: частота основного тона /0 и амплитуды первых шести гармоник и0, и 1и5, включая низкочастотную (нулевую) составляющую и0. Тогда меру различимости (4), применительно к нашему случаю, можно переписать следующим образом:
мые на этапе обучения (введения эталонов) системы. Число сравниваемых амплитуд гармоник (К +1), как правило, равно шести, т.е. общее количество весовых коэффициентов существенных параметров математической модели речевого сигнала равно семи.
В качестве критерия для аналитического расчёта весовых коэффициентов выберем минимум суммы квадратов мер различимости для всех реализаций конкретного эталонного диктора для определённой парольной фразы:
где О™ — результирующая метрика (целевая функция) «своих» относительно эталона;
Орв — мера различимости между эталонной реализацией парольной фразы диктора и
другими реализациями этой же парольной фразы данного диктора; Р — количество реализаций (произнесений) парольной фразы диктором на этапе вычисления весовых коэффициентов юг-. Заметим, что при использовании предлагаемого критерия (10) необходимо иметь несколько (как минимум две) реализаций, произнесённых эталонным диктором на этапе обучения системы верификации.
Критерий (10) соответствует случаю, когда реализации (произнесения парольной фразы) для эталонного диктора принимаются за «своего» максимальное количество раз при наименьшем значении порога О0. То есть, применение данного критерия при минимальном пороге верификации О0 обеспечит минимальную вероятность ошибки первого рода а.
Для удобства дальнейшего анализа введём следующие обозначения:
г эт Т Т эт т т эт ^ ^
где /0 ,и0 ,...,и5 — параметры математической модели речевого сигнала эталонной реализации парольной фразы диктора; /0с®, исСр,., и5свр — параметры математической модели речевого сигнала р-й реализации парольной фразы диктора. Тогда меру различимости Орв можно записать в виде:
к
(9)
где ®и , — весовые коэффициенты (их общее количество равно К + 2), определяе-
k=0
f
(10)
(11)
7
(12)
і=1
Таким образом, минимальная метрика (ошибка) тіпО™ :
Для нахождения оптимальных в смысле заданного критерия (10), весовых коэффициентов а, необходимо минимизировать метрику О™, приравняв к нулю производные О™ по каждому из коэффициентов а,. В результате полученную систему линейных уравнений необходимо решить относительно а,.
При отсутствии ограничений на весовые коэффициенты а, мы получим тривиальный случай решения — при у, j > 0 следует, что а, = 0. Данный результат очевиден, так как, действительно, минимальное значение суммарного критерия будет соответствовать случаю О™ = 0, наступающему при а, = 0. Разумеется, данный результат неприемлем для практического применения в связи с тем, что, установив порог О0 ^ 0 при а ^ 0, мы получим значительное увеличение значения р ^ 1 (Ре ^ 0,5).
Введём дополнительное условие нормировки весовых коэффициентов (5). Исходя из данного условия, определим а1:
7
а1 = 1 - Ёа, .
1=2
В этом случае, учитывая (12) и (14), получим:
Р ( 7 Л2
= ЁI к,р + Ё а (у^р - ^1,р) .
р=1 V 1=2 )
(14)
(15)
Для определения точек экстремума приравняем к нулю первые производные П по каждому из коэффициентов а,.
№= 0 і = 2,7.
1 д2 ’ '
В результате получим систему из шести линейных уравнений:
7 (Р ^ Р
Ягір -У2,р)(У1,р -Уі,р) а=ЁУ^р -У2,р);
(16)
Я
і=2ЧР=1
7(Р
Я
і=2
Я(У],р -Уэ,р)(У1,р -Уі,р) а=ЯУ],р(У],р -Уэ,р); \р=1 ) р=1
р=1
Р
(17)
7(Р
Л
Ё Ё(У],р -У7,р)(У1,р -Уц,) а = ЁУ],р(У1,р -У7,р)-1=2'уР=1 ) Р=1
Определим тип полученных из решения системы (17) точек экстремумов, для этого вычислим вторые производные П™ по каждому из коэффициентов а,:
д2 О
да,2
= Я(Гг,Р -ГиР )2 > 0, і = 2,7.
(18)
р=1
Как видно из выражения (18), вычисленная точка экстремума — гарантированный минимум, что и требовалось получить.
Решение системы линейных уравнений (17) относительно коэффициентов а, представляет собой аналитический расчёт весовых коэффициентов а, меры различимости П в рамках поставленного критерия (10). При этом для минимального порога обнаружения П0 истинный «свой» будет отклонён минимальное количество раз на этапе обучения системы верификации, т.е. минимизируется а .
Р
Следует отметить, что, зная аналитически вычисленные значения весовых коэффициентов а,, порог верификации П0 необходимо выбирать на этапе обучения системы исходя из условия обеспечения минимального значения средней вероятности ошибки. То есть, минимизировав а, на основе критерия для вычисления а,, порог верификации П0 выбираем из условия минимизации р.
Заметим, что предложенный метод аналитического расчёта весовых коэффициентов меры различимости может быть использован как для задачи верификации, так и для задачи идентификации личности по голосу.
Для удобства вычисления коэффициентов а, запишем систему уравнений (17) в матричной форме:
Лы=Б, (19)
здесь ы — матрица-столбец размером 6 х 1 с элементами а,, 1 = 2,7; Л — квадратная
матрица 6 х 6, с элементами
р ___
А}, = ё (У1,р -у ],р)( У1,р -у г,р); j’i = 27 (20)
р=1
Б — матрица-столбец 6 х 1, с элементами
р
В] = Ё У1,р(У1,р -У},р) . (21)
р=1
Учитывая выражения (20) и (21), перепишем систему (17) в виде:
Ё Ал а, = В] , ] = 2/7. (22)
11=2
В матричной форме записи решение системы (17) представляется как ы=Л-1Б. (23)
Решение данной линейной системы уравнений (23) относительно <$\ можно проводить различными известными способами. При этом выбор системы уравнений (17) или (19) относительно <$\ зависит от используемого метода решения системы и удобства практических вычислений в конкретной программе, применяемой для расчётов.
Рассмотрим вычислительную особенность расчёта весовых коэффициентов меры различимости по данному методу. Для вычислений будем использовать персональную ЭВМ, ввод речевого сигнала в которую выполняется с помощью звуковой платы, со стандартной частотой дискретизации =6000 Гц. Данная частота была выбрана вследствие того, что первые 3-4 форманты находятся в области до 3000—3600 Гц [2,5]. Звуковые платы ЭВМ, как правило, добавляют различные постоянные составляющие в речевой сигнал. Время произнесения парольной фразы (длительность импульса речевого материала) зададим равной ти, при этом речевой сигнал имеет N = ти/А отсчётов.
Следует отметить, что при вычислении обратной матрицы в (23) для нахождения весовых коэффициентов а, определитель АЛ может оказаться величиной достаточно малого порядка (при этом АЛ Ф 0, т.е. матрица Л невырожденная или неособенная). Это может быть обусловлено квазипропорциональностью двух строк в матрице Л между собой (в ряде случаев пропорциональность между соответствующими элементами строк нарушалась только в 4-5-м знаке после запятой). Данная квазипропорциональность может наблюдаться либо вследствие малого разброса параметров математической модели для разных реализаций одного и того же диктора, либо из-за больших значений элементов А], матрицы (например, при отсутствии дополнительной нормировки на коэффициент а? могут быть большими (у1 р - у, р), а следовательно и А], ). Очень малые
значения определителя АЛ приводят к большим вычислительным погрешностям при расчёте элементов обратной матрицы Л-1 для квадратной матрицы Л размером 6 х 6 (несмотря на то, что данная матрица является симметричной).
Для решения этих вычислительных трудностей предлагается использовать псев-дообратную матрицу Л+ в характеризации по Муру—Пенроузу [8]. При этом для невырожденной квадратной матрицы:
Л+ = Л-1, (24)
АЛФ 0
т.е. в данном случае псевдообратная матрица равна обратной матрице. Следует отметить, что при А Л=0 псевдообратная матрица в характеризации по Муру—Пенроузу обеспечивает минимум невязки и минимум евклидовой нормы решения системы (19) [8].
Вычисление псевдообратной матрицы обходит проблему непосредственного расчёта определителя АЛ для вычисления Л-1 , это обусловлено тем, что псевдообрат-ная матрица Л+ вычисляется на основе так называемого скелетного разложения матрицы Л [8]. Следует отметить, что псевдообратная матрица Л+ может быть рассчитана, например, с использованием конструктивного метода Гревилля для последовательного нахождения псевдообратной матрицы [8].
Осуществляя проверку вычисления Л-1 и Л+ для квадратной матрицы Л различных размеров, в результате эксперимента установили, что элементы проверочных нулевых матриц ^ = ЛЛ~'1Л - Л = 0 и О = ЛЛ+Л - Л = 0 были следующих порядков (в программах Mathcad и Мар1е). Для матрицы Л размером:
4 8
- 2 х 2 максимальные элементы Р] , ~10" ; Оц ~10" ;
- 3 х 3 максимальные элементы Р], ~10"4; О], ~10"4;
2 4
- 4 х 4 максимальные элементы Р], ~10" ; О, ~10" ;
- 5 х 5 максимальные элементы Р], ~10 4; О], ~10"4;
Р
- 6 х 6 максимальные элементы ■],г ~10 16; О], ~10"5.
Таким образом, можно заключить, что применение псевдообратной матрицы Л+ в характеризации по Муру—Пенроузу целесообразно для вычисления обратной матрицы Л-1 формула (24) при малых значениях определителя АЛ .
Второй разработанный метод аналитического расчёта весовых коэффициентов меры различимости основан на минимизации вероятности ошибки второго рода р. Критерий для аналитического расчёта весовых коэффициентов а, зададим как максимум суммарной квадратичной метрики между параметрами априори «чужих» и эталонного дикторов £7ж для определённой парольной фразы:
м
тах[ге>'-]= тах -^(.ОГ)
Ф ; Ф
V
(25)
где О5™ — результирующая метрика «чужих» относительно эталона; — мера
различимости между эталонной реализацией парольной фразы эталонного диктора и реализациями этой же парольной фразы других дикторов; М — количество реализаций парольной фразы априори «чужими» дикторами. Заметим, что при использовании предлагаемого критерия (25) необходимо иметь как минимум по одной реализации, произнесённой эталонным и неэталонным дикторами. Критерий (25) соответствует случаю, когда реализации для неэталонного диктора принимаются за «чужого» максимальное количество раз при наибольшем значении порога О0, т.е. применение данного
т=1
критерия при максимальном пороге верификации Б0 обеспечит минимальную вероятность ошибки второго рода р. Введём следующие обозначения:
V = ( /■ чУж — /■эт)2 •
/ 1,т 0,т ^ 0 / •
/ /*чуж /*эт\2 .
1,m (J 0,m J 0
Г2,т = (Uоуж - U0эт)2;
(26)
Y7,m = (U5ЧУЖ - UD2,
5,m
где /ЧУЖ,UОУЖ,^,U^ — параметры математической модели речевого сигнала m-й
реализации парольной фразы неэталонных дикторов. При этом мера различимости
D^ с учётом условия нормировки (14):
M С 7 Л2
DГ =-Zkm +S®((Y,m -Yl,m) • (27)
m=1 V i=2 /
Для определения точек экстремума приравняем к нулю первые производные D^* по каждому из коэффициентов юг-, аналогично (16), в итоге получим систему из шести линейных уравнений, аналогичных (17). Решение полученной линейной системы уравнений можно записать, например, в матричной форме (23). Определим тип полученных из решения системы точек экстремумов, для этого вычислим вторые производные D^* по каждому из коэффициентов юг-:
Г д2 D чуж m _
\ д Е2 = (Y 1,m - Yi,m)2 < 0 , 1 = 27 . (28)
[ д®г m=i
Как видно из выражения (28), вычисленная точка экстремума является необходимым максимумом.
Третий разработанный метод по сущности объединяет результаты предыдущих двух методов. В данном методе ищется экстремум, который может быть как минимумом, так и максимумом для следующего обобщённого D£6 критерия:
P . . M . .
Df = + DT = 2^) -2(?Г) . (29)
p=1 m=1
Элементы матриц, определяющих решение линейной системы (23) относительно юг-, для данного случая:
P M
Aj,i = 2 (Y1,p - Y j,p)(Y1,p - Yi,p ) - 2 (Y1,m - Y j,m)(Y1,m - Yi,m) ; j,i = 2,7 ; (30)
p=1 m=1
P M
Bj = 2 Y1,p (Y 1,p - Yj,p^ - 2 Y 1,m (Y 1,m - Yjfm) . (31)
p=1 m=1
Точки экстремумов определяются вторыми производными D^f :
Г д 2 D об P M
\ д 2 = 2 (Yp - Yp )2 - 2 (Y 1,m - Yi,m )2 , 1 = 2’7 . (32)
[ 0®i p=1 m=1
Заметим, что минимум для данного критерия будет наблюдаться, если D2в > ^7ж|, а максимум, если D2в < |D^ |.
Третий метод соответствует случаю, когда при фиксированном (оптимальном) пороге принятия решения D0 одновременно реализации эталонного диктора принимаются за «своего», а также реализации для неэталонного диктора принимаются за «чужого» максимальное количество раз. То есть применение данного критерия при вы-
бранном (оптимальном) пороге верификации D0 обеспечивает минимальную среднюю вероятность ошибки Pe.
Заметим, что в общем случае значения полученных весовых коэффициентов юг-и мера различимости D могут быть как положительными, так и отрицательными, поэтому в правиле принятия решения (6) и (7) меру различимости следует брать по модулю |d|, т.е. наилучшее сходство параметров математических моделей наблюдается при
стремлении абсолютного значения меры различимости к нулю.
Таким образом, разработаны методы аналитического расчёта весовых коэффициентов меры различимости для верификации личности по голосу и рассмотрены на примере математической модели речевого сигнала в виде импульса АМ-колебания с несколькими несущими частотами. Даны практические рекомендации по вычислению весовых коэффициентов и порога верификации.
ЛИТЕРАТУРА
1. Сорокин В.Н. Фундаментальные исследования речи и прикладные задачи речевых технологий // Речевые технологии. — 2008. — № 1. — С. 18—48.
2. Рабинер Л.Р., Шафер Р.В. Цифровая обработка речевых сигналов. — М.: Радио и связь, 1981. — 496 с.
3. Патент РФ №2161826: МПК 7 G10L17/00, G10L11/04, G10L11/06, G10L15/06, G10L15/16. Способ автоматической идентификации личности / С.Л. Бочкарев, А.И. Иванов, В.В. Андрианов, В.Л. Бочкарев, В.А. Оськин. — № 98115720/09; за-явл. 17.08.98; опубл. 10.01.01.
4. Патент РФ №2230375: МПК 7 G 10 L 15/00, G 10 L 17/00. Метод распознавания диктора и устройство для его осуществления / П.В. Лабутин, А.Н. Раев, С.Л. Коваль. — № 2002123509/09; заявл. 03.09.02; опубл. 10.06.04.
5. Назаров М.В., Прохоров Ю.Н. Методы цифровой обработки и передачи речевых сигналов. — М.: Радио и связь, 1985. — 176 с.
6. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. — М.: Наука, 1973. — 832 с.
7. Голубинский А.Н. Обработка речевого сигнала на основе модели в виде импульса АМ-колебания с несколькими несущими частотами // Телекоммуникации. — 2008. — № 12. — С. 13—17.
8. Гантмахер Ф.Р. Теория матриц. — М.: ФИЗМАТЛИТ, 2004. — 560 с.
СВЕДЕНИЯ ОБ АВТОРЕ СТАТЬИ:
Голубинский Андрей Николаевич. Старший преподаватель кафедры радиотехники. Кандидат технических наук.
Воронежский институт МВД России.
E-mail: vorhmscl@comch.ru
Россия, 394065, г. Воронеж, проспект Патриотов, 53. Тел. (4732) 476-472.
Golubinskiy Andrey Nikolayevich. The senior lecturer of the chair of radio engineering. Candidate of technical sciences.
Voronezh Institute of the Ministry of the Interior of Russia.
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (4732)476-472.
Ключевые слова к статье: весовые коэффициенты; мера различимости; аналитический расчет; верификация; речевой сигнал.
Keywords: weight coefficients; measure of distinguishability; analytical calculation; verification; speech signal.
УДК 621.39
