Параметрическая оптимизация структуры консолидирующего решения в биометрических системах идентификации личности Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 51-56

ПАРАМЕТРИЧЕСКАЯ ОПТИМИЗАЦИЯ СТРУКТУРЫ КОНСОЛИДИРУЮЩЕГО РЕШЕНИЯ В БИОМЕТРИЧЕСКИХ СИСТЕМАХ ИДЕНТИФИКАЦИИ ЛИЧНОСТИ

А.В. Тимофеев3

а JSK «EqualiZoom», Астана, Казахстан, timofeev.andrey@gmail.com

Работа посвящена строгому решению задачи параметрической оптимизации структуры консолидирующего классификационного решения для ансамбля независимых классификаторов. Оптимизированное консолидирующее решение обеспечивает минимум классификационной ошибки для экспоненциальной функции потерь. Свойства предложенного решения строго доказаны. Решаемая задача имеет актуальное практическое приложение в мультимодальных биометрических системах идентификации личности, когда консолидирующее идентификационное решение принимается по результатам независимых решений идентификационной задачи ансамблем мономодальных классификаторов, имеющих различные показатели эффективности функционирования. Также актуально использование предложенного подхода в мультимодальных системах мониторинга протяженных объектов при решении задачи классификации типа угрозы, по данным пространственно распределенной сети датчиков различной физической природы, которые характеризуются различными показателями точности измерения. Предложенное решение легко реализуется на практике и органично имплементируется в реально функционирующие системы. Имитационное моделирование предложенного подхода проводилось на специально сформированной бимодальной биометрической базе данных. Результаты имитационного моделирования показали высокую практическую эффективность предложенного метода. Ключевые слова: консолидирующее классификационное решение, минимум ошибки классификации, экспоненциальная функция потерь.

PARAMETRIC OPTIMIZATION OF THE MULTIMODAL DECISION-LEVEL FUSION SCHEME IN AUTOMATIC BIOMETRIC PERSON'S IDENTIFICATION

SYSTEMS A.V. Timofeev3

а JSK «EqualiZoom», Astana, Kazakhstan, timofeev.andrey@gmail.com

This paper deals with an original method of structure parametric optimization for multimodal decision-level fusion scheme which combines the results of the partial solution for the classification task obtained from assembly of the monomodal classifiers. As a result, a multimodal fusion classifier which has the minimum value of the total error rate has been obtained. Properties of the proposed approach are proved rigorously. Suggested method has an urgent practical application in the automatic multimodal biometric person's identification systems and in the systems for remote monitoring of extended objects. The proposed solution is easy for practical implementation into real operating systems. The paper presents a simulation study of the effectiveness of this optimized multimodal fusion classifier carried out on special bimodal biometrical database. Simulation results showed high practical effectiveness of the suggested method. Keywords: consolidating classification decision, minimum of classification error, exponential losses function.

Введение

В настоящее время биометрические системы идентификации личности последовательно развиваются в направлении использования мультимодального принципа, который обеспечивает более надежное решение задачи идентификации личности по ее биометрическим признакам в сравнении с обычными, мономодальными системами. В случае использования мультимодального принципа рассматривается ансамбль биометрических признаков, каждый из которых соответствует определенной биометрической модальности [1, 2]. Процесс комбинирования информации, поступившей с различных биометрических модальностей, принято называть мультимодальной биометрией [3, 4]. Эта область науки имеет множество прикладных аспектов. Например, в системах контроля доступа совместно используются биометрические параметры голоса, параметры цифрового изображения лица и отпечатки папиллярного рисунка пальцев. Практика показывает, что совместная обработка информации по всему ансамблю биометрических признаков во многих случаях позволяет кардинально повысить надежность решения задачи идентификации личности по биометрическим признакам [5-8]. Однако в силу различных причин на практике отсутствует техническая возможность решения идентификационной задачи с использованием совместного пространства первичных признаков для различных биометрических модальностей. Наоборот, для анализа доступны лишь результаты решения идентификационной задачи, реализованные в рамках соответствующих биометрических модальностей. Таким образом, консолидирующее идентификационное решение может изучаться в рамках проблемы комбинации классификаторов [2, 9], когда каждый классификатор соответствует определенной биометрической модальности, а консолидированное идентификационное решение ищется в классе выпуклых оболочек. В этом случае возникает задача оптимизации параметров выпуклой оболочки так, чтобы консолидирующее решение обеспечивало максимальную надежность идентификации личности. Известные методы решения аналогичной задачи, например [10-12], доставляют решение, оптимальное в смысле критерия Неймана-Пирсона. Однако в целом ряде практических приложений, например, в системах биометрического контроля доступа, важно настроить систему идентификации так,

чтобы достигался минимум суммы вероятностей ошибок первого и второго рода. Настоящая работа посвящена решению именно этой задачи.

Постановка задачи

Сделаем следующие допущения:

- объекты классификации могут принадлежать только одному из двух классов, которые обозначены «+1»и «-1»;

- N - число биометрических модальностей;

- каждая биометрическая модальность i, i e{1,...NJ, генерирует соответствующее многомерное пространство первичных признаков x(i), x(i-1 е X(i) , где X(i) - пространство признаков i-й биометрической модальности.

Таким образом, каждый подлежащий классификации объект описывается набором первичных признаков из многомерного параметрического пространства. Это многомерное параметрическое пространство состоит из N параметрических пространств X(i),i = 1,...N , соответствующих отдельным модальностям, и называется обобщенным пространством первичных признаков.

Суть задачи классификации объекта: анализируя многомерные признаки x(i), x(i) е X(i), i е {1,...Nj, классификатор должен принять решение о том, какому из двух классов принадлежит объект. Для конкретной биометрической модальности i результат классификации представляет собой так называемую дискриминантную функцию hi (•) или i-классификатор. В настоящей работе рассматривается случай N биометрических модальностей, поэтому мы имеем дело с N классификаторами h(•) = {h(•)|i e{1,2,...Njj. Множество классификаторов h(•) (ансамбль классификаторов), используется

для конструирования так называемой интегральной дискриминирующей функции (DFS - decision fusion solution). В настоящей работе рассматривается частный, но очень распространенный случай DFS, а именно: выпуклая оболочка множества функций h((•), i е {1,2,...Nj [5, 9]. Этот тип DFS называется «decision-

level fusion scheme» [3]. Итак, мы имеем N параметрических пространств X(i),i = 1,...N и классификаторы ht(x(i)),i = 1,...N, каждый из которых отображает соответствующий вектор признаков x(i) еX(i-1 на множество меток Y = {—1,1 j. Другими словами, каждый классификатор ht(x()),i = 1,...N показывает, какому из двух классов «+1» и «—1» соответствует вектор первичных признаков x(i) е X(i-1. Очевидна следующая запись: yt = ht (x(,)), i = 1,...N; yt е Y .

Каждый из классификаторов ht (x(,)), i = 1,...N зависит от векторов настроечных параметров 5« е Л«: h = ht (x(i) | 5(i)). Для каждого i = 1,...N задано соответствующее обучающее множество X(,), которое содержит m(i-1 образцов с априорно определенными метками классов. Таким образом, X(i) = {(xj'\ yf | j = 1, m() )j,

i = 1,...N . Эти множества используются для обучения группы классификаторов h (•). Обозначим:

- X = X(1) ® X(2)... ® X(N) - обобщенное пространство первичных признаков;

- X\X(к) = X(1) ®X(2)...®X(*-1) ®X(*+ч...®X(N);

- б =(5(1),5(2),...,5(n)) е Л(1) ® Л(2) ®...® Л(N) = А ;

- x = (x(1),x(2),...x(N)) е X ;

- x\ x(i) =(x(1),x(2),..,x(*-1),x(k+1)...x(N)) е X\X(i);

- h((б) = ( (x(1) | 5(1)),h2 (x(2) | 5(2)),...,hN (x(N) | 5(n) )) е RN ;

- a = (a1 ,a2,...,aN )е RN ;

- ht (x(*) |.) = ht (x(*)|5(i));

- события: та( (S®): {y * h, (x(i) | 5(i) )j, ю, (8(0): {y = h, (x(i) 1S«0 )j ;

- e(* | 5(i)) = E (*)~X(*) (та* (5(*))) - средняя тотальная ошибка (average total error) *-го классификатора;

- 1E (ю) - индикаторная функция события ю ;

- Е(б) = (s(1|5(1)),s(2|5(2)),...,s(N|5(N))).

Допустим:

- элементы обучающего и тестового множеств взаимно независимы и описываются неизвестным многомерным распределением Л;

- правило DFS H(x | ö) = H( (x(1) | 5(1)),h2 (x(2) | S(2)),...) настраивается (обучается) на множествах

,i = 1,...N , в результате этого обучения определяются параметры ö ; функция H(x | ö) отображает X на Y ;

- DFS H(X | ö) имеет форму H(x | ö) = ahT (x|ö) = £ аД. (x(i) |5(i));

i

- классификационная процедура, основанная на DFS, определяется согласно правилу

y(x | ö) = SIGN (H(x | ö)).

Целью настоящей работы является определение такого DFS H (x | ö), которое минимизирует средний риск Ex~X y (exp (y,ahT (x|ö))). Здесь L() - выпуклая функция потерь. Таким образом, при фиксированном векторе параметров ö е А, необходимо решить следующую оптимизационную задачу:

a* (ö) = Arg Inf (Ex~X,y (L (y,ahT (((|ö)))). (1)

В этом случае DFS H*(x | ö) = a*(ö)hT (x|ö), что полностью удовлетворяет требованиям постановки задачи. При этом a* (ö) = (a* (5(1)), a2 (5(2)),..., aN (5(N))) е RN.

Основной результат

Основным результатом представленной работы является следующая теорема.

Теорема 1. Для априорно заданного набора £(ö), вектора ö, решающей функции

H(x | ö) = ahT (x|ö) и экспоненциальной функции потерь справедливо: a* (ö)= Arg Inf IE- ILI yahT (x|,

i* (Ô) = Arg Inf (E-~x,y (L (yahT (x |ô)))) =

f 0,5ln f1 - «У 1,0,5lnf1 - £(2f) 1 ,...,0,5lnf1 - ^)} ^

е(1|5(1)) / ' { е(2|5(2)) /'"' ' { е(Ж|5(")) ,, Доказательство. Для доказательства теоремы приведем очевидную запись: Ж- X , (Ь (у, а^ (Х|8))) = Г 5Ex~X(Ь (У,а^ (Х|б))) дE-x~у (Ь (У,ahT (Х|б))) ^

~ X, y 1

За

ôaj За2

= 0.

Таким образом, мы имеем систему нелинейных уравнений:

^Х-X,У (Ь (^ р|8)))

-----У- =0, I = 1,...N . (2)

да(

Очевидно, что для получения решения (1) достаточно решить систему (2) относительно переменных а',а2,...,а^у при экспоненциальной функции потерь Ь(х) = ехр(-х). Иначе говоря, вектор а*, доставляющий (2), совпадает с вектором параметров из (1). Величина уа^ (х|8) называется классификационным зазором для гипотезы ^ (х|б). При фиксированном х соответствующая ему величина средних потерь определяется выражением Eу (ехр(-уа^ (х|8))|х). Так как величины у и к1 (х('-1 18('-1) могут

принимать только два значения, +1 или -1, в условиях допущенной независимости величин к1 (х('-1 | 8('-1), х(,) (I = 1,...N ), следующие выражения верны для любого к е {1,2,...Щ :

5E-

Ey I exP ( ~Т.Уа<h (■

x(,)1.1 IIx I

5a,,

= E-

|x(i) I.

E,.

( ( « Л A

5 exP I-!1 yaA-(

5a,

E-

E-

E-

E-

E-

E yll-

Ey К-

Ey К-

Ey [(-УК (x(,) |.))expya,h, (1.))X

((-yh, (x( , ) ))) (-ya h (x(,) |. ))|X )

{(, ( I)e-yaAi(Ч (( (5(,))) + e ya'h((та, (5

{(, ( I'))r"l<e a' l, (( (S(,) )) + ea' l, ( (8(0 ))))x}] =

e-a l, Ц0)) + ea' l, (та,(

x}| = E-

((-yhk (x(k) |.)) • (e-a l, (со, (,) )) + ea l, (та, ( ((-yh, (x(,) |.))e-a l, (со, (ô(,))) + (-yhk (x(,) |.))ea l, (та, (ô(,))))p}] -

Ey {(]>"^}{-e-ai l, ( M ) + eat l, (та, (S(^)))) R] =

E y jE y Ш<

- ya ,h (x

E

x\x( 4 )~ X \ X( 4 )

e у ш

e ya'h'(x(°'-)x\x(,)

E

{(-e-a l, (со, (,>)) + ea l, (та, (*))))x(,)}].

E y К

Для упрощения записи обозначим A(i Ф ,) = E^-m*) Следуя (2), имеем:

Ex\x(4)~X\X(4) EУ пП'

Ey ш

-ya,h (x<

x\x,)

e-ya,h (x(°l-Ml x \ x(, )

E

E y К

5(, mi x(, )

A( i Ф ,)E

{(-e-at l, (, (,) )) + ea l, (та, (

{(-e-a l, ( (S(,))) + eat l, (та, (8(,)))))}] = 0.

E У К

Далее,

A(i Ф ,)Ex(,)~X(,) [-e-aPC®, | x(,),8(,)) + eaР(та, | x(,),8(,)}] =

= A( i Ф ,) (x(,) [-e-atP(®, |x(,), S(,))] + Ex(,)~X(,) [eaР(та, |x(,), 5(,))]) =

= A( i Ф ,) (X(,) [-e-aP(®, |x(,), S(,))] + Ex(,)~X(,) [eaР(та, |x(,), 5(,))]) =

= A(i Ф ,) (-e-at - e(, 15(h))) + eats(, | S(h))) = 0 . Легко видеть, что

a, (S(,) ) = 0,5ln ((l - s(, | 5(i) )) / е(, | 5(i) )) .

Таким образом, a* (ô ) = (

0,5lnI l-^ÇLLSl1))A,0,5lnIA,.. 0,5ln( 1 -e(«|5(«))^

s(11 5(1))

e(2|5(2))

e(« | 5(«))

Теорема доказана.

Теорема 1 определяет такой способ выбора вектора параметров а* (б) для интегральной дискриминирующей функции H(х | б), при котором DFS H(x | б) = а* (б)h7 (x|б ) доставляет минимум величины среднего риска Ex~(exp(-yah7 (x|б))) при экспоненциальной функции потерь и фиксированном

векторе параметров б . Набор средних тотальных ошибок е(б) = (е(1| S(1)),s(21 5(2)),...,е(N | S(N))), кото -рый определяет качество работы отдельных классификаторов ансамбля, определяется априорно, на основании статистических исследований классификаторов hl (х(1) | S(1)),h2 (х(2) | 5(2)),...,hN (х(N) | S(N)).

Экспериментальные результаты исследования предложенного метода

Хорошим примером практического использования бимодальной биометрической стратегии является задача верификации клиента системы телебанкинга, где для подтверждения авторизации используются две биометрические модальности - лицо клиента и его голос. На стадии регистрации клиента в системе фиксируется его биометрическая информация. В частности, в течение нескольких сеансов снимаются образцы его голоса и лица, которые в дальнейшем используются для построения соответствующих биометрических моделей. Эти модели сохраняются в специальной бимодальной базе данных биометрических образцов и используются в момент биометрической авторизации клиента путем сравнения сохраненной (эталонной) биометрической модели и модели, построенной в течение текущего клиентского сеанса.

Итак, используя бимодальные биометрические данные, мы будем решать проблему верификации клиента. Пусть число клиентов - N, тогда биометрическая база данных будет содержать N бимодальных моделей. Обозначим:

- © = {9,1/ = 1,..., N J - множество клиентов;

- x(v)(9,.) и х( f )(9/) - вектора первичных признаков для модальности «голос» и «лицо» соответственно, относящиеся к клиенту 9,. е©. Другими словами, совершенно достоверно известно, что образцы x(v) (9,.) and x(f) (9,.) получены от клиента 9,. е © на этапе его регистрации в системе;

- x(v) (? | 9,.) и x(f)(?| 9,.) - вектора первичных признаков для модальностей «голос» и «лицо», которые гипотетически соответствуют клиенту 9. е © . Другими словами, гипотеза о том, что образцы x(v)(? | 9,.) и x(f)(? 19,.) соответствуют клиенту 9,. е © , нуждается в подтверждении путем использования формальной процедуры бимодальной биометрической верификации;

- б = (5(v),5(/)) , x(i) = (x(v)(9,.),x(/)(9,.)) , x(? | i) = (x(v)(? | 9,.),x(/)(? | 9,.)) .

Система верификации по голосу проверяет достоверность гипотезы Hv: «полученные при авторизации образцы x(v)(? | 9,.) действительно соответствуют клиенту 9,. ». Система верификации клиента по лицу проверяет достоверность гипотезы H/: «полученные при авторизации образцы x(f)(? | 9,.) действительно соответствуют клиенту 9,. ». Целью системы бимодальной верификации клиента является проверка достоверности гипотезы Hv/ : «полученные при авторизации бимодальные биометрические образцы

x(,) действительно соответствуют клиенту 9,. ». Таким образом, мы исследуем случай, когда для идентификации клиента используются две биометрические модальности одновременно. Здесь

Hf, Hv, H/ е {true, false}. Мы имеем:

- первая модальность - голос; соответствующий классификатор - hv (• | S(v)),

Vh (x(v)(?| 9.)|5(v)) = J-1,/Hv~/alse ; ,=i Л ' . ' ' [ 1, ,/ Hv = true

- вторая модальность - лицо; соответствующий классификатор - hf (• | S(f)),

N

Vh,(f)(?|в,)|5(f))) f!: ;

- интегральное решение - лицо и голос; классификатор - Hf (x(i) | S),

i-1, i f (H , = false)

V H,. ( x(? | i) | S) -

1, if (Hv/ = true) '

Здесь S(v) и s( f) - вектора параметров для классификаторов hv (•) и hf (•). Как правило, эти параметры

выбираются так, чтобы минимизировать величины ошибок e(v 15(v)) и е(/15(f)). Для численного исследования свойств предложенной DFS была использована искусственно собранная бимодальная база данных. В этой базе собраны биометрические образцы, соответствующие 36 гипотетическим людям. При этом образцы голосов брались из базы Chains Corpus [13], а изображения лиц - из базы Face-Place [14]. Условимся называть эту синтетическую базу CC-FPF. Величины ошибок e(v 15(v)) и е(/15(f)) были определены по результатам численного моделирования на соответствующих частях («голосовой» и «лицевой») базы CC-FPF. Опустим детали алгоритмической реализации классификаторов hv (•) и hf (•), так как эта информация, очевидно, не имеет отношения к пониманию результатов, представленных в настоящей работе. Отметим лишь, что hv (•), hf (•) строились с использованием методов, описанных в [15].

Обозначим тотальную ошибку интегрального классификатора символом s(vf 18(v), 8(f)).

Таблица содержит результаты численного исследования. Здесь s(v 18(v)) = 6,1%, s(f | 8(f)) =1,4%. Сравниваются два различных метода формирования DFS. Первый метод является оптимальным: здесь вектор а* (б) выбран согласно Теореме 1 и обозначен символом H*(x(? |,) | б), . е {1,...N}. Второй метод

обозначен Hff (x(? |,) | б), . е {1,...N} и Hf (x(?|,) | б) = аE(б)11г (x(?|,)|б),. е {1,...N}. Правило формирования:

h (((? |,) |б) = (v (x(v)(? |,) | 5(v)), hf (x(f)(? |,) | 5(f))),

аf (б) = (е-1 (v | 5(v)-1(v | 5(v)) + е-1 (f | 5(f)),е-1 (f | 5(f))(е-1 (v | 5(v)) + е-1 (f | 5(f)))).

Другими словами, вектор аf (б) определен эмпирически, в отличие от вектора а* (б). Следовательно, соответствующий ему DFS Hf (•) является эмпирическим консолидирующим решением. Содержание таблицы демонстрирует, что оптимальный классификатор Hf (•) имеет минимальные показатели ошибки классификации (0,7%), по сравнению с классификатором Hf (• | б), который имеет несколько больший уровень ошибки классификации: 0,8%.

Тотальная ошибка, %

e(v 15( v)), % е( f | 5( f )),%

к/ ( ) (модальность - «лицо») - 1,4

ку ( ) (модальность - «голос») 6,1 -

e(vf | 5(v), 5(f ))

Н* ( ) (оптимальное интегральное решение) 0,7%

Не ( ) (эмпирическое интегральное решение) 0,8%

Таблица. Результаты численного моделирования Заключение

В работе предложен новый метод параметрической оптимизации структуры консолидирующего классификатора в мультимодальных биометрических системах, который объединяет результаты решения классификационных задач в отдельных биометрических модальностях. По сути дела, получено строгое решение задачи параметрической оптимизации структуры консолидирующего классификационного решения для ансамбля независимых классификаторов. Оптимизированное консолидирующее решение обеспечивает минимум ошибки классификации для экспоненциальной функции потерь. Решаемая задача имеет актуальное практическое приложение в мультимодальных биометрических системах идентификации личности. Имитационное моделирование показало практическую приемлемость полученных результатов.

Литература

1. Prabhakar S., Pankati S., Jain A.K. Biometric recognition: Security and privacy concerns // IEEE Security and Privacy. 2003. V.1. N 2. P. 33-42.

2. Jain A.K. Biometric recognition: How do I know who you are? // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2005. V. 3617 LNCS. P. 19-26.

3. ISO/IEC TR 24722:2007. Information technology - Biometrics - Multimodal and Other Multibiometric Fusion. 28.02.2006. Geneva, International Organization for Standardization. 32 p.

4. Ross A., Jain A.K. Information fusion in biometrics // Pattern Recognition Letters. 2003. V. 24. N 13. P. 2115-2125.

5. Матвеев Ю.Н. Технологии биометрической идентификации личности по голосу и другим модальностям // Инженерный журнал: наука и инновации. 2012. №3. С. 5.

6. Ross A., Jain A. Multimodal biometrics: An overview // Proc. XII European Signal Processing Conference (EUSIPCO). Vienna, Austria, 2004. P. 1221-1224.

7. Xu L., Kryzak A., Suen C.Y. Methods of combining multiple classifiers and their application to handwriting recognition // IEEE Transactions on Systems, Man and Cybernetics. 1992. V. 22. N 3. P. 418-435.

8. Ross A., Jain A.K., Qian J.Z. Information fusion in biometrics // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2001. V. 2091 LNCS. P. 354-359.

9. Wang Y., Tan T., Jain A.K. Combining face and iris biometrics for identity verification // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2003. V. 2688. P. 805-813.

10. Viswanathan R., Varshney P.K. Distributed detection with multiple sensors: Part I - fundamentals // Proc. of the IEEE. 1997. V. 85. N 1. P. 54-63.

11. Varshney P.K Distributed Detection and Data Fusion. NY: Springer, 1997. 299 p.

12. Viswanathan R., Ansari A. Distributed detection of a signal in generalized Gaussian noise // IEEE Transactions on Acoustics, Speech, and Signal Processing. 1989. V 37. N 5. P. 775-778.

13. CHAINS: Characterizing Individual Speakers [Электронный ресурс]. Режим доступа: http://chains.ucd.ie/corpus.php, свободный. Яз. англ. (дата обращения 27.03.2014).

14. Face Place - The CNBC Wiki [Электронный ресурс]. Режим доступа: http://www.face-place.org, свободный. Яз. англ. (дата обращения 27.03.2014).

15. Timofeev A.V The guaranteed estimation of the Lipschitz classifier accuracy: confidence set approach // Journal of the Korean Statistical Society. 2012. V. 41. N 1. P. 105-114.

Тимофеев Андрей Владимирович - доктор технических наук, научный директор, JSK «EqualiZoom»,

Астана, Казахстан, timofeev.andrey@gmail.com

Andrey V. Timofeev - D.Sc., Scientific Director, JSK «EqualiZoom», Astana, Kazakhstan,

timofeev.andrey@gmail.com

Принято к печати 31.03.2014 Accepted 31.03.2014