CC BY
57
УДК 519.24; 519.7; 57.017
А. И. Иванов, К. А. Перфилов, Е. А. Малыгина
МНОГОМЕРНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ КАЧЕСТВА БИОМЕТРИЧЕСКИХ ДАННЫХ НА ПРЕДЕЛЬНО МАЛЫХ ВЫБОРКАХ С ИСПОЛЬЗОВАНИЕМ КРИТЕРИЕВ СРЕДНЕГО ГЕОМЕТРИЧЕСКОГО, ВЫЧИСЛЕННОГО ДЛЯ АНАЛИЗИРУЕМЫХ ФУНКЦИЙ ВЕРОЯТНОСТИ
A. I. Ivanov, K. A. Perfilov, E. A. Malygina
MULTIVARIATE STATISTICAL ANALYSIS OF THE QUALITY OF BIOMETRIC DATA ON EXTREMELY SMALL SAMPLES USING THE CRITERIA OF THE GEOMETRIC MEAN CALCULATED FOR THE ANALYZED PROBABILITY FUNCTIONS
Аннотация. Актуальность и цели. Целью работы является оценка мощностей трех вариантов статистических критериев среднего геометрического от эмпирической и теоретической функций вероятности. Материалы и методы. Предложено воспользоваться средствами имитационного моделирования и численно получить оценку мощности сравниваемых критериев в точке равновероятных ошибок первого и второго рода. Применена логарифмическая шкала сравнительной оценки мощностей, в которой зависимости сравниваемых мощностей от числа опытов в обучающей выборке близки к линейным. Результаты и выводы. Показано, что предложенный ранее статистический критерий среднего геометрического занимает промежуточное положение между двумя его аналогами. Наибольшей мощностью подавление шумов квантования обладает критерий, построенный как квадратный корень среднего геометрического сравниваемых функций вероятности. Рассматриваемые критерии в их многомерном варианте исполнения способны работать на предельно малых выборках биометрических данных от 11 до 21 примера одного биометрического образа.
Abstract. Background. The aim is to assess the capacity of the two variants of the statistical criteria of the geometric mean of the empirical and theoretical probability functions. Materials and methods. It is proposed to use simulation tools and numerically to estimate power at comparable criteria equally errors of the first and second kind. Applying a logarithmic scale comparative assessment of capacities, which, depending on the number of power compared experiences in the training set are close to linear. Results and conclusions. It is shown that the statistical criterion proposed by the geometric mean of the previously occupies an intermediate position between its two counterparts. The greatest power of the suppression of the quantization noise has a test based as the square root of the geometric mean of comparable probability functions. Considered criteria in their multidimensional embodiment capable of operating at extremely small samples of biometric data from 11 to 21, an example of a biometric image.
Ключевые слова: статистический критерий среднего геометрического, логарифмическая шкала мощности критериев, обработка многомерных биометрических данных, подавление шумов квантования.
Key words: statistical criterion geometric mean of comparable probability functions, logarithmic scale power of statistical tests, multidimensional processing of biometric data, the quantization noise generated by the suppression of a small volume of the test sample.
2016, № 2 (16)
65
Введение
Информационное общество предполагает активное использование интернет-ресурсов. Государственные и частные структуры создают на своих сайтах личные кабинеты пользователей. К сожалению, существующая практика парольной защиты доступа к личным кабинетам обладает существенными уязвимостями. Пользователи не способны запоминать длинные случайные пароли. Владелец информационного ресурса не может быть уверен в том, что к личному электронному кабинету получил доступ именно его хозяин. Пароль может быть перехвачен программной закладкой, также не составляет проблемы подменить 1Р-адрес интернет-пользователя.
Для усиления защиты доступа к электронным кабинетам в настоящее время разрабатываются технологии биометрической аутентификации личности путем преобразования личных биометрических данных человека в его криптографический ключ или длинный случайный пароль доступа. Используются такие биометрические образы, как: рисунок отпечатка пальца [1], рисунок радужной оболочки глаза [2], голосовой пароль [3], рукописный пароль [4], рисунок кровеносных сосудов глазного дна или ладони руки [5]. Естественно, что преобразователи биометрия-код не могут быть идеальными и имеют вероятности ошибок первого и второго рода. Возникает необходимость тестирования ошибок первого и второго рода на реальных биометрических данных. Кроме того, при настройке «нечетких экстракторов» [1-3] и при обучении нейросетевых преобразователей [4, 5] необходимо контролировать отсутствие в биометрических данных грубых ошибок. По сути дела, на небольшом числе примеров биометрического образа необходимо контролировать показатель близости распределения биометрических данных к многомерному нормальному закону [6]. Формально для этой цели может быть использован классический одномерный хи-квадрат-критерий Пирсона [7-9], однако такой подход далек от оптимального. В рамках данной статьи мы попытаемся доказать, что контроль нормальных плотностей распределения биометрических данных выгоднее осуществлять статистическим критерием Крамера - фон Мезиса. Мощность критерия Крамера - фон Мезиса на малых выборках примеров биометрических данных оказывается существенно выше, чем мощность аналогичного критерия хи-квадрат.
Появление шумов квантования при статистической обработке малых выборок
Рассмотрим простейшую ситуацию, когда тестовая или обучающая выборка представлены девятью примерами образа «Свой». Из-за того что непрерывная функция вероятности Р(х) первого биометрического параметра малой выборки, мы вынуждены описывать ее
ступенчатой монотонно возрастающей функцией Р (х), как это показано на рис. 1,а.
Рис. 1. Эффекты квантования непрерывной вероятности распределения значений и непрерывной плотности распределения значений при девяти примерах
Для того чтобы построить ступенчатое монотонно возрастающее приближение P(x), необходимо осуществить сортировку биометрических данных по их возрастанию:
xi = sort(vu) для i = 0,1,2,..., n, (1)
где n - размер тестовой выборки или число квантов приближения монотонной функции вероятности.
В этом случае монотонно возрастающая ступенчатая функция будет описываться следующим кусочно-постоянным приближением:
P (xt) = j. (2)
n
Ошибка приближения или шум квантования находится как разность непрерывной функции вероятности и ее ступенчатого приближения:
ДР( x) = P( x) - P (x). (3)
В нижней части рис. 1 отображены функции ошибки квантования или шумы квантования, возникающие из-за малых тестовых выборок.
В контексте вышеизложенного статистический критерий Колмогорова - Смирнова [7] следует рассматривать как поиск максимального значения модуля ошибки приближения:
sup |P(x) - P(x)| = max |AP(xi )| (4)
-l< x<+l
или выбор наибольшего из локальных максимумов шума квантования.
С этих же позиций статистический критерий Крамера - фон Мизеса [7] является оценкой стандартного отклонения шума квантования непрерывной функции вероятности:
KfM = j {P(x) - P(x)}2 dx = j {E(AP(x)) -AP(x)}2 dx = j {AP(x)}2 dx =a2(AP(x)), (5)
—l —L —L
если выполняется условие нулевого математического ожидания шума квантования E (AP( x)) = 0.
Следует подчеркнуть, что статистический критерий Колмогорова - Смирнова (4) всегда имеет меньшую мощность в сравнении с критерием Крамера - фон Мизеса (5). Критерий Колмогорова - Смирнова (4) точечный, а критерий Крамера - фон Мизеса (5) интегральный.
Очевидно, что с ростом размеров тестовой выборки n два этих статистических критерия набирают мощность оценок, однако оценка по интегральному критерию всегда оказывается надежнее, чем оценка по точечному критерию. При интегрировании шумы квантования подавляются, при точечных оценках они усиливаются. В этом отношении все интегральные статистические критерии представляют значительный интерес как исходный генетический материал для создания более мощных статистических критериев высокой размерности.
На сегодня известно достаточно много статистических критериев, часть из которых приведена в табл. 1.
Таблица 1
Примеры статистических критериев с указанием года их создания
№ Название критерия и год создания Формула критерия
1 2 3
1 Хи-квадрат критерий или один из вариантов критерия Пирсона, 1900 г. Т{(x) - p(x)}2 . dx —L p(x)
2 Критерий Крамера - фон Мизеса, 1928 г. +L j [P(x) - P(x)}2 • dx
3 Критерий Колмогорова - Смирнова, 1933 г. sup P(x) - P(x)\ -L< x <+L' 1
2016, № 2 (16)
67
Окончание табл. 1
1 2 3
4 Критерий Смирнова - Крамера - фон Мизеса, 1936 г. I {Р(х) - Р(х)}2 • dP(х)
5 Критерий Джини, 1941 г. I |Р(х) - Р(х)| • dx
6 Критерий Андерсона - Дарлинга, 1952 г. 7 {Р(х) - Р(х)}2 (г 1•dP(х) £ Р(х) -{1 - Р(х)} ' '
7 Критерий Ватсона, 1961 г. Г х I\Р(х)-Р(х)- ( [Р(х)-Р(х)]• dP(х) 1 • dP(х)
8 Критерий Фроцини, 1978 г. | |Р(х) - Р(х)| • dP(х)
9 Дифференциальный вариант критерия Джини, 2006 г. [6] I |р(х) - Р(х)| • dx
10 Критерий среднего геометрического, 2014 г. [10] (VР(х) • (1 - Р(х)) • dx
Следует подчеркнуть, что на практике наиболее часто используется хи-квадрат-крите-рий Пирсона, созданный им в 1900 г. [8]. Популярность этого статистического критерия обусловлена тем, что Пирсон построил аналитическое описание хи-квадрат-плотностей распределения значений. С опорой на это аналитическое описание разработаны таблицы доверительных вероятностей для оценки уровня достоверности той или иной статистической гипотезы для хи-квадрат-критерия. На сегодня хи-квадрат-критерий следует рассматривать как эталон при исследовании мощности других критериев.
В частности, необходимо для всех широко применяемых на данный момент статистических критериев [9] дать оценку их мощности по отношению к мощности классического и наиболее часто используемого хи-квадрат-критерия. В рамках данной статьи мы попытаемся дать относительные оценки мощности для вариантов относительно нового критерия среднего геометрического сравниваемых между собой теоретической и эмпирической функций вероятности.
Использование хи-квадрат-критерия как фактического эталона мощности для других критериев
Следует отметить, что оценка мощности хи-квадрат-критерия во многом остается субъективной. В частности, это связано с тем, что уровень доверительной вероятности принимаемых решений выбирает сам исследователь. Исключим эту неопределенность. Далее будем судить о качестве принимаемых решений по точке равновероятных ошибок первого и второго рода Р1 = Р2 = Рее. Еще одной неопределенностью является то, какой закон распределения выбран как теоретический и какой закон выбран как экспериментальный. Будем рассматривать ситуацию, когда выбран нормальный закон распределения как теоретический и экспериментальный закон распределения также является нормальным. Как альтернативу будем использовать в качестве экспериментального закона равномерный закон, проверяя его на гипотезу нормальности. Результаты численного эксперимента отражены на рис. 2.
Из рис. 2 видно, что для выборок из 15 примеров равновероятная ошибка составляет Рее = 0,272, если же объем тестовой выборки увеличить до 30 примеров, то равновероятная ошибка падает до величины РЕЕ = 0,194. С увеличением объема тестовой выборки в 2 раза происходит снижение примерно в раза вероятности появления ошибок.
Рис. 2. Результаты численного эксперимента по оценке мощности хи-квадрат-критерия для выборок, состоящих из 15 и 30 примеров при одинаковом числе столбцов гистограммы
На практике удобно пользоваться логарифмической шкалой значений равновероятных ошибок. При логарифмическом представлении данных мощность хи-квадрат-критерия хорошо описывается ломаными линиями из-за того, что при росте числа примеров в обучающей выборке обычно увеличивают число столбцов в гистограмме. Для того чтобы уйти от этого эффекта, будем использовать гистограмму, состоящую из шести столбцов для выборки, изменяющейся от 9 до 144 примеров. Данные о мощности критерия хи-квадрат отображены в верхней части рис. 3 в виде утолщенной линии.
Рис. 3. Эталонная мощность хи-квадрат-критерия (толстая линия) в логарифмической шкале равновероятных ошибок
Из рис. 3 видно, что при одинаковом числе столбцов гистограммы в логарифмическом масштабе происходит линейное уменьшение вероятности ошибок, т.е. эталонная мощность хи-квадрат критерия хорошо описывается следующим приближением:
Рее(«) =10
-0,45-0,0086«
(6)
Три варианта критерия среднего геометрического от сравниваемых функций вероятности
Критерий среднего геометрического (строка 10 табл. 1) был предложен в 2014 г. [10] и более подробно был исследован в 2015 г. [11, 12]. Хронологии создания статистических критериев приходится уделять серьезное внимание в силу того, что давно созданные статистические критерии, размещенные в верхней части табл. 1, хорошо изучены. Рассматривать их как альтернативу хи-квадрат-критерию не следует. Иначе обстоит дело со статистическими критериями, созданными недавно. Они практически не исследованы и вполне могут быть использованы как генетический материал при синтезе новых критериев существенно более мощных, чем хи-квадрат-критерий Пирсона.
Из рис. 3 видно, что мощность критерия среднего геометрического (5^) хуже мощности хи-квадрат-критерия на выборках объемом до 30 опытов. При выборках более 30 опытов возникает ситуация обратная, мощность ¿^-критерия выше мощности хи-квадрат-критерия. Мощность критерия среднего геометрического описывается следующим приближением:
РЕЕ (п) = ю-0,22-0,0165".
(7)
Следует подчеркнуть, что критерий среднего геометрического можно усилить, если извлечь из него квадратный корень:
= I 4Р(х)(1 - Р(х))dx.
(8)
Усиленный вариант критерия среднего геометрического описывается более круто падающей линией в логарифмическом масштабе:
Рее(")=10
-0,22-0,0182"
(9)
Увеличение порядка извлекаемого корня в подынтегральной части выражения (8) приводит к усилению наклона линии, однако этот эффект незначителен. Наступает насыщение при корне 20 порядка, и дальнейшего усиления мощности критерия не наблюдается.
Если мы будем уменьшать показатель корня для критериев среднего геометрического, то происходит ослабление мощности нелинейной статистической обработки. Эта ситуация на рис. 3 иллюстрируется прямой квадрата среднего геометрического:
2 = I Р(х)(1 - Р(х))ёх, РЕЕ (п) = 10-022-00135п.
(10)
Все три рассмотренных выше статистических критерия среднего геометрического оказываются мощнее критерия хи-квадрат при выборках объема более 30 примеров. Чем больше выборка, тем ощутимее растет мощность статистических критериев среднего геометрического.
Многомерные обобщения критериев среднего геометрического
Казалось бы, критерии среднего геометрического бесполезны для биометрии, так как работают хуже критерия хи-квадрат на выборках объемом менее 30 опытов. На самом деле это не так. Дело в том, что все биометрические данные многомерны. Так, в среде моделирования «БиоНейроАвтограф» [13] осуществляется учет 416 биометрических параметров. Каждый биометрический параметр - это один из коэффициентов двухмерного преобразования Фурье от пары функций Х(0, 7(0. Формально мы можем рассматривать вектор из 416 биометрических параметров вместо одного биометрического параметра .
Каждый из биометрических параметров будет иметь свои статистические моменты, для построения многомерного критерия среднего геометрического необходимо осуществить центрирование и нормирование всех биометрических параметров:
л v, - E(V )
v, = j ^ j , (11)
j c(v j)
где E (.) - математическое ожидание биометрического параметра; о(.) - стандартное отклонение биометрического параметра.
После нормирования и центрирования следует объединить в одну группу все биометрические данные путем их простой конкатенации:
x =Vb V2,..., V,,..., V. (12)
Если у нас имеется n примеров биометрического образа, то объединив их между собой конкатенацией, мы получим тестовую выборку размером n • 416. Это обстоятельство позволяет обойти проблему тестирования качества биометрических образов на малых выборках.
Так, при использовании всего одного примера 416-мерный анализ биометрического образа по критерию -Jsg должен давать одинаковые значения ошибок первого и второго рода на
уровне PEE = 0,000000016 (вычисление выполнено по приближенной формуле (9)). Этот пример показывает, что 416-мерный статистический анализ биометрических данных по критерию yfsg эффективнее 416-мерного критерия хи-квадрат (6) примерно в 5800 раз. Естественно, что
эта приближенная оценка выигрыша, она построена на том, что оба сравниваемых многомерных критерия должны быть одинаково чувствительны к уровню коррелированности биометрических данных.
Заключение
Каждый из статистических критериев является некоторым нелинейным цифровым фильтром, который давит шумы квантования. Увеличивая размерность цифрового фильтра (размерность статистического критерия), мы естественно увеличиваем его мощность. В итоге мы можем снизить выборку примеров до предельно малого значения в один пример. Многомерные статистические критерии должны оставаться работоспособными даже на выборках из одного или двух примеров, если их ранее кто-то настроил, применив выборку из 20 примеров исследуемого биометрического образа. То есть при многомерном статистическом анализе биометрических данных мы имеем примерно ту же ситуацию, что и при многомерном нейросетевом анализе [4, 5]. Настройку многомерных статистических критериев приходится осуществлять на выборке примерно из 20 примеров, а решение по качеству можно принимать по каждому примеру отдельно.
Видимо, многомерный статистический анализ с использованием различных статистических критериев и нейросетевой статистический анализ являются близкими по эффективности инструментами. Тем не менее между ними существует значительная разница. Как работают искусственные нейронные сети, понять трудно; как осуществляется синтез и настройка многомерных статистических критериев - понятно. В рамках данной статьи мы попытались показать, что оптимизация многомерных статистических критериев вполне возможна. 416-мерный критерий при анализе биометрических данных должен работать лучше в сравнении
хи-квадрат-критерием той же размерности.
Список литературы
1. Ramirez-Ruiz, J. Keys Generation Using FingerCodes / J. Ramirez-Ruiz, C. Pfeiffer, J. Nolazco-Flores // Advances in Artificial Intelligence - IBERAMIA-SBIA. - 2006 (LNCS 4140). - P. 178-187.
2. Monrose, F. Cryptographic key generation from voice / F. Monrose, M. Reiter, Q. Li, S. Wetzel // Proc. IEEE Symp. on Security and Privacy, 2001.
3. Feng Hao. Crypto with Biometrics Effectively / Feng Hao, Ross Anderson, John Daugman // IEEE Transactions on computers. - 2006. - Vol. 55, № 9.
4. Нейросетевая защита персональных биометрических данных / Ю. К. Язов, В. И. Вол-чихин, А. И. Иванов, В. А. Фунтиков, И. П. Назаров. - М. : Радиотехника, 2012. - 157 с.
5.
6.
7.
9.
Технология использования больших нейронных сетей для преобразования нечетких биометрических данных в код ключа доступа / Б. С. Ахметов, А. И. Иванов, В. А. Фунтиков, А. В. Безяев, Е. А. Малыгина. - Алматы : ЬЕЫ, 2014. - 144 с. Малыгин, А. Ю. Быстрые алгоритмы тестирования нейросетевых механизмов биомет-рико-криптографической защиты информации / А. Ю. Малыгин, В. И. Волчихин, А. И. Иванов, В. А. Фунтиков. - Пенза : Изд-во ПГУ, 2006. - 161 с. Кобзарь, А. И. Прикладная математическая статистика для инженеров и научных работников / А. И. Кобзарь. - М. : Физматлит, 2006. - 816 с.
Р 50.1.037-2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть I. Критерии типа Х2. Госстандарт России. - М., 2001. - 140 с.
Р 50.1.037-2002. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии. Госстандарт России. -М., 2002. - 123 с.
10. Перфилов, К. А. Критерий среднего геометрического, используемый для проверки достоверности статистических гипотез распределения биометрических данных / К. А. Перфилов // Труды научно-технической конференции кластера пензенских предприятий, обеспечивающих безопасность информационных технологий. - Пенза, 2014. -Т. 9. - С. 92-93. - иИЬ: Шр://^^.рте1.реп7а.т/РУ-соп#Т9/С92
11. Использование среднего геометрического, ожидаемой и наблюдаемой функций вероятности как статистического критерия оценки качества биометрических данных / Б. С. Ахметов, А. И. Иванов, К. А. Перфилов, Е. Д. Проценко, Д. С. Пащенко // Труды Международного симпозиума Надежность и качество. - 2015. - Т. 2. - С. 281-283.
12. Перфилов, К. А. Расширение многообразия статистических критериев, используемых при проверке гипотез распределения значений биометрических данных / К. А. Перфи-лов, А. И. Иванов, Е. Д. Проценко // Европейский союз ученых. - 2015. - № 13, ч. 5. -С. 9-12.
13. Иванов, А. И. Среда моделирования «БиоНейроАвтограф». Программный продукт создан лабораторией биометрических и нейросетевых технологий, размещен на сайте АО «ПНИЭИ» / А. И. Иванов, О. С. Захаров. - иКЬ: Шр://пниэи.рф/ас1т1у/8аепсе/пос.Ь1т [с 2009 г. для свободного использования университетами России, Белоруссии, Казахстана].
Иванов Александр Иванович
доктор технических наук, доцент, начальник лаборатории биометрических и нейросетевых технологий, Пензенский научно-исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9) Е-mail: [email protected]
Перфилов Константин Александрович
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) Е-mail: [email protected]
Малыгина Елена Александровна
кандидат технических наук, младший научный сотрудник, межотраслевая лаборатория тестирования биометрических устройств и технологий, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) Е-mail: [email protected]
Ivanov Aleksandr Ivanovich
doctor of technical sciences, associate professor, head of biometric and neuronal nets technology laboratory,
Penza Scientific Research Electrotechnical Institute (9 Sovetskaya street, Penza, Russia)
Perfilov Konstantin Aleksandrovich
postgraduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
Malygina Elena Aleksandrovna
candidate of technical sciences, research assistant,
interdisciplinary laboratory testing
of biometric devices and technologies,
Penza State University
(40 Krasnaya street, Penza, Russia)
УДК 519.24; 519.7; 57.017 Иванов, А. И.
Многомерный статистический анализ качества биометрических данных на предельно малых выборках с использованием критериев среднего геометрического, вычисленного для анализируемых функций вероятности / А. И. Иванов, К. А. Перфилов, Е. А. Малыгина // Измерение. Мониторинг. Управление. Контроль. - 2016. - № 2 (16). - С. 64-72.
