CC BY
23
УДК 519.24; 53; 57.017
В. И. Волчихин, Н. А. Иванова, Ю. И. Серикова, А. Г. Банных
СИНТЕЗ И ТЕСТИРОВАНИЕ ОРАКУЛА, СПОСОБНОГО ПРЕДСКАЗЫВАТЬ АСИММЕТРИЧНЫЕ ГРАНИЦЫ ИНТЕРВАЛА ДЕЙСТВИТЕЛЬНОГО ПОЛОЖЕНИЯ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ МАЛЫХ ВЫБОРОК БИОМЕТРИЧЕСКИХ ДАННЫХ
V, I. Volchikhin, N. A. Ivanova, Yu. I. Serikova, A. G. Bannykh
SYNTHESIS AND TESTING OF AN ORACLE CAPABLE
OF PREDICTING ASYMMETRIC BOUNDARIES OF THE ACTUAL POSITION OF THE MATHEMATICAL EXPECTATION OF SMALL SAMPLES OF BIOMETRIC DATA
Аннотация. Актуальность и цели. Целью работы является оценка выигрыша от использования простейшего оракула, предсказывающего интервал неопределенности вычисления математического ожидания на малых тестовых выборках. Материалы и методы. Алгоритм вычисления математического ожидания давно известен и дает значительные ошибки на малых выборках. Это следствие того, что классический алгоритм вычисления не учитывает априорную информацию о виде закона распределения значений тестовой выборки, о размере тестовой выборки, о взаимном соотношении положения опытов в тестовой выборке. Учет всех этих дополнительных информационных параметров приводит к значительному сужению предсказания интервала возможного положения вычисляемого математического ожидания. Результаты. Показано, что простейший оракул, построенный на учете перечисленной выше априорной информации, дает более узкий интервал возможного положения математического ожидания с вероятностью 0,974. При этом по его данным удается надежно определять момент, когда синтезированный предсказатель начинает ошибаться. Выводы. Рассматриваемый в статье предсказатель является самым простым, предположительно более сложные предсказатели будут сложнее настраиваться, однако и выигрыш от их использования будет выше. Видимо, более сложные предсказатели будут строиться, опираясь на использование искусственных нейронных сетей достаточно долго обучаемых, учитывать исходную априорную информацию на большом исходном статистическом материале. Поставлена задача перехода от простейшего предсказателя к синтезу более сложных нейросетевых предсказателей.
Abstract. Background. The aim of the paper is to estimate the gain from using the simplest oracle, predicting the interval of uncertainty in calculating the mathematical expectation on small test samples. Materials and methods. The algorithm for calculating the mathematical expectation has long been known and gives significant errors on small samples. This is a consequence of the fact that the classical computational algorithm does not take into account a priori information about the form of the distribution law for the values of the test sample, the size of the test sample, the mutual relationship of the experimental position in the test sample. Taking into account all these additional information parameters leads to a significant narrowing of the
prediction of the interval of the possible position of the calculated mathematical expectation. Results. It is shown that the simplest oracle constructed on the basis of the above a priori information gives a narrower range of the possible position of the mathematical expectation with a probability of 0.974. At the same time, according to his data, it is possible to determine reliably the moment when the synthesized predictor begins to err. Conclusions. The predictor considered in this article is the simplest, presumably more complex predictors will be more difficult to customize, however, the gain from their use will be higher. Apparently, more complex predictors will be built on the basis of the use of artificial neural networks long enough for trainees to take into account the original a priori information on a large initial statistical material. The problem of transition from the simplest predictor to the synthesis of more complex neural network predictors is set.
Ключевые слова: статистический анализ малых выборок, предсказание интервала ошибок вычисления математического ожидания, искусственные нейронные сети.
Key words: statistical analysis of small samples, prediction of the error interval for calculating mathematical expectation, artificial neural networks.
Общие положения обработки биометрических данных
В настоящее время активно идут процессы информатизации современного общества. При этом для защиты интернет-каналов и облачных сервисов активно используется криптография. К сожалению, человек не способен запомнить свои личные криптографические ключи и длинные пароли доступа. В связи с этим в России и за рубежом разрабатываются технологии преобразования биометрии в код криптографического ключа. За рубежом разрабатывается технология так называемых «нечетких экстракторов» [1-4]. В России развивается иной подход к решению задачи биометрической аутентификации, он построен на использовании нейросте-вых преобразователей биометрия-код [5-7]. Структурные схемы реализации этих двух технологий представлены на рис. 1.
Рис. 1. Две конкурирующих между собой технологии обработки биометрических данных с использованием «нечетких экстракторов» и нейросетевых преобразователей
Все «нечеткие экстракторы» строятся на основе квантования контролируемых биометрических параметров. К сожалению, «плохих» биометрических параметров всегда оказывается больше, чем «хороших». По этой причине выходной код «нечеткого экстрактора» может иметь до 30 % ошибок. Для коррекции этих ошибок используют избыточный код, способный обнаруживать и корректировать ошибки. Обычно используются коды с 20-кратной избыточностью, что приводит к 20-кратному снижению длины скорректированного кода.
Нейросетевые преобразователи биометрия-код строятся иначе. Они осуществляют обогащение «плохих» биометрических параметров сумматорами нейронов, заранее обученной искусственной нейронной сети. Уже после обогащения суммарные биометрические параметры квантуются. При этом выходной код нейросетевых преобразователей оказывается много длиннее, чем выходной код «нечетких экстракторов».
«Нечеткие экстракторы» практически по всем показателям уступают нейросетевым преобразователям, так как они являются их частным случаем. В нижней левой части рис. 1 приведен вырожденный нейрон с вырожденным сумматором, имеющим всего один вход. В нижней правой части рисунка приведен полноценный нейрон с сумматором, имеющим несколько входов.
Единственным преимуществом «нечетких экстракторов» является то, что они способны обучаться всего на одном примере образа «Свой». Для обучения нейронных сетей нужно несколько примеров. В связи с этим возникает задача снижения объема обучающей выборки без потери качества обучения искусственной нейронной сети.
Вычисление математического ожидания на малой выборке примеров биометрического образа
При обучении больших искусственных нейронных сетей преобразователей биометрия-код по ГОСТ Р 52633.5 [8] требуется иметь порядка 20 примеров образа «Свой». Алгоритм обучении ГОСТ Р 52633.5 [8] имеет линейную вычислительную сложность в силу того, что не является итерационным. По этому алгоритму весовые коэффициенты нейронов рассматриваются как функция математического ожидания биометрических параметров - Е(х) и их статистических моментов более высокого порядка.
К сожалению, на выборке из 20 примеров вычислить точное значение математического ожидания нельзя:
1 20
Е20(х) =—I х = Е» (х) + АЕ20(х), (1)
20 г=1
где АЕ20 (х) - ошибка, обусловленная малым объемом тестовой выборки.
Очевидно, что с ростом объема тестовой выборки модуль ошибки вычисления по формуле (1) будет падать, однако этот процесс не монотонен. Наблюдается не более чем тенденция снижения ошибки вычисления на фоне значительных колебаний в виде наложенного шума с медленно уменьшающейся амплитудой.
Очевидным является также то, что действительное значение математического ожидания Е» (х) всегда будет находиться внутри некоторого интервала {Е20(х) -АЬ, Е20(х) + АК}.
В связи с этим возникает задача предсказания значений левой и правой границ интервала положения действительного значения математического ожидания.
Простой численный способ предсказания положения симметричных границ в рамках гипотезы нормального закона распределения данных малой выборки
Перед вычислениями осуществим нормирование данных малой выборки:
х = —, (2)
ст( х)
что приводит к выполнению условия а( х) = 1.
Если теперь мы зададим Ем (х) = 0 для генератора псевдослучайных данных при выборках 20 примеров, то мы получим множество оценок значений математического ожидания Е20 (X), что дает нам возможность рассчитать для них стандартное отклонение а(Е20 (X)).
Легко убедится в том, что при такой постановке численного эксперимента значение стандартного отклонения нормированных данных не зависит от заданного изначально математического ожидания - Ем (XX). Как результат, мы можем воспользоваться инженерным правилом 3а и найти значение левой и правой границ интересующего нас интервала:
[ ¿20 = Е20 (XX) - 3 • а(Е20( XX)) = Е20 (X) - 0,68, 1^20 = Е20 (X) + 3 • а (20 (X)) = Е20 (X) + 0,68.
(3)
Получается, что с вероятностью 0,997 оцениваемое значение Ем (X) будет находиться в интервале (20 - Ь20) = 1,36 с центром Е20 (XX).
Если мы увеличиваем объем выборки до 32 примеров, то стандартное отклонение уменьшается и, соответственно, уменьшается интервал предсказания:
|¿32 = Е32 (^ - 3 • а(Е32 (X) ) Е32 (X) - 0,53,
1*32 = Е32 (X) + 3 • а(Е32 (X)) = Е32 (X) + 0,53,
(4)
где (*32 -¿32 ) = 1,06 .
Эти интервалы избыточны в силу их симметричности относительно вычисленного математического ожидания. В связи с этим может быть создан другой более эффективный оракул, предсказывающий положение значения математического ожидания в меньшем асимметричном интервале.
Синтез оракула, способного предсказывать асимметричные границы возможного положения математического ожидания
Для того чтобы оценить правую и левую границы интервала действительного положения математического ожидания, в работе [9] предложено осуществлять вычисления по меньшим выборкам. В частности, для тестовой выборки из 32 примеров можно вычислить 31 значение частных математических ожиданий Е311, отбрасывая при каждом из вычислений одно
значение из исходной выборки.
Формально эти операции записываются следующим образом:
X,
32
Е31,,(^ = | ^^ -I• — для 1 = ° 1 2 31.
(5)
В этом случае правая и левая границы интервала находятся следующим образом:
¿32 = тш( Е31, (XX)), (6)
*32 = тах( Е31,(^)).
(7)
Очевидно, что вычисления (6) и (7) с очень высокой вероятностью дают разный результат. То есть мы получили желаемый асимметричный предсказатель положения правой и левой границ интервала.
Тестирование и настройка асимметричного оракула
Цепочку вычислений асимметричного предсказателя (5)-(7) необходимо протестировать, чтобы определить вероятность получений верных предсказаний. Эту операцию следует выполнять проведением соответствующего численного эксперимента. Например, численный эксперимент может быть выполнен, если программный генератор будет настроен давать данные с нулевым математическим ожиданием Ем (X) = 0. В этом случае асимметричный пред-
сказатель цепочки вычислений (5)-(7) всегда будет давать следующие значения математических ожиданий положения границ:
Е32(Ь32) < 0, (8)
Е32(^32) > 0. (9)
Когда выполняется условие (Ь32 > 0 V Л32 < 0), исследуемый асимметричный предсказатель ошибается. То есть при численном эксперименте нам нужно оценить вероятность появления одного из частей условия (Ь32 > 0 V Я32 < 0).
Численный эксперимент показал, что оракул, вычисляющий данные по формулам (5)-(7), верно угадывает интервал возможных ошибок с вероятностью 0,697 и ошибается с вероятностью 0,307.
Для того чтобы поднять вероятность верных предсказаний до величины 0,997, необходимо увеличить влияние отбрасываемых компонент:
Е31,г-(х) = Е32(х)-а-х, для / = 0, 1, 2, ..., 31, (10)
где а = 0,2101 >1/32.
Для рассмотренной схемы предсказания приходится увеличивать в 6,7 раза влияние отбрасываемых компонент. Только в этом случае удается получать сопоставимые по достоверности результаты предсказания симметричного (4) и асимметричного оракула (10), (6), (7).
Оценка выигрыша от перехода к асимметричному оракулу
Если вычислить ширину интервала предсказания (Л32 — Ь32) для асимметричного предсказателя 100 000 раз, то мы получим математическое ожидание Е (Л32 — Ь32 ) = 0,874 и стандартное отклонение о(Л32 — Ь32) = 0,096 . Эта ситуация отображена на рис. 2.
б|------
р(К -Ь )
З*1 32
0 0.2 0.4 0.6 0.S 1 1.2
0.S74 1.06
Рис. 2. Распределение ширины асимметричных интервалов предсказания
Из рис. 1 видно, что с наибольшей вероятностью ширина интервала предсказания сузится на 21,4 % (1,06/0,874 = 1,214). Очень редко, но будут возникать самые узкие интервалы предсказания с шириной 0,59, что соответствует сжатию на 79,7 %.
Асимметричный предсказатель с вероятностью 0,974 лучше работает, чем симметричный, однако если он дает интервал более 1,06, то он ошибается. Эти ошибочные данные не следует учитывать. В итоге мы получаем работоспособную комбинацию симметричного (4) и асимметричного (9) предсказателей. Их комбинация существенно сужает интервал возможного положения действительного значения математического ожидания малой тестовой выборки.
Эффект сужения интервала возможных ошибок при вычислении математического ожидания на 21,4 % иллюстрирует рис. 3.
2017, № 2 (20)
37
Рис. 3. Снижение стандартного отклонения от величины 0,177 до величины 0,146 эквивалентно увеличению объема выборки с 32 до 47 опытов
В левой части рис. 3 даны плотности распределения значений ошибок для данных с нулевым математическим ожиданием и единичным стандартным отклонением при разных объемах тестовой выборки. В правой части рис. 3 дана связь стандартного отклонения ошибок вычисления с размером тестовой выборки. Из правой части рис. 3 видно, что при выборке в 32 опыта стандартное отклонение ошибок составляет 0,177. Сужение интервала предсказания положения математического ожидания на 21,4 % приводит к снижению стандартного отклонения до величины 0,146. Это эквивалентно увеличению тестовой выборки с 32 до 47 опытов. Наблюдается эффект мнимого увеличения тестовой выборки на 15 опытов за счет того, что мы дополнительно учитываем априорную информацию о нормальном законе распределения значений исходных данных, о размере выборки в 32 опыта и о наблюдаемой в выборке асимметрии расположения данных относительно друг друга.
Получается, что при предварительной статистической обработке биометрических данных малых выборок удается существенно повысить точность вычислений математического ожидания в дополнение к повышению точности вычисления стандартных отклонений [10] и коэффициентов корреляции [11].
Заключение
Качество предсказаний оракула должно расти по мере того, как он учитывает все больше и больше влияющих факторов. Симметричный оракул хуже асимметричного в силу того, что учитывает только нормальный закон распределения значений. Асимметричный оракул стал лучше работать из-за того, что он дополнительно учитывает, как расположены опыты выборки по отношению друг к другу.
В данной статье рассмотрен простейший оракул, осуществляющий вычисления линейной сложности над частными подвыборками, полученными отбрасыванием одного опыта. Мы
рассмотрели линейный оракул, который учитывал С^2 = 32 = (32 —1)1/! = 31 возможных состояний.
Если мы построим оракула, изымающего из полной выборки все возможные пары опытов, то будем вынуждены анализировать С32 = 496 = (32 — 2)2/2! = 450 возможных состояний. Реализация такого оракула будет иметь квадратичную вычислительную сложность.
По мере увеличения числа опытов, удаляемых из выборки, экспоненциально растет
сложность вычислений С3к2 = (32 — к )к /к!. Попытки увеличить точность предсказаний всегда будут приводить к почти экспоненциальному росту потребляемых оракулом вычислительных ресурсов.
Возникает новая возможность, которой ранее не было. Мы можем обменять вычислительные ресурсы на число опытов в выборке. Это важно для медицины, фармакологии, биометрии и экономики. Для ряда практических приложений увеличить тестовую выборку оказывается технически затруднительно (нет достаточного числа больных редким заболеванием, слишком
дорого расширять выборку людей, испытывающих на себе новый фармакологический препарат, мало примеров биометрического образа «Свой» для обучения нейронной сети [1], нет достаточного числа однотипных по экономическим показателям предприятий). В этой ситуации следует привлекать для уточнения результатов вычисления математических ожиданий большие вычислительные ресурсы, реализуя оракулов приемлемой вычислительной сложности, потребляющих приемлемые вычислительные ресурсы в течение приемлемого интервала времени. Сегодня есть возможность аренды облачных серверов для реализации высокопроизводительных вычислений, и, соответственно, появляется возможность дополнительного маневра.
Кроме того, следует отметить, что по мере усложнения оракулов, экспоненциально растет объем их программного обеспечения, объем работ по их отладке (настройке) и их поддержке. Видимо, должны появиться специализированные фирмы-посредники, задачей которых будет являться квалифицированная программная поддержка высокоразмерных оракулов, ориентированных на разные прикладные задачи.
Библиографический список
1. Dodis, Y. Fuzzy Extractors: How to Generate Strong Keys from Biometrics and Other Noisy / Y. Dodis, L. Reyzin, A. Smith // Proc. EUROCRYPT. - 2004. - April 13. - P. 523-540.
2. Monrose, F. Cryptographic key generation from voice / F. Monrose, M. Reiter, Q. Li, S. Wetzel // Proc. IEEE Symp. on Security and Privacy. - 2001. - P. 202-213.
3. Ramirez-Ruiz, J. Cryptographic Keys Generation Using FingerCodes / J. Ramirez-Ruiz, C. Pfeiffer, J. Nolazco-Flores // Advances in Artificial Intelligence - IBERAMIA-SBIA 2006 (LNCS 4140). - 2006. - P. 178-187.
4. Hao, F. Crypto with Biometrics Effectively / F. Hao, R. Anderson, J. Daugman // IEEE Transactions on Computers. - 2006. - Vol. 55, № 9. - Р. 1073-1074.
5. Волчихин, В. И. Быстрые алгоритмы обучения нейросетевых механизмов биометрико-криптографической защиты информации : моногр. / В. И. Волчихин, А. И. Иванов, В. А. Фунтиков. - Пенза : Изд-во ПГУ, 2005. - 273 с.
6. Малыгин, А. Ю. Быстрые алгоритмы тестирования нейросетевых механизмов биомет-рико-криптографической защиты информации / А. Ю. Малыгин, В. И. Волчихин,
A. И. Иванов, В. А. Фунтиков. - Пенза : Изд-во ПГУ, 2006. - 161 с.
7. Нейросетевая защита персональных биометрических данных / Ю. К. Язов, В. И. Волчихин, А. И. Иванов, В. А. Фунтиков, И. Г. Назаров. - М. : Радиотехника, 2012. - 157 с.
8. ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа. - М., 2011.
9. Иванова, Н. А. Синтез предсказателя, оценивающего ошибку вычисления математического ожидания для выборки из 32 примеров биометрического образа / Н. А. Иванова, Ю. И. Серикова // Труды научно-технической конференции кластера пензенских предприятий, обеспечивающих БЕЗОПАСНОСТЬ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ. -Пенза, 2016. - Т. 10. - С. 19-20. - URL: http://пниэи.рф/activity/science/BIT/T10-p19.pdf
10. Волчихин, В. И. Использование эффектов квантовой суперпозиции при регуляризации вычислений стандартного отклонения на малых выборках биометрических данных /
B. И. Волчихин, А. И. Иванов, А. В. Сериков, Ю. И. Серикова // Измерение. Мониторинг. Управление. Контроль. - 2017. - № 1 (19). - С. 58-64.
11. Волчихин, В. И. Фрактально-корреляционный функционал, используемый при поиске пар слабо зависимых биометрических данных в малых выборках / В. И. Волчихин, А. И. Иванов, Б. Б. Ахметов, Ю. И. Серикова // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2016. - № 4. - С. 25-31.
Волчихин Владимир Иванович
доктор технических наук, профессор, президент Пензенского государственного университета
(Россия, г. Пенза, ул. Красная, 40) E-mail: [email protected]
Volchikhin Vladimir Ivanovich
doctor of technical sciences, professor, President of Penza State University (40 Krasnaya street, Penza, Russia)
Иванова Надежда Александровна
аналитик,
ООО «БиоКрипт»
(Россия, г. Пенза, ул. Советская, 9)
E-mail: [email protected]
Ivanova Nadezhda Alexandrovna
an analyst, BioCrypt LLC
(9 Sovetskaya street, Penza, Russia)
Серикова Юлия Игоревна
магистрант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) Е-тш1: [email protected]
Serikova Julia Igorevna
graduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
Банньх Андрей Григорьевич
аспирант,
Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40) Е- mail: [email protected]
Bannykh Andrey Grigoryevich
postgraduate student,
Penza State University
(40 Krasnaya street, Penza, Russia)
УДК 519.24; 53; 57.017 Волчихин, В. И.
Синтез и тестирование оракула, способного предсказывать асимметричные границы интервала действительного положения математического ожидания малых выборок биометрических данных / В. И. Волчихин, Н. А. Иванова, Ю. И. Серикова, А. Г. Банных // Измерение. Мониторинг. Управление. Контроль. - 2017. - № 2 (20). - С. 32-39.
