CC BY
55
УДК 004
DOI 10.21685/2072-3059-2017-2-5
В. И. Волчихин, А. И. Иванов, С. Е. Вятчанин, Е. А. Малыгина
АБСОЛЮТНО УСТОЙЧИВЫЙ АЛГОРИТМ АВТОМАТИЧЕСКОГО ОБУЧЕНИЯ СЕТЕЙ ВЕРОЯТНОСТНЫХ НЕЙРОНОВ «КРАМЕРА - ФОН МИЗЕСА» НА МАЛЫХ ВЫБОРКАХ БИОМЕТРИЧЕСКИХ ДАННЫХ
Аннотация.
Актуальность и цели. Целью работы является создание искусственного нейрона, являющегося аналогом статистического критерия «Крамера - фон Мизеса», для синтеза из таких нейронов нейросетевых преобразователей биометрия-код.
Материалы и методы. Ранее авторами было доказано, что критерий «Крамера - фон Мизеса» на малых тестовых выборках работает лучше, чем хи-квадрат статистический критерий. То есть вместо нейросетевых радиальных базисных функций может быть использован искусственный нейрон, являющийся аналогом критерия «Крамера - фон Мизеса». На входы нового типа нейронов подаются не обычные биометрические параметры, а вероятности их появления в обучающей выборке.
Результаты. Синтезированный искусственный нейрон унаследовал от квадратичных форм устойчивость алгоритма обучения, что снимает проблему обучения больших сетей таких нейронов. Как и для всех квадратичных нейросетевых функционалов, сети нейронов «Крамера - фон Мизеса» дают выходной код для образов «Чужой» с низкой энтропией из-за отсутствия баланса состояний «0» и «1» в его разрядах. Этот недостаток предложено устранить путем применения выходного квантователя на выходе сумматоров нейронов «Крамера - фон Мизеса» с тремя выходными состояниями.
Выводы. Введение в состав вероятностного нейрона «Крамера - фон Мизе-са» квантователя с тремя устойчивыми состояниями позволяет получить высокий уровень энтропии для примеров образов «Чужие». Этот эффект возникает из-за удвоения числа выходных разрядов выходного кода и их практически полной балансировке по состоянию разрядов «0» и «1». В итоге сети нейронов «Крамера - фон Мизеса» оказались намного эффективнее, чем сети иных известных квадратичных функционалов. Более того, энтропия их выходных кодов оказывается выше, чем у нейронных сетей, сформированных и обученных по ГОСТ Р 52633.5. Это позволяет рассматривать сети нейронов «Крамера - фон Мизеса» как перспективу для следующего поколения нейросетевых преобразователей биометрия-код.
Ключевые слова: нейросетевой преобразователь биометрия-код, биометрические данные, статистический критерий «Крамера - фон Мизеса».
V. I. Volchikhin, A. I. Ivanov, S. E. Vyatchanin, E. A. Malygina
AN ABSOLUTELY STABLE ALGORITHM OF AUTOMATIC LEARNING OF "CRAMER - VON MISES" PROBABILISTIC NEURON NETWORKS ON SMALL SAMPLES OF BIOMETRIC DATA
Abstract.
Background. The aim of the work is to create an artificial neuron, which is analogous to the "Cramer - von Mises" statistical criterion, for synthesizing neural network biometrics-code converters from these neurons.
Materials and methods. Previously the authors proved that the "Cramer - von Mises" criterion on small test samples works better than the Chi-square statistical test. It means that instead of neural network radial basis functions there can be used artificial neurons analogous to the "Cramer - von Mises" criterion. The inputs of the new type of neurons do not receive ordinary biometric parameters, but probabilities of their occurrence in a learning sample.
Results. From quadratic forms the synthesized artificial neuron inherited the learning algorithm's stability that eliminates the problem of training large networks of neurons. As well as all quadratic neural network functionals, the "Cramer - von Mises" neuron networks give the output code with low entropy for "Foe" images due to the lack of balance of "0" and "1" states in its bits. This shortcoming is suggested to be eliminated by applying an output quantizer at the output of the "Cramer - von Mises" neuron adders with three output states.
Conclusions. The introduction of a quantizer with three stable states into the composition of the "Cramer - von Mises" probabilistic neuron allows to reach the highest level of entropy for examples of "Foe" images. This effect occurs because of the doubling of output bits of the output code and their almost total balance as of bits "0" and "1". As a result, the "Cramer - von Mises" neuron network turn out to be much more effective than other networks of other known quadratic functionals. Moreover, their output entropy code is higher than that of neural networks, formed and trained according to the state standard GOST 52633.5. This allows to examine the "Cramer - von Mises" neuron networks as a prospect for the next generation of neural network biometrics-code converters.
Key words: neural network biometrics-code converter, biometrics, "Cramer -von Mises" statistical criterion.
Общие положения статистического анализа биометрических данных
Существует множество статистических критериев для поверки гипотезы нормального распределения значений биометрических данных. Наиболее
часто на практике используется %2 -критерий [1] в силу того, что для этого
2
критерия Пирсон в 1900 г. построил аналитическое описание % -распреде-
2
ления. К сожалению, % -критерий оказывается работоспособен только на выборках в 200 опытов и больше. При обработке биометрических данных приходится иметь выборки в 20 примеров, что не позволяет применять % -критерий.
Такая же ситуация возникает и в случае использования других непараметрических статистических критериев [2], все они дают надежные оценки при выборках существенно более 20 примеров.
Для биометрии данные одного контролируемого параметра примеров образа «Свой» имеют распределение, близкое к нормальному. Для данных случайно выбранных образов «Чужие» распределение оказывается близко к равномерному. В связи с этим мы можем исследуемые критерии оценивать по отношению друг к другу, сравнивая между собой даваемые ими равные ошибки первого и второго рода P = P = Pee при использовании малых выборок нормального и равномерного законов распределения. На рис. 1 приве-
дены функции снижения вероятностей ошибок по мере роста размеров тестовой выборки.
; EE
>0 .bg
Fr
KfM
Рис. 1. Сопоставление мощностей интегральных статистических критериев Джини (Dg), Фроцини (Бг), хи-квадрат (%2) и Крамера - фон Мизеса (ЫМ)
Из данных рис. 1 видно, что мощность критерия «Крамера - фон Мизе-са» (К£М) при малых выборках оказывается выше, чем у % -критерия. Это делает критерий К£М более перспективным для биометрии в сравнении с % -критерием, критериями Фроцини и Джини.
Видимо, основной причиной высокой мощности К£М-критерия является то, что у него оказываются минимальные шумы квантования континуальных данных. При представлении континуума функции вероятности P(v) или континуума функции плотности распределения значений p(v) несколькими примерами мы вынуждены представлять данные дискретным (ступенчатым) описанием, как это показано на рис. 2.
----- .0.25 -----
-2-10 12 3 -2-10 1
Рис. 2. Шумы квантования, возникающие из-за представления континуумов данных малым числом в 11 примеров
Из рис. 2 видно, что функция вероятности представлена 11 ступеньками дискретного приближения (левая часть рисунка), тогда как функция плотности вероятности представлена только четырьмя ступеньками гистограммы (правая часть рисунка). Это происходит из-за того, что число столбцов гистограммы обычно выбирают намного меньшее, чем число примеров. Обычно рекомендуют иметь число столбцов в 5 раз меньше, чем число примеров в исследуемой выборке. По этой причине мощность шума квантования критерия
«Крамера - фон Мизеса» всегда меньше, чем мощность шума % -критерия.
Переход от статистического критерия к его аналогу в форме нейрона «Крамера - фон Мизеса»
Исходный критерий «Крамера - фон Мизеса» вычисляется через интеграл квадрата разницы между гипотетической функцией вероятности Р(у) и
эмпирической функции вероятности Р(у) :
т = | (Р(У) — р(у))2 йу. (1)
—^
Формальный переход от интеграла (1) к операции суммирования нейроном с п входами не сложен:
KfM (v) = £ (Р(у{) - P(vi ))2,
П (2)
т Ф=£ (р(у)—))2,
г=1
где V I - пример образа «Свой» по п-контролируемым нейроном биометрическим параметрам; ^ - пример образа «Чужой» по п-контролируемым нейроном биометрическим параметрам.
Эталонная функция вероятности Р^) оказывается легко вычислима только в том случае, когда выполнено центрирование и нормирование контролируемых биометрических параметров образа «Свой»:
v1=Vl—EVA. (3)
г )
В новой центрированной и нормированной системе биометрических координат эталонная функция вероятности имеет нулевое математическое ожидание и единичное стандартное отклонение:
Р(у)=тЦехр {-и"} йи. (4)
На рис. 3 дан пример эталонной функции вероятности для нормального закона.
P(v) = ¡0.11 0.1& 0.31 0.52. 0.55. 0.8* 0.99} ' Г»-*!
Р(£) = {0.00, 0.00, 0.3 1 0.52: 0.55,1.00: 100}
ч-* 5
1 ' —
Рис. 3. Работа функции преобразования вектора значений переменных в вектор значений их вероятности
Из рис. 3 видно, что данные примеров образа «Свой» после их преобразования в вероятность должны оказываться в интервале от 0.0 до 1.0. Причем появление предельных значений 0.0 и 1.0 маловероятно.
Совершенно иная ситуация возникает, если вероятностному нейрону «Крамера - фон Мизеса» будут предъявлены данные примера образа «Чужой». Как видно из рис. 3, динамический диапазон данных ^ примерно в 3 раза больше, чем данных образа «Свой». Это означает, что на входы нейрона К1М будут поступать несколько предельных минимальных значений вероятности {0.0, 0.0,....} в начале упорядоченного списка и несколько предельных значений в конце упорядоченного списка {....., 1.0, 1,0}.
В целом вероятностный нейрон К1М работает за счет того, что выявляет неоправданно большое число предельных состояний вероятности в наблюдаемом биометрическом образе. Нейрон К1М и структура нейронной сети, сформированной из нейронов К1М, представлены на рис. 4.
Полностью автоматическое обучение сети нейронов «Крамера - фон Мизеса»
Нейронных сетей может быть много, так же как и типов нейронов, из которых они собраны. Для нейросетевой биометрии принципиально важно, чтобы нейронная сеть преобразователя биометрия-код была способна быстро обучаться на малой выборке примеров «Свой» в полностью автоматическом режиме. В частности, этими свойствами обладает сеть персептронов, если ее обучать алгоритмом ГОСТ Р 52633.5 [3].
По алгоритму ГОСТ Р 52633.5 [3] нейроны подключены ко входам нейросети случайным образом. При синтезе нейронной сети связи каждого нейрона задаются таблицей, заполняемой от генератора псевдослучайных чисел. Для сети нейронов КМ связи каждого нейрона должны формироваться так же.
Важнейшим аспектом автоматического обучения сетей К1М является вычисление вектора математических ожиданий Е (V у) и вектора стандартных отклонений ) параметров 20 примеров образа «Свой». Эти данные запо-
минаются и используются для центрирования и нормирования (3) всех входных параметров нейронной сети.
Рис. 4. Обобщенная структура нейросетевого преобразователя биометрических данных в код, построенная на использовании вероятностных нейронов «Крамера - фон Мизеса»
Вторым важнейшим аспектом является вычисление средних значений вероятности для упорядоченной выборки биометрических параметров образа
«Свой» Е (Р(\>!)), Е (Р(\> 2)),....., Е (Р(\> п)). Эти параметры далее используются
как эталоны для сравнения с предъявленными нейрону данными:
KfM (v) = ¿{3 (E( P(V f) - P(V f)) )}2, i =1
KfM (|) = ¿{3 (E (P(V i) - P(!i)) f.
(5)
i=1
Система (5) содержит два уравнения, так как для данных образа «Свой» и для данных образа «Чужой» нейрон работает совершенно по-разному. Для данных образа «Свой», которые относительно малы, происходит их квадратичное сжатие и накопление сумматором.
Для данных образа «Чужой» происходит не только линейное обогащение данных за счет суммирования, но и его нелинейное усиление за счет того, что нормировка биометрических данных «Чужой» выполняется на базе статистических данных «Свой»:
I i =
I - E(Vi) G(Vi)
(6)
Именно по этой причине с вероятностью выше 0,5 данные образа «Чужой» оказываются больше 1,0 и усиливаются квадратичной функцией. В конечном итоге выполняется условие
т ф > км (V). (7)
Так как нейроны «Крамера - фон Мизеса» работают с вероятностями, на каждом входе сумматора таких нейронов должен стоять функциональный преобразователь континуумов входных состояний в вероятности их появления. На рис. 4 приведена схема процедуры нейросетевой аутентификации Биообразов, построенная на использовании множества вероятностных нейронов «Крамера - фон Мизеса». По такой схеме каждый нейрон отвечает за один или два выходных разряда кода аутентификации.
Принципиально важным свойством вероятностных нейронов К£М является очень высокая устойчивость их обучения на малых выборках. Для того чтобы выполнить нормирование и центрирование биометрических данных под Биообраз «Свой», достаточно базы из 20 примеров. Как показала практика, на базе обучающей выборки из 20 примеров образа «Свой» можно с достаточной точностью вычислить вектор математических ожиданий Е (V у) и вектор стандартных отклонений ) всех контролируемых биометрических параметров.
Единственной нетривиальной функцией автомата обучения является вычисление по 20 примерам вектора математических ожиданий вероятности появления сортировка по возрастанию значений контролируемых биометрических параметров. При обучении нет переборов и запоминания промежуточных данных. Это означает, что обучение больших сетей искусственных нейронов «Крамера - фон Мизеса» имеет линейную вычислительную сложность, так же как и алгоритм ГОСТ Р 52633.5 [3].
Усиление хэширующих свойств данных образов «Чужой» сетью нейронов «Крамера - фон Мизеса»
Основным свойством всех преобразователей биометрия-код является устранение почти до нуля естественной энтропии биометрических данных образа «Свой»:
Н(V) >> Н("с ") = 0,03 бита. (8)
Для образов «Чужой» все нейросетевые преобразователи должны выполнять обратную функцию, усиливая естественную энтропию биометрических образов «Чужие»:
Н (£) < Н (" х") = 45,03 бита. (9)
Проведенные исследования показали, что сети нейронов «Крамера -фон Мизеса» при двухуровневых квантователях значительно уступают по их хэширующим свойствам стандартизованным нейросетям, обученным по ГОСТ Р 52633.5. Это происходит из-за того, что все нейросети, обученные по ГОСТ Р 52633.5, сбалансированы по вероятности появления выходных состояний «0» и «1» в разрядах выходного кода для образов «Чужие». В сети нейронов К£М нет сбалансированности по вероятности появления в разрядах разных состояний. На рис. 5 приведены распределения вероятностей образов «Чужой» и наиболее вероятные положения порогов срабатывания квантователей.
Рис. 5. Примеры использования разного типа квантователей для линейных нейронов
При обучении линейных нейронов по ГОСТ Р 52633.5 пороги всех квантователей настроены на срабатывание в центе распределения параметров образов «все Чужие» как это показано на в левой части рис. 5.
В центральной части рис. 5 отображена ситуация, когда вместо нейронов с линейным накоплением используется одна из возможных квадратичных форм. Тогда превышение порога сравнения дает двустороннее ограничение данных, как это показано в центральной части рис. 5. В этом случае мы утрачиваем баланс состояний «0» и «1» на выходах квадратичных нейронов. Этот эффект наблюдается и для нейронов KfM, как следствие, наблюдается эффект снижения энтропии (9) квадратичных нейронов в сравнении с линейными нейронами, обученными по ГОСТ Р 52633.5 [3].
Для устранения этого нежелательного эффекта в нейронах KfM предложено использовать квантователи с тремя выходными состояниями, как это показано в правой части рис. 5. Для этой цели производится контроль значений математических ожиданий Е (Р(^)) на входе нейрона KfM:
' г(К/т) = "01" \fKfM >ул Е(Р(|)) > 0.5,
г(Кт) = "00" \fKfM <у, (10)
г (Щт) = "10" \fKfM >ул Е (Р(|)) < 0.5,
где у - порог срабатывания компаратора, находящегося на выходе квадратичного нейрона К1М, узнающего примеры образа «Свой» с высокой вероятностью в форме выходного состояния «00».
При использовании трехуровневого квантования (10) вероятности состояний «0» и «1» на выходе разрядов сети нейронов К1М выравниваются. Наблюдается рост энтропии выходных кодов «Чужой» до величины порядка 45 бит, что в 1,5 раза больше, чем тот же показатель для гостовских линейных нейронов.
Заключение
Действующий в России ГОСТ Р 52633.5 распространяется только на автоматическое обучение сетей персептронов. Как было показано в данной статье, сети К1М также имеют полностью автоматическое обучение с линейной вычислительной сложностью. Фактически действующий стандарт
ГОСТ Р 52633.5 может быть дополнен таким же стандартом для сетей нейронов «Крамера - фон Мизеса».
Ранее было известно множество квадратичных нейросетевых функционалов [4, 5], однако они не использовались в нейросетевых преобразователях биометрия-код. Это было обусловлено низким уровнем энтропии их выходных кодов. В данной работе показано, что переход к троичным нейронам решает эту задачу и увеличивает энтропию выходных кодов по сравнению с сетями ГОСТ Р 52633.5 [3]. Авторы данной статьи выражают надежду на то, что мощность сетей «Крамера - фон Мизеса» будет существенно выше, чем у сетей хи-квадрат [6] и сетей радиальных нейронов [7, 8].
Библиографический список
1. Р 50.1.037-2002. Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Ч. I. Критерии типа х2. - М. : Госстандарт России, 2001. - 140 с.
2. Р 50.1.037-2002. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Ч. II. Непараметрические критерии. - М. : Госстандарт России, 2002. - 123 с.
3. ГОСТ Р 52633.5-2011. Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа. -М, 2011.
4. Хайкин, С. Нейронные сети: полный курс / Саймон Хайкин. - М. : Вильямс, 2006. - С. 1104.
5. Галушкин, А. И. Нейронные сети: история развития / А. И. Галушкин, Я. З. Цыпкин. - М. : Радиотехника, 2001. - 840 с.
6. Кулагин, В. П. Усиление способности к обучению распознавания запахов бортового искусственного интеллекта робота, за счет применения модифицированных хи-квадрат сетей / В. П. Кулагин, А. И. Иванов, С. Е. Вятчанин // Проблемы автоматизации и управления в технических системах : сб. ст. XXXII Между-нар. науч.-техн. конф. (г. Пенза, Пенза 6-8 июня 2017 г.). Пенза : Изд-во ПГУ, 2017. - Т. 1. - С. 116-119.
7. Гильмутдинов, А. Х. Почерковедческая экспертиза на основе радиально-базисных нейронных сетей Пирсона-Хэмминга / А. Х. Гильмутдинов, Е. И. Ка-чайкин, А. И. Иванов, А. В. Безяев // Нелинейный мир. - 2017. - Т. 15, № 3. -С. 3-10.
8. Волчихин, В. И. Перспектива создания циклической континуально-квантовой хи-квадрат машины для проверки статистических гипотез на малых тестовых выборках биометрических данных и данных иной природы / В. И. Волчихин, А. И. Иванов, Д. В. Пащенко, Б. Б. Ахметов, С. Е. Вятчанин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2017. - № 1 (41). - С. 5-15.
References
1. R 50.1.037-2002. Rekomendatsii po standartizatsii. Prikladnaya statistika. Pravila proverki soglasiya opytnogo raspredeleniya s teoreticheskim. Ch. I. Kriterii tipa x2. [Standardization recommendations. Applied statistcs. Validation rules for experimental and theoretical matching. Part I. y2 criteria]. Moscow: Gosstandart Rossii, 2001, 140 p.
2. R 50.1.037-2002. Prikladnaya statistika. Pravila proverki soglasiya opytnogo raspredeleniya s teoreticheskim. Ch. II. Neparametricheskie kriterii [Applied statistcs. Validation rules for experimental and theoretical matching. Part II. Nonparametric criteria]. Moscow: Gosstandart Rossii, 2002, 123 p.
3. GOST R 52633.5-2011. Zashchita informatsii. Tekhnika zashchity informatsii. Avto-maticheskoe obuchenie neyrosetevykh preobrazovateley biometriya-kod dostupa [State
standard GOST R 52633.5-2011. Information protection. Information protection technique. Automatic learning of neural network biometrics-access code converters]. Moscow, 2011.
4. Khaykin S. Neyronnye seti: polnyy kurs [Neural networks: a complete course]. Moscow: Vil'yams, 2006, p. 1104.
5. Galushkin A. I., Tsypkin Ya. Z. Neyronnye seti: istoriya razvitiya [Neural networks: the history of development]. Moscow: Radiotekhnika, 2001, 840 p.
6. Kulagin V. P., Ivanov A. I., Vyatchanin S. E. Problemy avtomatizatsii i upravleniya v tekhnicheskikh sistemakh: sb. st. XXXII Mezhdunar. nauch.-tekhn. konf. (g. Penza, Penza 6-8 iyunya 2017 g.) [Automation and control problems in technical systems: proceedings of XXXII International scientific and technical conference (Penza, 6th-8th June 2017)]. Penza: Izd-vo PGU, 2017, vol. 1, pp. 116-119.
7. Gil'mutdinov A. Kh., Kachaykin E. I., Ivanov A. I., Bezyaev A. V. Nelineynyy mir [Nonlinear world]. 2017, vol. 15, no. 3, pp. 3-10.
8. Volchikhin V. I., Ivanov A. I., Pashchenko D. V., Akhmetov B. B., Vyatchanin S. E. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Tekhnicheskie nauki [University proceedings. Volga region. Engineering sciences]. 2017, no. 1 (41), pp. 5-15.
Волчихин Владимир Иванович Volchikhin Vladimir Ivanovich
доктор технических наук, профессор, Doctor of engineering sciences, professor,
президент Пензенского государственного President of Penza State University
университета (Россия, г. Пенза, (40 Krasnaya street, Penza, Russia) ул. Красная, 40)
E-mail: president@pnzgu.ru
Иванов Александр Иванович доктор технических наук, доцент, начальник лаборатории биометрических и нейросетевых технологий, Пензенский научно -исследовательский электротехнический институт (Россия, г. Пенза, ул. Советская, 9)
E-mail: ivan@pniei.penza.ru
Вятчанин Сергей Евгеньевич доцент, начальник кафедры радио -и космической связи факультета военного обучения, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: vyt5@list.ru
Малыгина Елена Александровна кандидат технических наук, научный сотрудник, межотраслевая лаборатория тестирования биометрических устройств и технологии, Пензенский государственный университет (Россия, г. Пенза, ул. Красная, 40)
E-mail: mal890@yandex.ru
Ivanov Aleksandr Ivanovich Doctor of engineering sciences, associate professor, head of the laboratory of biometric and neural network technologies, Penza Research Institute of Electrical Engineering (9 Sovetskaya street, Penza, Russia)
Vjatchanin Sergej Evgenyevich Associate professor, head of sub-department of radio and satellite communications, Faculty of Military Education, Penza State University (40 Krasnaya street, Penza, Russia)
Malygina Elena Aleksandrovna Candidate of engineering sciences, research worker, the interindustrial laboratory of biometric device testing and technology, Penza State University (40 Krasnaya street, Penza, Russia)
УДК 004 Волчихин, В. И.
Абсолютно устойчивый алгоритм автоматического обучения сетей вероятностных нейронов «Крамера - фон Мизеса» на малых выборках биометрических данных / В. И. Волчихин, А. И. Иванов, С. Е. Вятчанин, Е. А. Малыгина // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2017. - № 2 (42). - С. 55-65. Б01 10.21685/2072-30592017-2-5
