CC BY
76
ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ
УДК 004.93'1
ПЕРСПЕКТИВНЫЕ НЕЙРОСЕТЕВЫЕ АЛГОРИТМЫ РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ БИОМЕТРИЧЕСКИХ ОБРАЗОВ В ПРОСТРАНСТВЕ ВЗАИМОЗАВИСИМЫХ ПРИЗНАКОВ
PERSPECTIVE NEURAL NETWORK ALGORITHMS FOR DYNAMIC BIOMETRIC PATTERN RECOGNITION IN THE SPACE OF INTERDEPENDENT FEATURES
А. Е. Сулавко, С. С. Жумажанова, Г. А. Фофанов
Омский государственный технический университет, г. Омск, Россия
A. E. Sulavko, S. S. Zhumazhanova, G .A. Fofanov
Omsk State Technical University, Omsk, Russia
Аннотация. Предложена модель нейронов для задач биометрической аутентификации, способных к эффективной обработке сильно зависимых признаков, базирующаяся на критериях согласия (Джини, Крамера-фон Мизеса, Колмогорова-Смирнова, максимума площадей пересечения плотностей вероятности). Проведен эксперимент по сравнению эффективности нейронов на основе предложенной модели и нейронов на основе разностных и гиперболических функционалов Байеса, способных обрабатывать сильно зависимые биометрические данные. Предложены варианты построения гибридных нейронных сетей, способных обучаться на малом числе примеров биометрического образа (порядка 20). Проведен эксперимент по сбору динамических биометрических образов, в рамках которого 90 человек в течение месяца вводили рукописные и голосовые образы. Получены промежуточные результаты по распознаванию субъектов на базе гибридных нейронных сетей. Количество ошибок верификации подписи (рукописного пароля) составило менее 2%, верификации диктора по фиксированной парольной фразе - менее 6%. Тестирование проводилось на биометрических образцах, полученных через некоторое время после формирования обучающей выборки.
Ключевые слова: статистические функционалы, особенности подписи, параметры голоса, «широкие гибридные» нейронные сети, закон распределения случайной величины, малая обучающая выборка, информативность биометрических признаков.
DOI: 10.25206/2310-9793-2018-6-4-130-145
I. Введение
На сегодняшний день идет борьба за надежность биометрических систем распознавания личности. Интерес к проблеме биометрической аутентификации обусловлен высокими финансовыми потерями от действий кибер-преступников по всему миру. Имеющиеся оценки этих финансовых потерь достигают 375-575 [1] млрд. долларов США в год. Рынок биометрических средств защиты развивается стремительными темпами. Исследования в этой области также не стоят на месте, появляются все новые способы распознавания личности: по походке и жестам [2], параметрам электроэнцефалограмм [3], по силе нажатия пальцев на клавиши при наборе парольной фразы [4]. Поиск новых подходов обусловлен недостатками традиционных технологий аутентификации. Многие исследователи работают над объединением преимуществ биометрических систем и парольной защиты.
Метод парольной защиты уязвим, т.к. пароль является отчуждаемым от своего владельца. В некотором смысле аналогом пароля можно считать тайные динамические биометрические образы голоса, клавиатурного и рукописного почерка субъектов. Эти образы могут содержать в себе секрет, который можно произнести, напечатать или написать. Данная особенность потенциально многократно усиливает их защитные свойства и определяет перспективность их исследования. Тайные образы сложней фальсифицировать, чем статические (отпечаток пальца и др.). Статические образы невозможно скрыть, но можно скопировать. С точки зрения безопасности, открытый биометрический образ можно использовать только в целях идентификации, для аутентификации требуется распознавать тайный образ. Вместе с тем использование тайных биометрических образов на
практике сдерживается недостаточной надежностью принимаемых решений. Требуется повысить вероятность верного распознавания субъекта до уровня, достигнутого для отпечатка пальца.
Сложность данной научной задачи обусловлена тем, что большинство динамических биометрических параметров являются коррелированными и малоинформативными. Динамический биометрический образ содержит значительно меньше информации о владельце, чем статический. Требуется найти метод распознавания образов, способный работать с малоинформативными коррелированными биометрическими признаками и обучаться на малом числе примеров. Весьма перспективным в этом отношении математическим аппаратом являются гибридные нейронные сети с малым числом слоев, называемые «широкими».
Настоящее исследование посвящено разработке перспективных нейронов для построения нейросетевых автоматов, способных к обучению на малом числе примеров, в задачах верификации динамических биометрических образов.
II. Основные направления исследований в мировой науке
Реальная практика и стандарты в области информационной безопасности (семейство ГОСТ Р 52633, ISO/IEC 24745:2011, ISO/IEC 24761:2009, ISO/IEC 19792:2009) предъявляют требования к защите биометрических эталонов от компрометации при их хранении и передаче по каналам связи. Существует два подхода для распознавания человека, позволяющие защитить его биометрический образ от восстановления: «нечеткий экстрактор» и искусственные нейронные сети (ИНС). Независимо от подхода надежность процедуры верификации образов определяется вероятностью (или процентом) ошибок 1-го и 2-го рода - False Rejection Rate (FRR) и False Acceptance Rate (FAR) соответственно (при FAR=FRR говорят о Equal Error Rate (EER)). Распознавание может выполняться в режиме верификации (сравнение один к одному) и идентификации (сравнение один ко многим). При реализации процедуры биометрической аутентификации используется режим верификации, который рассматривался в рамках настоящей работы.
«Нечеткие экстракторы» (fuzzy extractors) базируются на использовании помехоустойчивого кодирования по отношению к биометрическим данным для компенсации ошибок, возникающих вследствие невозможности точного повторного воспроизведения биометрического образа [1, 5, 6]. Подход обладает множеством принципиальных недостатков [7], вследствие чего все его модификации являются малоэффективными при верификации образов подписи (FRR=4.5%, FAR=1.5% [1]), голоса (FRR=FAR=20%) и клавиатурного почерка (FRR=10.4%, FAR=2.1%).
Подход на базе ИНС является более перспективным. Несмотря на многообразие концепций построения ИНС (включая гибридные), всем моделям ИНС свойственны общие черты:
1. Способность к обучению, приводящему к улучшению качества решения задачи.
2. Наличие взаимосвязанных вычислительных элементов.
Особое внимание в настоящее время уделяется «рынку глубокого обучения», ключевыми игроками которого являются NVIDIA Corporation, Intel Corporation, Google, Inc. и Microsoft Corporation. Компании вкладывают средства в развитие методов глубокого обучения для включения их в свои продукты. По данным Grand View Research объем этого рынка оценивался в 272.0 млн. долл. США в 2016 году. В ноябре 2016 года GE Healthcare объявила о партнерстве с Калифорнийским университетом в Сан-Франциско по разработке библиотеки алгоритмов глубокого обучения с целью помочь врачам в проведении более точных и эффективных процедур диагностики и лечения пациентов. Как следствие, в некоторых задачах идея глубокого обучения доведена до эффективных практических решений (например, распознавание речи).
Многие исследователи биометрических методов защиты информации также идут по пути развития сетей глубокого обучения (сверточных ИНС) [8]. Впервые термин «глубокое обучение» употреблен в 1986 году после появления работы Рины Дехтер [9]. Но многослойные персептроны и алгоритм их обучения «обратным распространением ошибки» предложены гораздо раньше - в 1974 году, Галушкиным А.И. [10]. В 2002 году Джефри Хинтон усовершенствовал данный алгоритм, применив машины Больцмана для обучения нижних слов нейронов [11]. Этот подход лег в основу современных «глубоких» ИНС. На сегодняшний день под «глубоким» обучением обычно подразумевается итерационная настройка многослойных нейронных сетей прямого распространения, при которой в том или ином виде используется алгоритм «обратного распространения ошибки». В наиболее общем случае он имеет две реализации: пакетного или стохастического градиентного спуска (во втором случае для оптимизации обучения используются алгоритм имитации отжига, генетические и другие алгоритмы) [12]. Пока реального конкурентоспособного продукта для биометрической аутентификации на ос-
нове «глубоких» сетей нет. В реальных условиях работы такой продукт крайне сложно обучить по следующим причинам:
1. Итерационные алгоритмы обучения теряют устойчивость при усложнении структуры ИНС. В частности, не удается настроить нейроны с большим числом входов. Чем больше входов у нейрона, тем меньше влияние каждого из этих входов на его выход. Появляются так называемые «ложные» локальные максимумы качества. В работе [13] этот эффект назван «слепотой» обучающего автомата.
2. Для обучения ИНС классическими алгоритмами при наличии нескольких слоев требуется большая обучающая выборка (сотни и тысячи примеров) [7]. Этого недостаточно в биометрических приложениях, т.к. система должна гарантированно обучаться всего на нескольких примерах (желательно порядка 10-20).
3. Для ускорения и повышения качества обучения многослойных ИНС приходится избавляться от малоинформативных и коррелированных признаков. Однако многие динамические биометрические образы преимущественно состоят из таких признаков и почти не содержат высокоинформативных некоррелированных признаков. Необходимость исключения большинства признаков приводит к недостаточной эффективности распознающего автомата. Все это проявления одной более общей проблемы, называемой также «проклятием размерности» [7, 13, 14].
4. Метод обучения обратным распространением ошибки имеет экспоненциальную вычислительную сложность, что не позволяет его реализовать на слабом процессоре без удаленного подключения к серверу [7]. Тайный биометрический образ не стоит отправлять по сети, тем самым можно скомпрометировать биометрический образ (нарушив требования безопасности, в частности, ГОСТ Р 52633.0).
Любое изменение «глубокой» (и вообще многослойной ИНС, обучаемой итерационным алгоритмом) ведет к потере устойчивости обучения, а увеличение числа слоев или нейронов - к увеличению необходимого объема обучающей выборки. На сегодняшний день ни один метод оптимизации ИНС не позволяет успешно обучить ее методом обратного распространения ошибки на 20-30 примерах динамических биометрических образов. Поэтому более корректным подходом в данной задаче является использование «широких» ИНС, которые обладают рядом преимуществ:
1. Высокая скорость работы, позволяющая реализовать данные алгоритмы на низкопроизводительном вычислительном устройстве.
2. Возможность применения абсолютно устойчивых процедур обучения на малом числе примеров независимо от сложности ИНС (обучение выполняется послойно, каждый нейрон обучается независимо от остальных нейронов сети).
3. Высокий потенциал для повышения надежности принимаемых решений. При построении «широких» сетей решено отказаться от метода «обратного распространения ошибки» в любом виде. В результате такая сеть может состоять из нейронов, в основе которых лежат не только различные активационные функции, но и любые функционалы. Для сравнения в персептроне всегда используется функционал взвешенного суммирования (1):
ч
У = (1)
/=1
где а/ - значение /-го признака, ч - количество признаков, обрабатываемых функционалом (размерность функционала), Ц/ - весовой коэффициент входа нейрона, ассоциированного с /-м признаком (/-го входа). Многие функционалы обрабатывают данные гораздо эффективнее сумматоров персептрона и способны работать с сильно коррелирующими данными.
Быстрый не итерационный и абсолютно устойчивый алгоритм обучения персептронов с малым числом слоев («широких» ИНС) впервые предложен в России несколько лет назад для решения задач биометрической аутентификации. Позже он лег в основу серии стандартов ГОСТ Р 52633. Алгоритм порождает целый класс потенциально более эффективных методов обучения гибридных ИНС, состоящих из большого числа нейронов и малого числа слоев («широких» гибридных ИНС). Эти сети имеют общие черты с сетями радиально-базисных функций, но являются более гибкими. Такая сеть может иметь перекрестные связи и состоять из нейронов, базирующихся на разных функционалах и активационных функциях.
С помощью «широких» однослойных ИНС на базе одного функционала удается достичь гораздо более приемлемых показателей ошибок верификации биометрических образов (клавиатурный почерк - РКЯ=5,5%. БАЯ=6.9%. подпись - РКЯ=1.2%, БАЯ=0.8%) [15]. Достигнутый результат можно значительно улучшить, задействовав весь потенциал этих сетей.
III. Особенности построения гибридных «широких» ИНС
Исследования показывают, что «широкую» сеть нужно строить из нейронов, в основе которых лежат различные функционалы F, подбирать которые следует исходя из корреляции между признаками. Признаком назовем конкретную величину, характеризующую образы (классы), имеющую определенный физический смысл. Для биометрических приложений признак - это определенный биометрический параметр. Для получения вектора значений признаков a={a1, a2, ..., aN} введенный субъектом образец биометрических данных анализируется определенными методиками в зависимости от типа биометрического образа, где N - общее количество признаков образа. Далее признаки поступают на входы нейронов первого слоя «широкой» сети, однако синапсы создаются не случайным образом, а в зависимости от корреляции между признаками, а также с учетом информативности признаков.
Гибридная «широкая» ИНС превосходит по надежности «широкую» сеть из однотипных, в том числе классических нейронов. Увеличивать количество ее слоев имеет смысл, если для обогащения входных данных об образе последовательно используются разные виды нейронов. На рис. 1 схематически представлен один из вариантов построения нейронной сети.
С увеличением количества нейронов «широкой» ИНС не возрастает сложность обучения, что крайне важно.
Любой слой широкой искусственной нейронной сети строится на основе идеи, что нейроны могут делать ошибки, но предпочтительно, чтобы они делали разные ошибки. Нейрон квантует значение на функциональном выходе, преобразуя его в 0 или 1 (или в двоичный код, если он имеет несколько выходов, это исследование не рассматривает данные случаи) в зависимости от принятия (отклонения) определенной гипотезы. окончательное решение о принадлежности входного изображения к эталонному изображению принимается на основе расстояния Хэмминга (или его взвешенной версии) от двоичного кода, генерируемого искусственной нейронной сетью, до некоторого правильного значения кода (к примеру, содержащего все нули или равным личным ключам доступа или персональной цифровой подписи). Таким образом, рост числа нейронов в слое не может увеличивать число ошибок, он может увеличить время принятия решений линейно. однако, если выходы нейронов сильно коррелированы, не стоит выращивать новый слой нейронов.
IV. Об информативности и коррелированности динамических биометрических признаков
К динамическим биометрическим признакам относят особенности воспроизведения рукописного пароля или подписи, голосового пароля, походки, написания фразы на клавиатуре и другие. В рамках работы подробно рассмотрим только голосовые и рукописные образы.
Рукописный образ представляет собой функции координат x(t), y(t), силы нажатия p(t) и скорости vxy(t) пера от времени. Перед процедурами обучения и распознавания каждый образ преобразовывается в вектор значений следующих признаков: нормированные по энергии амплитуды гармоник функцийp(t) и vxy(t) (соответствующих частотам движений руки подписанта - около 0.1-10 Гц); коэффициенты корреляции между x(t), y(t), p(t); расстояния между определенными точками в трехмерном пространстве (третье измерение - p(t)), характеристики внешнего вида образа; детализирующие коэффициенты вейвлет-преобразования Добеши по базису D6 функций p(t) и vxy(t) (диапазон анализируемых частот - 0.1-10 Гц) и другие. Способ их вычисления достаточно подробно описан в работе [1]. Общее количество признаков составило 335.
Голосовой пароль представляет собой речевой дискретизированный сигнал, размер одного отчета которого составлял 16 бит (при более низком качестве наблюдались потери информативности признаков), а частота дискретизации - 8000 Гц. Наиболее информативна частота основного тона (у мужчин - 80 до 210 Гц, у женщин -150 до 320 Гц), также информация о дикторе присутствует в обертонах (до 4000 Гц). По теореме Котельникова: кодирование непрерывного сигнала определенной частоты без потерь возможно при его дискретизации с удвоенной частотой, т.е. 8000 Гц. В работе использовалось два метода для вычисления признаков голоса. Один из них основан на прямом преобразовании Фурье, второй - на оконном преобразовании с последующей интеграцией значений каждой гармоники всех окон. Всего вычислялось 612 признаков. Подробнее о них написано в [16].
Если абстрагироваться от конкретного приложения теории распознавания образов, то все возможные признаки отличаются между собой только информативностью и взаимной корреляционной зависимостью. Под информативностью признака понимается то, насколько хорошо он характеризует распознаваемые образы. Чем выше информативность признака, тем с меньшей вероятностью ошибки данный признак позволяет разделить классы образов. Сумма вероятностей ошибок 1-го и 2-го рода распознавания двух субъектов по некоторому признаку стремится к площади пересечения функций плотностей вероятности значений этого признака, харак-
теризующих соответствующие классы образов. В настоящем исследовании информативность группы из N признаков оценивалась по формуле:
( п Л
N Е &ч>(j)
V Т -1=1_
1(N ) =-^-^,
N
где Sсчi(j) - площадь пересечения двух функций плотности вероятности значений/-го признака, характеризующих соответственно образ «Свой» и образ «Чужой» для класса образов под номером i, п - число классов образов, доступных для исследования (например, количество испытуемых, для которых проводится оценка информативности биометрических признаков). Чем ниже значение 1, тем признак(и) информативнее (рис. 2). При необходимости эту оценку можно обратить (I = 1 - 1) или перевести в биты информации: 1Ьй = -Log2(I) [17]. Желательно, чтобы информативность признаков, обрабатываемых одним нейроном, была сравнимой (1+0,1). Авторами настоящей работы предложена шкала информативности признаков (табл. 1).
ТАБЛИЦА 1
ПРЕДЛАГАЕМАЯ ШКАЛА ИНФОРМАТИВНОСТИ ПРИЗНАКОВ
1<0.001 9.966< 1ш Сверхинформативные 0.999< I
0.001<1<0.1 3.322< 1Ьй <9.966 Высокоинформативные 0.9< 1<0.999
0.1<1<0.3 1.737< 1ьи <3.322 Весьма информативные 0.7< 1<0.9
0.3<1<0.5 1< 1Ьй <1.737 Средней информативности 0.5< 1<0.7
0.5<1<0.7 0.515< 1Ьй <1 Малоинформативные 0.3< 1<0.5
0.7<1<0.9 0.152< 1ы <0.515 Крайне малоинформативные 0.1< 1<0.3
0.9<1<0.999 0.001< 1ьи <0.152 Почти не информативные 0.001< 1<0.1
0.999<1 1ь#<0.001 Неинформативные 1<0.001
Для подписей [1] и голоса [16] характерно следующее соотношение информативности признаков: 1% и 3% весьма информативных, 45% и 9.5% средней информативности, 50% и 87% малоинформативных, 4% и 0.5% крайне малоинформативных признаков.
Реальные биометрические данные коррелированы, в табл. 2 можно видеть обобщенные оценки статистической зависимости для динамических биометрических образов (по данным 90 испытуемых). Для разных субъектов характер этой связи может существенно отличаться. Поэтому требуется искать функционалы, которые будут хорошо работать в пространстве коррелированных признаков.
ТАБЛИЦА 2
ДОЛЯ ПАРНЫХ СОЧЕТАНИЙ ПРИЗНАКОВ С ОПРЕДЕЛЕННОЙ КОРРЕЛЯЦИОННОЙ ЗАВИСИМОСТЬЮ ДЛЯ РАЗЛИЧНЫХ ТИПОВ БИОМЕТРИЧЕСКИХ ОБРАЗОВ
Сила и характер связи Подпись [1] Голос [16] Клавиатурный почерк [6]
г<-0.7 0.05% 0% 0%
-0.7< г <-0.5 0.35% 0.2% 0%
-0.5< г <-0.3 1% 0.8% 0.05%
-0.3< г <0.3 84.3% 74.1% 91.15%
0.3< г <0.5 9.5% 17% 4.7%
0.5< г <0.7 3.5% 6.3% 3.55%
0.7< г <0.9 1% 1.5% 0.55%
0.9< г <1 0.3% 0.1% 0%
V. Построение нейронов Байеса-Хемминга в широких ИНС
На данный момент весьма распространённой точкой зрения является следующая: корреляционная зависимость между признаками негативно влияет на результат распознавания образов. В соответствии с данной точкой зрения при разработке методов биометрической аутентификации исследователи пытаются исключить (или объединить) сильно зависимые биометрические признаки, т.к. считается, что они дублируют информацию, которая в них содержится. На самом деле это не совсем правильный подход. Описанная точка зрения справедлива, если оставаться в рамках концепции «нечетких экстракторов» [1, 5, 6] или искусственных нейронных сетей [8], состоящих из «классических» нейронов, в основе которых лежит функция взвешенного суммирования (1). Это также справедливо для многих мер близости (функционалов), в частности, для квадратичных форм и их аналогов (например, меры Пирсона, Евклида, хи-модуль) [4, 15]. Сети квадратичных форм также теряют мощность, если вектор входных биометрических параметров содержит зависимые величины.
Результаты многочисленных недавних исследований показывают, что существуют функционалы (меры близости), способные делать меньше ошибочных решений и учиться с использованием меньшего числа случаев, чем нейрон, основанный на взвешенной функции суммирования (1). Некоторые меры близости обеспечивают меньшее количество ошибок классификации при работе с атрибутами с высокой взаимной корреляционной зависимостью (разность (2), корреляцией и гиперболическими многомерными байесовскими функционалами):
где т/ и О/ - математическое ожидание и среднеквадратичное отклонение значений /-го признака, вычисляемые по данным обучающей выборки. В работе [7] экспериментально подтверждено, что байесовский функционал (2) совершает тем меньше ошибок, чем выше его размерность q (количество признаков, поступающих на его вход), а также выше коэффициент равной коррелированности этих признаков. Таким образом, наличие и сила связи между признаками воспринимается как дополнительная информация. Это вполне логично, если учесть, что взаимная корреляционная зависимость между определенными биометрическими параметрами для разных людей может существенно отличаться. Аналогичные свойства были доказаны и для гиперболических Байесовских функционалов(3).
Простейший вариант построения нейрона подразумевает наличие одного функционала ¥, обрабатывающего входной вектор ак (к - номер нейрона), элементы которого являются подмножеством вектора а. На этапе обучения формируется эталон Е распознаваемого образа, состоящего из параметров, которыми оперируют функционалы нейронов (например, Е={т1, о1, т2, о2, ..., тм, ом}). Цель обучения - вычисление данных параметров детерминировано, исходя из данных обучающей выборки. На этапе распознавания на вход нейрона поступают признаки, рассчитывается значение функционала _/=Р(ак, Ек), которое корректируется функцией активации А(/). В случае многомерных байесовских функционалов (2) и (3) хорошие результаты показывает пороговая актива-ционная функция, которая выдает «0» или «1». Для каждого нейрона Байеса-Хемминга на этапе обучения автоматически определяется порог срабатывания, исходя из откликов на данные обучающей выборки «Свой» (описано в [7, 17]). Таким образом, на базе одного из функционалов (2) или (3) и пороговой функции активации строится нейрон Байеса-Хемминга со структурой, изображенной на рис. 3.
VI. Построение нейронов в «широких» ИНС на базе других статистических функционалов
Алгоритм ГОСТ Р 52633.5-2011 подразумевает детерминированное обучение одно- или двухслойных пер-септронов, заключающееся в вычислении ¡/, исходя из параметров т/ и О/, характеризующих образы «Свой» и «Чужой». Согласно ГОСТ Р 52633.5-2011, для построения эталона «Свой» Ес рекомендуется использовать не менее 11 примеров биометрического образа человека, на распознавание которого настраивается система. Для создания эталона «Чужой» Еч рекомендуется брать не менее 64 примеров, полученных от разных людей. После чего алгоритм начнет отличать образ человека от образа, не принадлежащего ему (для каждого субъекта создается отдельная ИНС).
На аналогичном принципе предлагается строить нейроны на базе любых функционалов. Если нейрон оценивает близость ак к Еск и близость ак к Ечк с помощью аналогичного функционала ¥, то такой нейрон назовем симметричным. В общем случае (рис. 4) для оценки близости ак к эталонам Еск и Ечк могут быть использованы разные функционалы (Е1 и ^2), которые даже могут использовать разные подмножества признаков из вектора ак
4 = Ъ~
' Р '
\т, — а
(2)
(3)
(например, если некоторый образ имеет специфические признаки, которых нет у других образов). Назовем такие нейроны асимметричными. Далее будем рассматривать только симметричные нейроны. Расчетные значения функционалов /¡=Е(аЛ, Ес^) и /2=Е(ак, Еч^) предлагается сравнивать между собой и принимать решение по их минимуму, т.е. применяя бинарную пороговую функцию активации нейрона вида (4):
Функция активации (4) квантует данные на выходе Е, как и пороговая, но не требует определения оптимального порога срабатывания. Фактически такой нейрон (рис. 4) осуществляет идентификацию образа при наличии 2-х гипотез: «Свой» и «Чужой». Тем не менее в данном случае можно назвать режим работы такого нейрона верификацией образов, т.к. он проводит оценку того, принадлежит ли ак определенному субъекту или нет.
Для построения нейронов в соответствии с рис. 4 можно использовать функционалы на базе критериев проверки гипотез о законе распределения случайной величины [17]: Хи-квадрат Пирсона, Крамера-фон Мизеса, Смирнова-Крамера-фон Мизеса, Джини, Андерсона-Дарлинга, Ватсона, Фроцини и другие. Принцип действия таких статистических функционалов основан на следующем. Параметры распределения значений для любой функции оцениваются на основе обучающей выборки для проверяющего изображения (субъекта, человека), что означает, что функции рассматриваются как набор случайных значений. Затем значения исходных признаков нормируются по формуле (5), после чего они могут быть представлены как значения некоторой нормально распределенной случайной величины со статистическим ожиданием равным нулю и индивидуальным стандартным отклонением (тс«0 и стс«1). На этапе принятия решений значения параметров нормализуются одинаково (с учетом параметров шаблона изображения, подлежащих проверке) и формируется эмпирическое распределение. Однако параметры этого распределения будут различаться, следовательно, отклонения будут регистрироваться, когда эмпирические и контрольные распределения будут сравниваться с использованием упомянутых выше.
где Ш/(окп) и 0/(<тп) - математическое ожидание и среднеквадратичное отклонение значений /-го признака для образа «Свой». По данным а могут быть также вычислены параметры эталонного распределения «Чужой» (шчф0 и ач^1). Здесь и далее рассматривается случай, когда каждый/-й признак имеет нормальное распределение значений (или близкое к нему).
Статистические функционалы на базе критериев согласия реализуются в 3-х вариантах: интегральный (оперирующие вероятностями), дифференциальный (оперирующие плотностями вероятности) и интегро-дифференциальный (оперирующие вероятностями и плотностями вероятности значений признаков). Исследования показывают, что в пространстве независимых признаков некоторые интегральные функционалы работают эффективнее при построении нейрона на базе архитектуры рис. 3, а дифференциальные, напротив, если использовать архитектуру из рис. 4. Нейроны на базе данных функционалов имеют свои особенности. Прежде всего, размер обучающего множества К и ряда признаков N являются взаимосвязанными значениями (количество функций в определенной степени эквивалентно размеру обучающей выборки). Чем больше признаков (чем больше размерность функционала), тем более нормализованные значения а могут быть получены, что тем самым увеличивает качество обучения (более точны кривые плотности вероятности или гистограммы относительных частот). Таким образом, увеличение количества функций уравновешивает небольшой размер обучающей выборки. Этот эффект повышения качества обучения прямо противоположен поведению широких сетей, где увеличение количества признаков в зависимости от ряда слоев искусственной нейронной сети приводит к экспоненциальному росту необходимого размера обучающей выборки.
Установлено, что на малых обучающих выборках «Свой» (10-20 образцов) в пространстве независимых признаков с информативностью 0.7>1>0.3 хорошие результаты по надежности распознавания образов показывают функционалы на базе критериев Джини (6)-(7) и Крамера-фон Мизеса (8)-(9), Колмогорова-Смирнова (10), максимума площади пересечения сравниваемых функций плотностей вероятности (11):
(4)
а / - т
'/(опп)
а =
(5)
°/( опп)
DgD =|\р(а) - р(а)\йа, (7)
-да +да
к/м = | (Р(а) - Р(а ))2аа, (8)
-да +да
к/ш =| (р(й) - р(а))2 а (9)
-да
К5 = эир (р(а) - р(й)), (10)
-да<а <+да
+да Г р(а), елии р(а) < р(а) п 1 л
ИахЗд = 1 -Г (тт(а) = - / / /(11)
- ур(а), елиир(а) > р(а)
где Р(а) - эмпирическая функция вероятности, Р(а) - ее эталонное описание, р(а) - эмпирическая функция плотности вероятности, р(а) - ее эталонное описание. Последний критерий предложен авторами настоящей работы для задач распознавания образов. Решения интегральных функционалов Джини (6) и Крамера-фон Ми-зеса (8) сильно коррелированы, как и решения их дифференциальных аналогов (7) и (9).
Тем не менее указанные функционалы теряют мощность, если коррелированность признаков возрастает. Как будет показано далее, многие статистические функционалы можно настроить на обработку сильно зависимых признаков. Однако для этого требуется придерживаться варианта построения нейрона, изображенного на рис. 4.
VII. Декоррелирующее преобразование для нейронов,
базирующихся на функционалах критериев согласия
Нами исследованы закономерности между параметрами функционалов, базирующихся на критериях согласия, информативностью признаков и их корреляционной зависимостью. Выявлена тесная связь между средней информативностью признаков 1(Л) и сч (среднеквадратичным отклонением нормированных значений этих признаков для эталонного распределения «Чужой», рис. 5). Данная связь тем ближе к функциональной, чем ближе по значению информативность I, каждого из N признаков, и становится функциональной, если признаки рано-информативны. Также наблюдается почти идентичная связь между аналогичным параметром эмпирического распределения сэ(ач), порождаемого образом «Чужой», и /(Л). Связь меняется существенным образом, если ДЛ)>0.7 (рис. 5).
Корреляция между признаками не влияет на параметры эталонных распределений тс, сс, сс, сч, но влияет на параметры эмпирического распределения тэ(а) и сэ(а). Влияние корреляционной зависимости между признаками на параметры эмпирического распределения наиболее заметно, если а принадлежит образу «Свой» (ас). Чем сильней взаимосвязь между признаками а,, тем «тоньше» и «выше» получается функция плотности вероятности р(а) образа «Свой» (рис. 6). Если признаки зависимы, то снижение/повышение значения а1 вызывает аналогичное изменение значений а2, а3 и т.д. Соответственно нормированные значения а локализуются в узком интервале, вследствие чего тэ^0, а сэ<1. Чем выше зависимость признаков, тем сильней отклоняется тэ от нуля, и меньше по значению получается сэ. На этапе обучения вводится несколько векторов значений коррелированных признаков а, поэтому эталонные параметры тс и с с остаются почти такими же, как в случае независимости признаков, т.е. сэ(ас)<сс, что является причиной ошибок 1-го рода. Информативность признаков не влияет на тэ(а) и с э(а).
Описанные закономерности справедливы как для генерируемых, так и для реальных биометрических данных (клавиатурного почерка [6], голоса [16], подписи [1] и других), при условии, что признаки примерно рав-ноинформативны и закон распределения их значений близок к нормальному. Физическая природа признаков не важна.
Приведенные данные можно было бы назвать бесполезной эмпирикой, если бы из этого не следовали конструктивные выводы. Если данные ак коррелированы, то это можно исправить, пропорционально увеличив значения сэ и сч для Н-го нейрона, оставив прежним значение сс. Такой прием дает возможность избавить от корреляционной зависимости между элементами вектора а, и одновременно перейти в пространство более инфор-
мативных признаков. Все входные эмпирические распределения и эталонное распределение «Чужой» целесообразно нормировать по формуле (12):
Аа = -
а„ • К„
"С
ХСТ э (аск )
; а\
Аа = -
а„ • К„
ХСТ э (аск )
(12)
где к - номер обучающего примера «Свой», Кс - объем обучающей выборки «Свой». Отметим, что параметр Лст возможно использовать при оценке многомерной корреляции при соответствующем обосновании (которое не входит в цели статьи).
Эксплуатировать найденные закономерности возможно при /(Л/)<0.7. После этой черты, влияние корреляции на параметры эталонного распределения «Чужой» становится ощутимым. При /(Л/)=0.9 значения ач и <уэ(ач) для зависимых признаков отличаются почти в 3 раза (рис. 5).
а.. = а
VIII. Тестирование нейронов в задачах распознавания диктора и подписанта
Проведен эксперимент по оценке эффективности нейронов Байеса-Хемминга (рис. 3) и нейронов на базе критериев согласия (рис. 4) в задачах верификации рукописных и голосовых образов человека. В эксперименте приняло участие 90 человек, каждый из которых в течение месяца вводил определенный рукописный образ (подпись или пароль) с помощью графического планшета Wacom, а также голосовой образ «разрешите доступ» с помощью микрофона Sony F-V120. Раз в неделю каждый испытуемый вводил более 20 голосовых и рукописных образов. В результате от каждого субъекта получено более 100 голосовых и 100 рукописных образов (общее количество образцов каждого типа превысило 104).
Тестирование нейронов проводилось отдельно для задач верификации рукописных и голосовых образов человека. Для каждого субъекта формировались свои уникальные нейроны, обученные на распознавание его биометрического образа. Независимо от типа распознаваемого образа (голосового или рукописного) первые 20 биометрических образцов испытуемого использовались для создания его эталона «Свой». Для создания эталона «Чужой», соответствующего этому же субъекту, использовалось 64 образца, полученных от других испытуемых (по одному от каждого). Так для каждого из 90 субъектов созданы эталоны «Свой» и «Чужой» рукописного и голосового образа (всего 180 эталонов «Свой» и 180 эталонов «Чужой»). Остальные образцы использовались для оценки надежности распознавания испытуемых.
В эксперименте учитывался аспект изменчивости динамических биометрических образов человека со временем, т.к. обучение проходило на биометрических данных, полученных в первый день эксперимента, а тестирование нейронов и их сетей на данных последующих дней. Такой подход является максимально близким к реальным условиям применения методов биометрической аутентификации субъектов. Изменчивость образов во времени не учитывалась в предыдущих экспериментах [1, 6, 7, 15, 16].
Как видно из табл. 2, образ голоса содержит в среднем более 25% зависимых признаков (|r|>0.3), рукописный образ - более 15%. Из 335 признаков подписи в среднем имеется 16 сильно зависимых (|r|>0.5) признаков (для каждого субъекта это число различно). На базе любого байесовского функционала (2) и (3) относительно любого из 16 признаков можно сформировать множество вариантов нейронов с размерностью q от 2 до 16, общее число которых равно сумме количеств сочетаний CNq (из N по q), при N=16, 16>q>2. Количество возможных конфигураций нейронов для обработки голосовых признаков еще больше. Каждый из этих нейронов будет уникальным. однако это весьма избыточное количество (решения большей части нейронов будут сильно коррелировать). Поэтому в рамках эксперимента применялась методика формирования нейронов из работы [7], с помощью которой определялось, сколько входов будет иметь каждый нейрон в зависимости от т (интервала равной коррелированности между признаками, в рамках эксперимента т=0.2.). Признаки под номерами j и i попадают в нейрон, связанный с признаком t, если разница коэффициентов парной корреляции между признаками j и t и признаками i и t не превышает т. Подробнее о построении сетей Байеса-Хемминга описано в [7]. Формирование нейронов Байеса-Хемминга для распознавания голосовых образов выполнялось аналогично. Формировать сети Байеса-Хемминга стоит на базе сильно зависимых признаков (|r|>0.5), учет признаков с умеренной зависимостью (0.5>|r|>0.3) не дает преимуществ, но увеличивает время необходимое на обработку биометрических данных (рис. 7).
Концепция построения сетей из нейронов на базе функционалов (6)-(11) иная. Размерность одного нейрона не должна быть слишком низкой в противном случае не удается построить эмпирическое распределение. Со-
гласно теореме Чебышева нужно повышать размерность функционалов, однако на практике оказывается более выгодным повышать количество уникальных нейронов, чем конструировать малое число нейронов на базе высоко размерных функционалов. Независимые признаки должны обрабатываться нейронами, не использующими преобразование (12). Исследования показывают, что при обработке условно независимых признаков (|г|<0.3) число входов нейрона q требуется задавать исходя из информативности обрабатываемых им признаков. В этом случае признаки нужно группировать по информативности и распределять их между нейронами (признаки, попадающие в один нейрон не должны отличаться по информативности более чем на А/). Рекомендуется, чтобы число совпадающих признаков у двух произвольных нейронов было не более q/4. Увеличение числа одинаковых признаков на входе различных нейронов ведет к большой избыточности ИНС и коррелированности ее выходов. Чем менее информативные признаки, тем больше входов должен иметь нейрон. На аналогичных принципах должна строиться сеть квадратичных форм и их аналогов (сети Пирсона-Хемминга, хи-модуль). В настоящей работе независимые признаки группировались при А/=0.1, при этом размерность функционалов повышалась в 1.5 раза при переходе от менее информативной категории признаков к более информативной. Размерность функционалов (6)-(11), обрабатывающих признаки с /<0.1, составляла q=3 (для квадратичных форм в аналогичном случае q=2). Эффективность применения сетей статистических функционалов (6)-(11) и сетей квадратичных форм иллюстрирует рис. 8.
При обработке зависимых признаков (г|>0.3) нейронами на базе функционалов (6)-(11) нужно применять преобразование (12). Группировать зависимые признаки по информативности не требуется. Признаки, имеющие заметную корреляционную зависимость, и так сравнимы по информативности. В этом легко убедиться, если представить два линейно зависимых признака, - они будут иметь равные функции плотности вероятности. Чем ближе зависимость между признаками к линейной, тем более схожими являются функции плотности вероятности, описывающие соответственно образы «Свой» и «Чужой» (площадь пересечения этих функций для обоих признаков будет в большинстве случаев в пределах А/). Исследования показали, что независимо от информативности зависимых признаков размерность функционала (6)-(11) целесообразно задавать в пределах 25^>15. Дальнейшее увеличение q не приводит к улучшению результата (наступает насыщение нейрона). Для каждого испытуемого определялся свой набор зависимых признаков на этапе обучения. Результаты тестирования функционалов (6)-(11) с учетом преобразования (12), а также ИНС на их основе приведены на рис. 9 и 10. От использования 4.5% крайне малоинформативных зависимых признаков пришлось отказаться, т.к. при />0.7 преобразование (12) дает сбой в силу расхождения оценок сч, и сэ(ач) (рис. 5).
Из рис. 9 видно, что предложенное преобразование (12) действительно повышает эффективность работы с сильно коррелированными признаками всех рассмотренных функционалов на базе критериев согласия, кроме дифференциального критерия Крамера-фон Мизеса (в этом случае результат аналогичен). Предложенное преобразование (12) повышает эффективность функционалов DgI, DgD, К/М/, КБ, MaxSq при распознавании рукописных образов в пространстве зависимых признаков на 15%-25%. Эффективность работы одного нейрона на основе одного из функционалов DgI', DgD', К/М/', КБ', МахБ^ примерно в 2 раза ниже, чем сеть из множества нейронов Байеса-Хемминга (рис. 7 и 9). Тем не менее сеть из данных функционалов является даже более эффективной, чем из байесовских разностных и гиперболических функционалов (рис. 7 и 10).
Из рис. 7, 8, 10 видно, что с использованием сравнительно небольшой части (15-25%) зависимых признаков удается достичь более высоких результатов, чем с использованием подавляющей части независимых признаков. В некотором смысле зависимые признаки являются более информативными, чем независимые. Таким образом, корреляцию между признаками необходимо воспринимать как особый вид информации, характеризующей распознаваемые биометрические образы. Также из этих рисунков следует, что функционалы, базирующиеся на критериях согласия, позволяют создавать более эффективные нейросетевые алгоритмы распознавания образов, чем квадратичные формы и многомерные байесовские функционалы.
На заключительном этапе эксперимента для распознавания испытуемых сформированы и протестированы гибридные ИНС, состоящие из нескольких независимых сегментов (подсетей):
• сеть квадратичных форм (и их аналогов), обрабатывающая независимые признаки;
• сеть на базе критериев согласия, обрабатывающая независимые признаки;
• сеть на базе модифицированных критериев согласия (с применением преобразования (12)), обрабатывающая зависимые признаки;
• сеть из многомерных функционалов Байеса, обрабатывающая сильно зависимые признаки.
Каждая подсеть независимо вычисляла расстояние Хемминга, нормированное по количеству содержащихся в ней нейронов. Далее эти расстояния перемножались или суммировались. Результаты резюмированы и представлены в табл. 3.
ТАБЛИЦА3
ВЕРОЯТНОСТИ ОШИБОК РАСПОЗНАНИЯ СУБЪЕКТОВ (БЕЯ) ПРИ ИСПОЛЬЗОВАНИИ РАЗЛИЧНЫХ КОНФИГУРАЦИЙ ГИБРИДНЫХ ИНС И ТИПОВ БИОМЕТРИЧЕСКИХ ОБРАЗОВ
Типы функционалов нейронов (объединяемые подсети) Способ объединения решений подсетей Рукописные образы, EER Голосовые образы, EER
Квадратичные формы + модифицированные критерии согласия суммирование 0.026 0.065
произведение 0.023 0.07
Байесовские функционалы + критерии согласия суммирование 0.041 0.092
произведение 0.043 0.086
Байесовские функционалы + критерии согласия + квадратичные формы + модифицированные критерии согласия суммирование 0.023 0.07
Произведение 0.023 0.075
Суммирование расстояний Хемминга не всегда является оптимальным подходом. Произведение нормированных расстояний Хемминга от каждой подсети часто дает наилучший результат, если объединяются решения двух сетей, одна из которых обрабатывает сочетания зависимых, другая независимых признаков (табл. 3). Однако объединение решений всех сетей посредством произведения или суммирования нормированных расстояний Хемминга не дает существенных улучшений (табл. 3). Наиболее удачным сочетанием является сеть квадратичных форм, совмещенная с сетью модифицированных критериев согласия, решения которых объединяются при помощи произведения. В этом случае система может быть настроена на следующие показатели:
• при распознавании подписантов FAR<0.001. FRR=0.17;
• при распознавании диктора FAR<0.001, FRR=0.34.
Представленные оценки FAR, FRR и EER получены при настройке ИНС на «среднего пользователя». Если настраивать порог расстояния Хемминга (и его произведения) на каждого субъекта в отдельности, то можно добиться снижения количества ошибок еще на 10-20%.
IX. Выводы и заключение
В рамках проведенной работы рассмотрено два варианта построения нейрона для широких нейросетей, позволяющих гораздо эффективнее обрабатывать биометрические (и другие) признаки с высокой взаимной корреляционной зависимостью при распознавании образов. Первый вариант целесообразно использовать совместно с пороговой активационной функцией и байесовскими функционалами (разностными, гиперболическими [7, 17, 18, 19]). Второй - совместно с функционалами, которые строятся на базе критериев проверки гипотез о законе распределения случайной величины (критериев согласия).
В задачах распознавания человека по рукописному и голосовому образам апробировано несколько функционалов на базе критериев согласия Джини, Крамера-фон Мизеса, Колмогорова-Смирнова. Предложен критерий максимума площади пересечения сравниваемых функций плотности вероятности. Предложено преобразование позволяющее модифицировать данные функционалы для работы с сильно зависимыми признаками. Сеть нейронов на базе данных функционалов показала менее 4% ошибок верификации человека по подписи, а на базе многомерных байесовских функционалов - менее 6%. При этом использовались сочетания только самых «плохих» (коррелированных) признаков, которых насчитывалось менее 15%. Это доказывает, что в малоинформативных биометрических образах содержится незадействованный потенциал. Имеется еще более 85% почти независимых признаков подписи, которые можно обрабатывать с помощью персептронов, квадратичных форм и других мер близости. Варианты построения гибридных ИНС на базе байесовских функционалов, квадратичных форм и критериев согласия, настраиваемые индивидуально на каждого пользователя, позволяют достичь ERR<2% и создать систему биометрической аутентификации по подписи или рукописному паролю с показателями: FAR<0.1% при FRR«10%. Для системы распознавания диктора по контрольной фиксированной фразе эти показатели составили: FAR<0.1% при FRR«23-30% в зависимости от диктора (ERR<6%). При использовании тайных голосовых паролей процент ошибок должен быть значительно ниже. На практике эти системы способны успешно обучаться на 20 примерах биометрического образа пользователя.
Эффект повышения эффективности при использовании гибридных ИНС объясняется тем, что выходные значения нейронов будут слабо коррелированы, т.к. лежащие в основе нейронов функционалы имеют различные принципы работы. Соответственно решения нейронов могут быть объединены с помощью меры Хемминга или другими способами для получения синергетического эффекта. Вопрос о том, каким образом лучше ком-
плексировать выходы сетей квадратичных форм, Байеса-Хемминга и критериев согласия пока остается открытым. Требуется апробировать различные варианты объединения решений, формируемых несколькими сегментами ИНС, каждый из которых строится на основе нейронов определенного типа. Применение нескольких способов объединения решений нейронов позволяет создавать многослойные гибридные ИНС, способные обучаться на малом числе примеров.
Описанный подход может быть распространен на любые биометрические образы (и не только). Важным при построении и обучении ИНС является не физическая природа признаков, а показатель их информативности и коррелированности. В работе предложена шкала информативности признака для задач верификации образов.
Рис. 1. Схематическое изображение гибридной «широкой» нейронной сети
- Image 1 - Image 2 -Image 5 tmage 4 -Image 5 Image &
- Image 7 — Image 6 — Image э tmage ю image 11 — Image 12
Image 13 __ Image 14 Image 15 - tmage 16 - Image t7 - Image 18
Irnige 19 Imigt 20 — Imigt 21 -I mag» 22 -Image 23 — Image 24
Random attribute value
- Image 1 - Image 2 - Image 3 -Image 4 -Image 5 — Imag* 6
-Image 7 Image в -Image 9 Image 10 Image 11 Image 12
Image 13 — Image 14 Image is — Image ie -Image 17 -Imaga 18
- Image ц - Image 20 - Image 21 -- Image 22 - Image 23 - Image 24
Random attribute value
Рис. 2. Эталонные распределения признаков с различной информативностью для образов «Свой»
6,
/"Я* .6)
Ф
О
н
ишемшш
из й
1 8
£
1
1
а Оп
а "га и ■с ■
1 т
рчп ■ I ч ■ г
0 0 40 0 5 я » 96 «
/
о
Йиез1ю1с1
т
Олуп
1>
8Ь*ап£ег
/
АиезЬок! 1
Рис. 3. Нейрон с одним функционалом и пороговой активационной функцией
Рис. 4. Нейрон с двумя функционалами и пороговой активационной функцией
Рис. 5. Изменение среднеквадратичного отклонения нормированных значений признаков для эталонных распределений «Чужой» (вверху) и эмпирических распределений «Чужой» (внизу)
Рис. 6. Пример функцийр(о) ир(о): а. а независимые, Ь. а зависимые, с. а декоррелированы с помощью (12)
Рис. 7. Результаты верификации биометрических образов с помощью сетей Байеса-Хемминга
V oice passivoi recognition
using networks of Quadratic
forms, |H<0.3
F RF i к FAR ,
ILIli.ll.inifrW
3 0,4 0.5 0,6 0.7 0.8 0.9
voice password Iwnvtiitinn
1141 nf m ng networks
UUllMILi teria, |r|< * / ■0,31
/ F JR.....
FRl i1.
L/ . . ..
0.0 0 2 0,4 0,6 0,8
recogri ition of J 10 huntbv ritten passwords ...... ..using aciwoiks
of quad га tic \forms, |r|<0.3
IFK
1,0
0,9 --- ^ 0,8- — l-0,7 ^ 0,6 ■ -
L
0.4
0,3 0,2
0,0 0.1 0,2 0.3 0.4 0.S 0.6 0.7 0.8 0.9
РАК
0,7
o.e
с,-
10,5 s.
0,4
recognition; of
MarulY, гиге п
pllSslVOl'US Using
I networks о | StaFi&ticil]
1 cli епа, )г|< II,. i"
IR R
FA] J j'
.--L^—1 —
0,0 0,1 0,2 0,3 0,4 0,6 0,6 0,7 0,8 0,9
the threshold value of normalized Hanittilnu measure for the output code of a network of neurons based on certain functional*
Рис. 8. Результаты верификации биометрических образов в пространстве независимых признаков с помощью сетей квадратичных форм и статистических функционалов (6)-(11)
Рис. 9. Результаты верификации подписей с помощью нейронов на базе статистических функционалов (6)-(11)
Рис. 10. Результаты верификации биометрических образов в пространстве зависимых признаков с помощью сетей модифицированных (с использованием преобразования (12) статистических функционалов (6)-(11)
Источник финансирования. Благодарности
The research was supported by the Russian Scientific Foundation (project №17-71-10094).
Список литературы
1. Lozhnikov P. S., Sulavko A. E., Eremenko A. V., Volkov D. A. Methods of Generating Key Sequences based on Parameters of Handwritten Passwords and Signatures // Information. 2016. № 7 (4). 59. DOI: 10.3390/info7040059.
2. Frank J., Mannor S., Precup D. Activity and Gait Recognition with Time-Delay Embeddings // In Proceedings of the AAAI, Atlanta, GA, USA, 11-15 July 2010.
3. Javad Sohankar, Koosha Sadeghi, Ayan Banerjee, Sandeep K.S. Gupta. E-BIAS: A Pervasive EEG-Based Identification and Authentication System // 11th ACM International Symposium on QoS and Security for Wireless and Mobile Networks. 2015. 8 p.
4. Sulavko A. E., Fedotov A.A., Eremenko A. V. Users' identification through keystroke dynamics based on vibration parameters and keyboard pressure // XI International IEEE Scientific and Technical Conference «Dynamics of Systems, Mechanisms and Machines» (Dynamics), 14-16 November, 2017. P. 1-7. DOI: 10.1109/Dynamics.2017.8239514.
5. Monrose F., Reiter M. K., Li Q. and Wetzel S. Cryptographic key generation from voice // Proceedings of the 2001 IEEE Symposium on Security and Privacy. 2001.
6. Lozhnikov P. S., Sulavko A. E., Eremenko A. V., Buraya E. V. Methods of generating key sequences based on keystroke dynamics // X International IEEE Scientific and Technical Conference «Dynamics of Systems, Mechanisms and Machines» (Dynamics), 15-17 November, 2016. P. 1-5. DOI: 10.1109/Dynamics.2016.7819038.
7. Ivanov A. I., Lozhnikov P. S., Sulavko A. E. Evaluation of signature verification reliability based on artificial neural networks, Bayesian multivariate functional and quadratic forms // Computer Optics. 2017. № 5. P. 765-774. DOI: 10.18287/2412-6179-2017-41-5-765-774.
8. Luiz G. Hafemann [et al.]. Writer-independent Feature Learning for Offline Signature Verification using Deep Convolutional Neural Networks // Accepted as a conference paper for IJCNN 2016.
9. Learning While Searching in Constraint-Satisfaction-Problems Conference // Proceedings of the 5th National Conference on Artificial Intelligence. Philadelphia, PA, August 11-15, 1986. Vol. 1. P. 178-183.
10. Галушкин А. И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974. 528 с.
11. Geoffrey E. Hinton Training Products of Experts by Minimizing Contrastive Divergence // Gatsby Computational Neuroscience Unit, University College London, 2002.
12. Yuto Yasuoka, Yuki Shinomiya, Yukinobu Hoshino. Evaluation of Optimization Methods for Neural Network // Soft Computing and Intelligent Systems (SCIS) and 17th International Symposium on Advanced Intelligent Systems. 2016. DOI: 10.1109/SCIS-ISIS.2016.0032.
13. Иванов А. И. Подсознание искусственного интеллекта: программирование автоматов нейросетевой биометрии языком их обучения. Пенза: ОАО «ПНИЭИ», 2012. 125 с.
14. Ivanov A. I., Kachajkin E. I., Lozhnikov P. S. A Complete Statistical Model of a Handwritten Signature as an Object of Biometric Identification // 2016 2016 International Siberian Conference on Control and Communications, SIBCON 2016 - Proceedings. P. 1-5. DOI: 10.1109/SIBCON.2016.7491678.
15. Lozhnikov P. S., Sulavko A. E. Usage of quadratic form networks for users' recognition by dynamic biometric images // XI 11th International IEEE Scientific and Technical Conference. Dynamics of Systems, Mechanisms and Machines (Dynamics). 14-16 November, 2017. P. 1-6. DOI: 10.1109/Dynamics.2017.8239480.
16. Сулавко А. Е., Еременко А. В., Борисов Р. В., Иниватов Д. П. Влияние психофизиологического состояния диктора на параметры его голоса и результаты биометрической аутентификации по речевому паролю // Компьютерные инструменты в образовании. 2017. № 4. С. 29-47.
17. Иванов А. И. Многомерная нейросетевая обработка биометрических данных с программным воспроизведением эффектов квантовой суперпозиции: моногр. Пенза: ПНИЭИ, 2016. 133 с.
18. Ivanov A. I., Lozhnikov P. S., Serikova Yu. I. Reducing the Size of a Sample Sufficient for Learning Due to the Symmetrization of Correlation Relationships Between Biometric Data // Cybernetics and Systems Analysis. 2016. Vol. 52 (3). P. 379-385.
19. Ivanov A.I., Lozhnikov P.S., Vyatchanin S.E. Comparable Estimation of Network Power for Chisquared Pearson Functional Networks and Bayes Hyperbolic Functional Networks while Processing Biometric Data / Control and Communications (SIBCON), 29-30 June 2017, Astana, Kazakhstan. P. 1-3. DOI: 10.1109/SIBCON.2017.7998435.
