CC BY
127
УДК 004.93
РАСПОЗНАВАНИЕ ДИНАМИЧЕСКОЙ РУКОПИСНОЙ ПОДПИСИ НА ОСНОВЕ НЕЧЁТКОЙ ЛОГИКИ
Аникин И.В., канд. техн. наук, доцент Анисимова Э.С., аспирант
Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ (КНИТУ-КАИ) Контакты: ellin _a(aimail.ru
Данная статья посвящена разработке метода распознавания динамической рукописной подписи. В основу метода положены признаки подписи, определённые с применением нечёткой логики. Реализация метода распознавания проводилась в среде SciLab на коллекции подписей MCYT Signature 100, включающей как оригинальные подписи, так и их умелые подделки. Оценка эффективности предложенного метода показала его эффективность и практическую пригодность для построения систем биометрической аутентификации.
Ключевые слова: динамическая рукописная подпись, нечёткая логика, биометрическая аутент и фи кац ия.
Введение
Рукописная подпись является общественно и законно признанной биометрической характеристикой, используемой для аутентификации человека. В связи с этим, для решения задач компьютерной аутентификации личности и подтверждения авторства документов актуальным является автоматизация процесса проверки рукописной подписи человека.
Выделяется два типа систем распознавания и верификации рукописной подписи: оффлайн и онлайн системы. В оффлайн системах доступно только изображение подписи без каких-либо дополнительных атрибутов. В онлайн системах в ходе установки рукописной подписи дополнительно собирается информация о по-
48
следовательностях координат х и у подписи, информация о силе нажатия на планшет и т.д. Показано, что онлайн системы способны достичь более высокой точности верификации рукописной подписи, чем оффлайн системы [1; 2; 3; 4].
Несмотря на актуальность автоматизации проверки рукописной подписи человека, практическое развёртывание подобных технологий часто осложняется следующими причинами:
1) классовая изменчивость подписи обычно выше, чем у статических характеристик (отпечаток пальца, сетчатка глаза, геометрия руки, термограмма лица);
2) подпись непостоянна с течением времени [5];
3) возможность подделки подписи.
Для преодоления указанных выше факторов исследователями разрабатываются новые методы распознавания рукописных подписей, сохраняющие устойчивость к изменчивости подписи, возможным подделкам. В рассматриваемой статье представлен новый метод распознавания динамических рукописных подписей на основе признаков, описанных с помощью методов теории нечётких множеств. Данный метод показал высокую эффективность при работе с умелыми подделками подписей, изменяющимися образцами подписей одного и того же автора.
В начале данной статьи проводится краткий анализ методов распознавания рукописных подписей. Далее излагается предлагаемый метод распознавания динамических рукописных подписей на основе нечёткой логики и метода потенциалов. Результаты исследований по определению эффективности рассматриваемого метода распознавания, проведённых на коллекции подписей MCYT_Signature_100, описываются в следующем разделе. Наконец, основные выводы и результаты приводятся в разделе «Заключение».
49
Анализ методов распознавания динамических подписей
Существующие методы распознавания динамических подписей могут быть классифицированы на следующие основные группы.
Методы, основанные на глобальных и локальных признаках подписи. Это методы, осуществляющие процесс распознавания с использованием описательных признаков подписи. Глобальные признаки рассматривают подпись целиком, а локальные признаки извлекаются из ограниченной области подписи. В методах, основанных на извлечении глобальных и локальных признаков могут быть проанализированы, например, горизонтальная и вертикальная проекции, высота и ширина подписи и т.д. Такие методы называют также параметрическими [6; 7].
Функциональные методы. В этих методах напрямую или косвенно используются временные последовательности подписи, содержащие информацию об изменении признаков подписи с течением времени, например, координаты х и у подписи, локальное нажатие, скорость и ускорение [8]. Примеры функциональных методов включают алгоритм динамической трансформации шкалы времени [9; 10; 11; 12] и скрытые марковские модели [13; 14].
Методы нахождения регионов (областей). В работе [9] авторы предложили метод распознавания подписей на основе динамических признаков. Подпись пользователя разбивается на области, для каждой из которых составляется кодовая книга. Утверждается, что признаки подписи в совокупности с соответствующими кодовыми книгами могут улучшить результаты классификации. Другой подход был предложен в работе [6], где формировалось разбиение значений сигналов скорости и нажатия подписи. В работе [15] множество дискретных точек подписи разделяется на несколько групп. Процесс отнесения точек к соответствующей группе осуществляется на основе анализа значений динамических признаков, записанных в этих точках. Сходство подписей оцени-
50
вается посредством определения оценки сходства соответствующих групп сравниваемых подписей.
Комбинированные (гибридные) методы. Этот подход состоит в объединении разных методов из числа указанных выше [16]. В работе [15] предложена биометрическая система распознавания динамических подписей, где применяется набор локальных, глобальных и региональных классификаторов. Для анализа региональных свойств подписи применяется скрытая марковская модель, а для обучения на глобальных признаках подписи используется классификатор на основе линейного программируемого дескриптора. В работе [17] предложена биометрическая бимодальная система, основанная на онлайн подписи и речи. В этой модели вейвлет-коэффициенты и традиционные признаки подписи (азимут, наклон, нажатие, координаты положения) формируют комбинированный неоднородный вектор признаков. Для снижения размерности вектора применяется процедура выбора признаков.
Наиболее крупными группами методов являются функциональные и параметрические методы распознавания. Основным преимуществом функциональных методов является то, что они обеспечивают лучшую точность распознавания, чем параметрические методы. Однако, биометрическая информация о пользователе в этом случае не защищена, так как во время процесса сравнения, раскрывается динамическое построение оригинальной подписи. Более того, системы, основанные на функциональных методах, более сложные и более медленные, чем параметрические системы [10]. А если применяется какой-либо метод защиты эталона подписи для обеспечения конфиденциальности и безопасности биометрической информации, то эффективность распознавания может значительно ухудшиться.
Основной сложностью при использовании параметрического подхода является получение хорошего набора описательных признаков, которые могли бы использоваться для эффективного рас-
51
познавания рукописной подписи [9; 10; 18]. В работе [19] авторы предложили использовать для представления динамической подписи набор из 100 признаков таких, как полное время записи подписи, количество поднятий пера, изменение знака отношений dx/dt и dy/dt и т.д. Основываясь на этом наборе, Nanni и др. [20] предложили мультисравнительный подход для оценки предложенных признаков. Система достигала весьма высокой эффективности, когда была применена двухфакторная аутентификация, а именно, образец подписи и идентификатор пользователя. Кроме того, Guru и Prakash [21] предложили символическое представление подписи и ввели идею независимого от пользователя порога для улучшения точности распознавания.
В данной работе предлагается параметрический метод распознавания динамической рукописной подписи на основе анализа глобальных признаков подписи с применением нечёткой логики.
Распознавание динамической рукописной подписи на основе нечёткой логики
Данный раздел описывает новый метод распознавания рукописной подписи на основе нечёткого анализа глобальных признаков. Оценка эффективности предложенного метода будет проведена ниже.
Рукописная подпись, вводимая на экране планшета, описывается последовательностями динамических характеристик, к которым относятся координаты x(t) и y(t) конца пера, величина нажатия p(t), оказываемого пером на планшет, азимутальный угол az(t) и угол наклона in(t) пера относительно плоскости экрана (рисунок 1). Пример образца подписи и её динамических признаков на рисунке 2.
52
inclination (0°- 90°) \
azimuth (0°-359°)
270°
Рис. 1. Азимутальный угол и угол наклона пера относительно плоскости экрана
5Т~
/V
7Y
т
- ! Л-" / \
1 • ii i т я -i
■14
□ i ! )
I - : J
4-s-J-1-i-i
в
/Д.
Рис. 2. Пример образца подписи и ее динамических признаков
Последовательность дискретных значений каждой динамической характеристики представляет на плоскости некоторую кривую. Однако подписи каждого автора обладают свойством непостоянства и характеризуются разным количеством точек. Поэтому, чтобы в дальнейшем иметь возможность сравнивать подписи, предварительно каждую её динамическую характеристику следует
53
привести к одной и той же длине посредством интерполяции и провести нормализацию её значений.
Далее предлагается характеризовать каждую кривую вектором глобальных признаков, к числу которых относятся:
1) площадь криволинейной трапеции, образуемой соответствующей кривой и осью t, Ру,
2) нечёткое количество пиков кривой, Ру,
3) нечёткое количество участков возрастаний / убываний (Р4);
4) нечёткое количество ускорений, Ру
5) среднее квадратическое отклонение значений кривой от значений эталона кривой соответствующего пользователя, Рв\
6) суммарная длина участков возрастания кривой, Рт.
Ряд из выше перечисленных признаков эффективно использовались авторами ранее при распознавании 2В-примитивов изображения [11].
Как видим, для описания динамических характеристик подписи предлагаются признаки, обладающие свойством нечёткости - нечёткое количество пиков, нечёткое количество участков возрастаний и убываний и т.д. Это связано с изменчивой природой рукописной подписи человека. Благодаря использованию для описания динамических характеристик подписи признаков, принимающих нечёткие значения, становится возможным более точное описание рукописных подписей.
Таким образом, каждая подпись определяется набором векторов признаков, сформированных для каждой динамической характеристики {х(1),у(1),р(1), аг(1), т(1)} подписи и включающих в себя глобальные признаки {Р 1)1=1.л соответствующей динамической характеристики.
Далее мы предлагаем использовать метод потенциалов [23] для построения функции принадлежности для каждого глобального признака {Р 1)1=1.л соответствующей динамической характеристики разных образцов рукописной подписи одного и того же
54
пользователя. Авторы [23] утверждают, что предлагаемый метод позволяет построить функции принадлежности даже в том случае, если имеется небольшое число значений конкретного признака. Поэтому данный метод является весьма удобным при распознавании рукописных подписей, ведь, как правило, при регистрации пользователя в системе число вводимых им подписей не может быть достаточно большим.
Метод потенциалов выполняет анализ плотности экспериментальных данных. Для этого он использует кластеризацию. Для каждого значения признака вычисляется значение потенциала, которое определяет, насколько плотно расположены соседние значения признака по отношению к оцениваемому значению. Значение потенциала pot. точки (значения признака) у. вычисляется следующим образом:
где у,,у, - точки (определённые значения признака), а - коэффициент, определяющий степень компактности кластера, V- количество точек (значений признака).
Затем осуществляется нормализация значений потенциалов:
и, наконец, производится построение функций принадлежности.
В дальнейшем, если необходимо, может быть проведена аппроксимация построенных функций принадлежности соответствующей параметрической функцией.
Метод распознавания рукописной подписи включает два этапа: этап обучения и этап распознавания. Предварительно подписи (оригинальные и поддельные) для каждого пользователя разделяются на две группы - тренировочные (учебные), на которых будет
j= 1..V
My (Уг) =
POti
maxj=l v (potj)
55
происходить обучение системы, и тестовые, на которых будет осуществляться оценка эффективности системы распознавания.
Этап обучения. Первоначально на основе N тренировочных образцов подписи /-го пользователя формируется эталон его подписи. Для формирования эталона необходимо выполнить следующую последовательность шагов.
1. Для каждой /-й а=1..Ы) подписи /-го пользователя (1=1..М):
а) Построить кривые динамических характеристик {х(0, у(1), р(0, аг^)} (в предлагаемом методе используются только четыре динамические характеристики, не используется информация об угле наклона пера относительно плоскости планшета).
б) Для каждой динамической характеристики вычислить значения глобальных признаков ¥¡-¥7. Таким образом, формируется 28-мерный характеристический вектор /?7 подписи.
Результатом первого шага является матрица Нг- размерности N х 28, формируемая для каждого /-го пользователя.
2. С помощью метода потенциалов строим функции принадлежности /к (к=1..28) для каждого из 28 признаков по всем N образцам подписи /-го пользователя. Таким образом, каждая функция принадлежности будет построена на основе N значений того или иного признака.
Результатом второго шага является сформированный эталон подписи /-го пользователя - набор функций принадлежности //
(к=1..28'), построенных для каждого из 7 глобальных признаков 4 динамических характеристик по всем N образцам подписи /-го пользователя.
После этого на основе построенных функций принадлежности для каждой оригинальной и поддельной подписей автора / определяем величину сходства с эталоном подписи автора /. Для определения сходства используем 1-норму «произведение», широко
56
используемую в нечёткой логике, - вычисляем произведение степеней принадлежности значений признаков подписи соответствующим функциям принадлежности автора /. Так, для всех учебных подписей автора / формируется вектор Tj = (тц,..., riN, т'ц,..., r'iN) произведений (где Tjy и т'у - произведения степеней принадлежности для оригинальной и поддельной подписей соответственно), определяющий их принадлежность автору /. Для определения индивидуального порога автора / для любого значения т£ = lj из интервала (f¿у, f¿у+1) вектор
ft = (fji.....fi2-jv) (т.е. упорядоченного вектора fj) определяются
значения FRR и FAR. В качестве индивидуального порогового значения рг автора /, отделяющего оригинальные подписи от поддельных, предлагается взять значение Tj = ^ — с наименьшим
значением суммы FRR + FAR.
Таким образом, на этапе обучение происходит построение эталона подписи каждого пользователя и определение его индивидуального порога.
Этап распознавания. Этап распознавания заключается в том, что на вход подается образец тестовой подписи и идентификатор пользователя /. Образец входной подписи подвергается сравнению с эталоном подписи автора с заявленным идентификатором, на выходе выдается ответ, является запрошенная подпись подлинной или поддельной. Для этого:
1. Первоначально выполняется построение кривых динамических характеристик {x(i), y(t), p(t), az(t)} для запрошенного образца рукописной подписи.
2. Далее для каждой динамической характеристики вычисляются значения её глобальных признаков Fj-F?. Таким образом, формируется 28-мерный характеристический вектор И запрошенного образца подписи.
57
3. После формирования характеристического вектора h запрошенного образца определяются степени принадлежности [i(/i(/c),/jfc) каждого элемента вектора h (т.е. для значения каждого признака по всем динамическим характеристикам) соответствующим функциям принадлежности f*(k=1..28) пользователя с заявленным идентификатором /.
4. Заявленная подпись пользователя считается настоящей, если сходство между характеристическим вектором h запрошенной подписи и эталоном подписи автора с заявленным идентификатором / превышает значение индивидуального порога рг автора i [2]. Мы вычисляем произведение степеней принадлежности ПкККЮ,^) =5 Pi заявленной подписи пользователю / и сравниваем полученное значение со значением индивидуального порога Pi. Если П/с И-С^ОО> ftk) Pi, подпись считается подлинной, иначе -поддельной.
Оценка эффективности метода распознавания
Эксперименты по определению эффективности предложенного метода распознавания рукописных подписей были проведены на коллекции подписей MCYT Signature 100 [24]. Данная коллекция включает в себя подписи 100 пользователей, для каждого из которых имеется по 25 подлинных подписей и 25 умелых подделок подписей. Информация о каждой подписи содержится в текстовом файле, в котором записаны последовательности значений пространственной координаты х, пространственной координаты у, величины нажатия, азимутального угла и угла наклона пера относительно плоскости планшета. На рисунке 3 представлено несколько подлинных подписей одного из пользователей из коллекции MCYT Signature 100. На рис. 4 представлено несколько поддельных подписей того же пользователя.
58
Рис. 4. Образцы поддельных подписей пользователя MCYT_Signatllre_100
Обучение системы распознавания осуществлялось на 20 подлинных подписях каждого из 100 зарегистрированных пользова-
59
телей, т.е. на наборе из 20 х 100 = 2000 подлинных подписей. Распознавание проводилось на оставшихся 5 подлинных подписях и 25 умелых подделках подписей каждого из 100 зарегистрированных пользователей, т.е. на наборе из 500 подлинных подписей и 2500 умелых подделок подписей.
Важным вопросом в любом параметрическом методе распознавания является определение динамических характеристик и соответствующих глобальных признаков, обеспечивающих высокую точность распознавания подписей. Первоначально исследование было проведено на всех динамических характеристиках. Однако, как видим из таблицы 1, при использовании всех динамических характеристик подписи значения FRR и FAR принимают достаточно высокие значения.
Таблица 1.
Зависимость эффективности системы распознавания от динамических характеристик
Комбинации динамических признаков
Пространственные координаты X, У Пространственные координаты х, у, нажатие на планшет Про странств енные координаты х, у, нажатие на планшет, угол азимута движения пера Пространственные координаты х, у, нажатие на планшет, азимутальный угол движения пера, угол наклона движения пера
FRR 0.15 0.10 0.03 0.18
FAR 0.05 0.04 0.01 0.11
Это обусловлено тем, что не во всех динамических характеристиках подписи (например, в характеристике угла наклона пера относительно планшета) наблюдается закономерность, объединяющая характеристики образцов одного и того же автора. Поэтому были проведены эксперименты с разными комбинациями динамических характеристик. Выяснилось, что наиболее эффек-
60
тивной комбинацией характеристик рукописной подписи является комбинация характеристик, включающая пространственную координату х(1), пространственную координату у(1), нажатие на планшет р(1) и азимутальный угол пера относительна планшета аг^), т.е. {х(0,у(0,р(0, аг(0}.
На этапе обучения системы распознавания для всех тренировочных (оригинальных и поддельных) подписей были построены динамические характеристики {х(1), у(1), р(0, аг(%)}, вычислены глобальные признаки Р¡-Ру этих характеристик.
Таким образом, на основе всех оригинальных подписей автора / была сформирована матрица признаков Н¿, далее для каждого к-то признака построена соответствующая функция принадлежности (к=1..28). Были определены значения индивидуальных пороговых значений для каждого пользователя.
Таблица 2.
Значения пороговых значений и соответствующие FRR и FAR авторов 1-10
Номер пользователя Порог FRR FAR
1 0.883 0 0
2 0.830 0 0
3 0.880 0 0
4 0.860 0 0
5 0.884 0 0
6 0.841 0 0
7 0.906 0,2 0
8 0.854 0 0
9 0.840 0 0
10 0.891 0 0
После этого было проведено распознавание на коллекции тестовых подписей (оригинальных подписях и их умелых подделках) с
61
использованием индивидуальных порогов. В таблице 2 приведены полученные значения FRR и FAR для тестовых подписей на основе значений порогов, выведенных в процессе обучения.
В результате проведения процедуры распознавания на коллекции тестовых подписей среднее значение FRR составило 3%, среднее значение FAR - 1%.
Заключение
В данной работе предложен метод распознавания динамических рукописных подписей на основе нечёткой логики. Как показали результаты проведенных исследований на коллекции подписей MCYT Signature 100, предложенный метод распознавания рукописных подписей показал достаточно высокую эффективность: величина FRR составила 3%, FAR - 1%, что значительно превосходит многие современные методы распознавания [6; 12 и др.]. В этой связи предложенный метод распознавания подписей может быть успешно применён в системах биометрической аутентификации пользователей.
Источники
1. Eskander G. S., Sabourin R., Granger E. Hybrid writer-independent-writer-dependent offline signature verification system / Selected papers from International Conference on Frontiers in Handwriting Recognition. 2013. Vol. 2, Iss. 4. pp. 169-181.
2. Guerbai Y., Chibani Y., Hadjadji B. The effective use of the one-class SVM classifier for handwritten signature verification based on writer-independent parameters // Pattern Recognition. 2015. No. 48. pp. 103-113.
3. Serdouk Y., Nemmour H., Chibani Y. New off-line Handwritten Signature Verification method based on Artificial Immune Recognition System // Expert Systems With Applications. 2016. No. 51. pp. 186-194.
4. Vipin, Dass R., Rajni Character Recognition using Neural Network // International Journal of Advanced Trends in Computer Science and Engineering. 2013. Vol. 2 No.3. pp. 62-67.
5. Galbally J., Martinez-Diaz M., Fierrez J. Aging in Biometrics: An Experimental Analysis onOn-Line Signature//PLoS ONE. 2013. 8(7): e69897. doi:10.1371/journal.pone.0069897.
6. Cpalka K., Zalasinski M., Rutkowski L. New method for on-line signature verification based on horizontal partitioning // Pattern Recognition. 2014. No. 47. pp. 2652-2661.
62
7. Sae-Bae N., Memon N. A simple and effective method for online signature verification / Proc. Int. Conf. Biometrics Special Interest Group (BIOSIG). 2013. pp. 147-158.
8. Palys M., Doroz R., Porwik P. On-line signature recognition based on an analysis of dynamic feature // IEEE International Conference on Biometrics and Kansei Engineering (ICBAKE), Tokyo, Japan. 2013. pp. 103-107.
9. Faundez-Zanuy M. On-line signature recognition based on VQ-DTW // Pattern Recognition. 2007. No. 40. pp. 981-992.
10. Feng H., Wah C.C. Online signature verification using a new extreme points warping technique // Pattern Recognition Letters. 2003. No. 24(16). pp. 2943-2951.
11. Kholmatov A., Yanikoglu B. SUSIG: an on-line signature database, associated protocols and benchmark results// Pattern Analysis & Applications. 2008.
12. Qiao Y., Wang X., Xu C. Learning Mahalanobis distance for DTW based online signature verification // IEEE International Conference on Information and Automation (ICIA). 2011. pp. 333-338.
13. Fierrez .T., Ortega-Garcia J., Ramos D., Gonzalez-Rodriguez J. HMM-based on-line signature verification: Feature extraction and signature modeling // Pattern Recogn. Lett. -2007. No. 28. pp. 2325-2334.
14. Ortega-Garcia .T., Fierrez-Aguilar J., Simon D. MCYT baseline corpus: a bimodal bio-metric database // IEE Proc.Vis. Image Signal Process. 2003. Vol. 150, No. 6. pp. 395-401.
15. Nanni L., Maiorana E., Lumini A., Campisi P. Combining local, regional and global matchers for a template protected on-line signature verification system // Expert Syst. Appl. 2010. No. 37. pp. 3676-3684.
16. Doroz R., Porwik P., Orczyk T. Dynamic signature verification method based on association of features with similarity measures //Neurocomputing. 2016. No.171. pp. 921-931.
17. Emerich S., Lupu E., Rusu C. A new set of features for a bimodal system based on online signature and speech // Digital Signal Processing. 2013. No. 23. pp. 928-940.
18. Lorette G., Plamondon, R. Automatic signature verification and writer identification -the state of the art // Pattern Recognition. 1989. No. 22(2). pp. 107-131.
19. Fierrez-Aguilar J., Nanni L., Lopez-Penalba J., Ortega-Garcia .T., Mal- Toni. D. An OnLine Signature Verification System Based on Fusion of Local and Global Information In Audio- and Video-Based Biométrie Person Authentication // Lecture Notes in Computer Science. 2005. Vol. 3546. pp. 627-656.
20. Nanni L. An advanced multi-matcher method for on-line signature verification featuring global features and tokenised random numbers // Neurocomputing. 2006. No. 69(1618). pp. 2402-2406.
21. Guru D.S., Prakash H.N. Online Signature Verification and Recognition: An Approach Based on Symbolic Representation // Pattern Analysis and Machine Intelligence. 2009. No. 31(6). pp. 1059-1073.
22. Glova V.I., Anikin I.V. Recognition of Two-Dimensional Primitives Using Fuzzy Linguistic Description // Pattern Recognition and Image Analysis, Vol. 9, № 1, 1999.
23. Yager R., Filev D. Essentials of Fuzzy Modeling and Control // John Wiley & Sons, 1994.
63
24. Galbally .T., Diaz-Cabrera M., Miguel A. Ferrer, Gomez-Barrero M., Morales A., Fierrez J. On-line signature recognition through the combination of real dynamic data and synthetically generated static data // Pattern Recognition. 2015. No. 48. pp. 2921 -2934.
DYNAMIC HANDWRITTEN SIGNATURE RECOGNITION BASED ON FUZZY
LOGIC Anikin I.V., Anisimova E.S.
This article is devoted to the development of dynamic handwritten signature recognition method. This method is based on the signature features derived using fuzzy logic. The method implementation was carried out in SciLab environment on MCYT Signature 100 signatures collection including both original signatures and their skilled forgeries. Proposed method effectiveness evaluation has shown its efficiency and practical suitability for biométrie authentication systems using.
Keywords: dynamic handwritten signature, fuzzy logic, biométrie authentication.
Дата поступления 17.05.2016.
64
