РАСПОЗНАВАНИЕ РУКОПИСНОЙ ПОДПИСИ С ПРИМЕНЕНИЕМ НЕЙРОННЫХ СЕТЕЙ

Пятаева Анна Владимировна; Мерко Михаил Алексеевич; Жуковская Владислава Андреевна; Пиньчук Иван Андреевич; Елисеева Мария Сергеевна

DOI: 10.12731/2227-930X-2023-13-3-130-148 УДК 004.932.2

Научная статья | Системный анализ, управление и обработка информации

РАСПОЗНАВАНИЕ РУКОПИСНОЙ ПОДПИСИ С ПРИМЕНЕНИЕМ НЕЙРОННЫХ СЕТЕЙ

А.В. Пятаева, М.А. Мерко, В.А. Жуковская, И.А. Пиньчук, М.С. Елисеева

Настоящая работа посвящена решению задачи распознаванию подписи с использованием нейронных сетей. Авторами предложено использование сверточных нейронных сетей с целью определения класса подписи. Подписи играют важную роль в финансовых, коммерческих и юридических транзакциях, их распознавание гарантирует безопасность не только информации, но и личности в целом. Применение нейронных сетей для распознавания подписи позволяет достоверно идентифицировать пользователя в автоматизированном режиме. Авторами разработана сверточная нейронная сеть, также предложен алгоритм, который состоит из предобработки изображения, включающей в себя сегментацию фона, шумоподавление и нормализация изображения. Предобработка изображения позволяет повысить качество работы сети. Далее выполняется извлечения вектора признаков, который состоит из глобальных признаков, таких как отношение высоты к ширине подписи, максимальная горизонтальная гистограмма и максимальная вертикальная гистограмма, горизонтальный центр и вертикальный центр подписи, конечные точки подписи, область подписи, обучения нейронной сети с извлеченными признаками, распознавания владельца рукописной подписи и последующее прогнозировании класса подписи.

Цель - разработка алгоритма распознавания рукописной подписи с применением нейронных сетей.

Метод или методология проведения работы: в работе использованы методы компьютерного зрения; методы глубокого обучения, а также методы объектно-ориентированного программирования.

Результаты: разработан алгоритм распознавания рукописной подписи с применением нейронной сети.

Область применения результатов: применение полученных результатов целесообразно в криминалистических анализах документов, так как человек использует подпись на регулярной основе для подписания чеков, юридических документов, контрактов и других бумажных носителей, нуждающихся в защите. Поэтому, когда кто-то пытается скопировать подпись возникает проблема, которая может повлечь за собой нежелательные последствия в виде хищения и дальнейшего использования как персональных данных, так и другой ценной секретной информации.

Ключевые слова: распознавание рукописной подписи; машинное обучение; классификация подписи

Для цитирования. Пятаева А.В., Мерко М.А., Жуковская В.А., Пиньчук И.А., Елисеева М.С. Распознавание рукописной подписи с применением нейронных сетей //International Journal of Advanced Studies. 2023. Т. 13, № 3. С. 130-148. DOI: 10.12731/2227-930X-2023-13-3-130-148

Original article | System Analysis, Management and Information Processing

HANDWRITTEN SIGNATURE RECOGNITION USING NEURAL NETWORKS

A. V. Pyataeva, M.A. Merko, V.A. Zhukovskaya, LA. Pinchuk, M.S. Eliseeva

This work is devoted to solving the problem of signature recognition using neural networks. The authors proposed the use of convolutional neural networks to determine the signature class. Signatures play an im-

portant role in financial, commercial and legal transactions, their recognition guarantees the security of not only information, but the whole person. The use ofneural networks for signature recognition allows you to reliably identify a user in an automated mode. The authors have developed a convolutional neural network, and also proposed an algorithm that consists of image preprocessing, including background segmentation, noise reduction, and image normalization. Image preprocessing improves the quality of the network. Next, feature extraction is performed, which consists of globalfeatures, such as the ratio of the height to width of the signature, the maximum horizontal histogram and the maximum vertical histogram, the horizontal center and the vertical center of the signature, the endpoints of the signature, the signature area, training a neural network with extracted features, recognition the owner of the handwritten signature and then predicting the class of the signature.

Purpose - development of a handwritten signature recognition algorithm using neural networks.

Methodology: the methods of computer vision were used in the work; deep learning methods, as well as object-oriented programming methods.

Results: developed a handwritten signature recognition algorithm using a neural network.

Practical implications: the application of the results obtained is useful in forensic analysis of documents, since a person uses a signature on a regular basis to sign checks, legal documents, contracts and otherpaper media that need protection. Therefore, when someone tries to copy a signature, a problem arises that can lead to undesirable consequences in the form of theft andfurther use of both personal data and other valuable secret information.

Keywords: handwritten signature recognition; machine learning; signature classification

For citation. Pyataeva A.V., Merko M.A., Zhukovskaya V.A., Pin-chuk I.A., Eliseeva M.S. Handwritten Signature Recognition using Neural Networks. International Journal of Advanced Studies, 2023, vol. 13, no. 3, pp. 130-148. DOI: 10.12731/2227-930X-2023-13-3-130-148

Введение

В последние годы биометрия стала важным аспектом аутентификации и верификации личности. Биометрические системы в основном используются в двух сценариях: проверка и идентификация. В первом случае пользователь системы утверждает личность и предоставляет биометрический образец. Роль системы проверки состоит в том, чтобы проверить, действительно ли пользователь является тем, за кого себя выдает. В случае идентификации пользователь предоставляет биометрический образец, и цель состоит в том, чтобы идентифицировать его среди всех пользователей, зарегистрированных в системе. Рукописная подпись является особенно важным типом биометрического признака, в основном из-за ее повсеместного использования для проверки личности человека в юридической, финансовой и административной сферах.

Рукописная подпись представляет собой проработанное собственноручное обозначение фамилии, имени или отчества, которое служит для аутентификации личности. Ее свойства уникальны и их практически невозможно воспроизвести, но все же попытки подделки данного атрибута существуют. Одна из причин широкого использования рукописной подписи заключается в том, что процесс сбора образцов не является инклюзивным, и люди знакомы с использованием подписи в своей повседневной жизни [1]. Поскольку все важные документы, такие как формы, контракты, банковские чеки и транзакции по кредитным картам, договоры, доверенности, свидетельства, заверяются подписью, она становится целью мошенников, которые могут осуществить кражу денежных средств и (или) персональных данных. Поэтому возникает потребность в верификации подписи, позволяющей обнаружить фальсификацию и обеспечить защиту данных. У каждого человека есть уникальная подпись, и при подделке она теряет свои ключевые особенности. Таким образом, проверка подписи становится очень важным аспектом безопасности. В

работе для распознавания рукописной подписи по визуальным данным использованы технологии глубоко обучения.

Технологии распознавания подписи

Поддельные подписи могут быть разделены на случайную, простую и искусную подделку (рис. 1). При случайной подделке у злоумышленника нет информации об истинной подписи пользователя, фальсификатор использует свою подпись. В случае простой подделки злоумышленник знает только имя пользователя. Такая подделка может иметь сходство с настоящей подписью. Искусная подделка выполняется злоумышленником с доступом к имени человека и его личной подписи.

подлинная подпись случайная подделка простая подделка искусная подделка Рис. 1. Примеры подписей

Наибольшую сложность при проверке личности по его подписи представляют собой искусные подделки. В таких умелых подделках мошенник, имея доступ как к имени пользователя, так и к подписи может практиковать имитацию подписи пользователя. Это приводит к подделкам, которые имеют большее сходство с подлинной подписью, и поэтому их труднее обнаружить.

Основной проблемой при распознавании рукописной подписи является высокая изменчивость внутри класса [2-5], то есть подпись одного и того же человека существенно различается раз от раза, а подписи разных персон имеют колоссальную вариативность. По сравнению с физическими биометрическими признаками, такими как отпечаток пальца или радужная оболочка глаза, рукописные подписи одного и того же пользователя часто сильно различаются между образцами. На рисунке 2 представлен пример наложения нескольких образцов подписей одного и того же

человека, выполненных в одно и тоже время теми же чернилами и ручкой.

Рис. 2. Наложение различных образцов от одного и того же автора

Проблема распознавания рукописной подписи также усугубляется тем, что при наличии достаточного количества образцов подписи может быть изготовлена подделка с высокой степенью близкого сходства с оригиналом.

Для распознавания рукописной подписи применяются различные подходы. Например, метод опорных векторов [6-8], который основан на теории обучения и статистики, решает проблему построения классификатора, создавая оптимальную разделяющую гиперплоскость в выборочном пространстве или символьном пространстве, которое является пространством изображений высокой размерности отображения ядра. Скрытые марковские модели, описанные в работе [9] представляют статистические модели для сбора скрытой информации из наблюдаемых последовательных символов, а в методе ^средних [10] множество данных разбивается на определенное количество k групп, каждая из которых состоит из одной случайной точки, и затем при добавлении каждой новой точки к группе, среднее значение которой является новой точкой. После добавления точки в группу, новое среднее значение данной группы корректируется с учетом новой точки. Таким образом, на каждой стадии ^средних на самом деле являются среднеарифметическим групп, которые они представляют. Новейшим способом распознавания рукописной подписи

является использование технологий глубинных нейронных сетей, например, применение сиамской нейронной сеть [11], сверточной нейронной сети [12] или рекуррентных сетей [13].

Таким образом, распознавание рукописной подписи является сложной и актуальной задачей.

Распознавание рукописной подписи

В работе для распознавания рукописной использованы глубинные нейронные сети. На первом этапе алгоритма распознавания рукописной подписи выполняется подготовка набора данных. Для этого производится выгрузка данных из дейтасета, инициализируются классы. После чего устанавливается размер батча и задаются размеры изображения. Алгоритм верификации рукописной подписи представлен на рисунке 3.

При распознавании рукописной подписи существенное значение имеет размер обрабатываемого изображения. Использование изображений подписи небольшого размера приводит к потере важных деталей рукописной подписи, а только благодаря этим деталям и появляется возможность отличить искусную подделку от подлинной подписи. Кроме того, на изображениях подписи возможно присутствие различных артефактов, связанных с шумами оборудования и условиями съемки. Так, грязь на камерах или линзах сканера, несовершенство освещения сканера и другие артефакты вносят шум в отсканированные изображения подписи. Однако и размеры изображения подписи могут отличаться из-за нарушений в процессе сканирования и захвата изображения. Вместе с тем, высота и ширина подписей варьируются от человека к человеку, и иногда даже один и тот же человек может использовать подписи разного размера. Во-первых, нужно устранить различия в размерах и получить стандартный размер подписи для всех подписей. После этого процесса нормализации все подписи будут иметь одинаковые размеры. Для устранения таких шумов и приведения изобра-

жений к единому размеру используется предварительная обработка изображений. Она повышает качество изображения, устраняя непреднамеренные искажения или улучшая некоторые функции изображения, которые важны для дальнейшей обработки и создания более подходящего изображения, чем оригинал для конкретной задачи. Выполнение этого этапа включает в себя сегментацию фона, фильтрацию шумов и нормализацию изображения.

Для дифференциации пикселей подписи от пикселей фона используется метод пороговой сегментации. Так как в данном случае необходимо определить темные объекты на светлом фоне, пороговое значение, называемое порогом яркости, выбирается соответствующим образом и применяется к пикселям изображения. После предобработки, пиксели подписи будут равны 1, а другие пиксели, принадлежащие фону, будут равны 0. Фильтрация шумов выполнена работает как функция большинства, которая заменяет каждый пиксель его функцией большинства.

Последним этапом предобработки является нормализация изображения. В ходе обработки исходное изображение преобразовывается к размеру 256*256. В процессе нормализации соотношение сторон между шириной и высотой подписи сохраняется.

На выходе получается предобработанное изображения. Извлеченные функции на этом этапе являются входными данными этапа обучения. Для обучения нейронной сети данные делятся на два набора: обучающий и тестовый. Тестовый набор содержит уже предсказанные значения. Он используется для проверки прогнозов, сделанных обучающим набором. По сути, модель обучается на тренировочном наборе и проверяется на тестовом наборе. Кроме того, дейтасет делится на положительные и отрицательные образцы: положительный образцы - подпись оригинальная, а отрицательный образцы - подпись поддельная.

Рис. 3. Блок-схема алгоритма

Функции в этой системе - это глобальные функции, функции маски и функции сетки. Общие характеристики: предоставляет информацию о конкретных случаях формы подписи, таких как площадь подписи, отношение высоты к ширине подписи, максимальная горизонтальная гистограмма и максимальная вертикальная гистограмма, центр подписи по горизонтали и вертикали, количество локальных максимумов подписи и граничная точка подпись. Горизонтальная гистограмма рассчитывается путем просмотра каждой строки изображения подписи и подсчета количества черных пикселей. Строка с максимальным количеством черных пикселей записывается как максимальная горизонтальная гистограмма. Точно так же вертикальная гистограмма рассчитывается путем просмотра каждого столбца изображения подписи и поиска столбца с максимальным количеством черных пикселей. Далее изображение подписи делится на две равные части и вычисляется центр масс для отдельных частей. После этого применяется горизонтальная линия, проходящая через центр масс каждой части подписи, и рассчитывается площадь сигнатуры выше и ниже центра масс в ограничивающей рамке.

Характеристики маски: предоставляет информацию о направлениях линий подписи, поскольку углы подписи имеют межличностные различия. Функции сетки: предоставление общей информации о внешнем виде подписи. Нормализованный вектор подписи передается в нейронную сеть, которая распознает владельца контрактной подписи, после чего происходит проверка подписи на принадлежность классам «Оригинал» и «Подделка».

Набор данных и экспериментальные исследования

Была создана программная реализация с использованием Anaconda и пакета Python, включая OpenCV [15], matplotlib [16], Keras [17], TensorFlow [17]. Экспериментальные исследования проводились с применением облачных серверов Google Colab с характеристиками процессора Intel(R) Xeon(R) CPU, Intel(R)

Xeon(R) CPU 2.20GHz, Объем памяти 12 GB, Операционная система Windows 10, Графический процессор NVIDIA Tesla T4 с выделенной памятью 16 GB.

Для распознавания рукописных подписей с применением нейронных сетей используется переработанный набор данных «UTSig» [14]. Дейтасет содержит рукописные подписи, полученные от 1650 человек:

- 64 вида рукописных подписей, выполненных разными людьми;

- 12 подлинных подписей на каждого подписавшегося;

- 12 поддельных экземпляров, выполненных по статическому изображению рукописной подписи.

Каждому фальсификатору разрешалось практиковать подпись столько, сколько он пожелает. Каждый фальсификатор имитировал 3 подписи 5 подписавшихся за один день написания. Подлинные подписи, показанные каждому фальсификатору, выбираются случайным образом из 12 подлинных образцов одной подписи. Таким образом, на каждую подлинную подпись приходится в среднем 15 искусных подделок, сделанных 10 фальсификаторами из 10 разных подлинных экземпляров.

Таким образом, получаем, что дейтасет содержит два основных класса: «Оригинал» и «Подделка». В свою очередь, в каждом классе имеется по 64 подкласса. Каждый подкласс содержит в среднем по 12 вариантов изображений рукописной подписи одного человека. Изображения хранятся в формате «PNG» и имеют различное разрешение, зависящее от высоты, ширины и длины рукописной подписи. В ходе обработки исходное изображение преобразовывается к размеру 256*256. На рисунке 4 представлены экземпляры класса «Оригинал» и «Подделка».

В ходе работы был проведен эксперимент, устанавливающий зависимость между скоростью обучения нейронной сети и использованием графического процессора. Обучения без использования графических процессоров занимает в общей сложности

50 минут. В свою очередь, обучение с применением графических процессоров выполняется за 5 минут.

¡0 J мт^

Рис. 4. Примеры экземпляров подписей из класса: (а) - «Оригинал»; (б) - «Подделка»

Оценка точности модели производится с помощью метрики, такой как Accuracy, предназначенной для задач классификации и рассчитывается классическим способом согласно формуле:

Accuracy ■

TP + TN

(1)

TP + TN + FP + FN где TP - True Positive, число истинно положительных кадров, то

есть кадров, в которых жест распознан верно; TN - True Negative, число истинно негативных кадров; FP - False Positive, число ложно положительных кадров; FN - False Negative, число ложно негативных кадров.

Разработанная сверточная нейронная сеть для распознавания и верификации рукописной подписи, в результате обучения на дейтасете «UTSig», позволяет получить точность распознавания и полученные при этом потери рукописной подписи, показанные на рисунке 5.

0.0 2.5 5,0 7.5 10.0 12.5 15.0 17.5

0.0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 Рис. 5. Точности и потери, полученные при распознавании подписи

Графики на рисунке 5 показывают изменения потерь и точность распознавания рукописной подписи с применением нейронных сетей.

Заключение

Таким образом, решение задачи распознавания и верификации рукописной подписи является сложной и актуальной задачей. Для ее решения разработана сверточная нейронная сеть и предложен алгоритм, который состоит из предобработки изображения, включающей в себя сегментацию фона, шумоподавление и нормализация изображения. Предобработка изображения позволяет повысить качество работы сети. Далее выполняется извлечения вектора признаков, который состоит из глобальных признаков, таких как отношение высоты к ширине подписи, максимальная горизонтальная гистограмма и максимальная вертикальная гистограмма, горизонтальный центр и вертикальный центр подписи, конечные точки подписи, область подписи. Проведено обучение и тестирование разработанной свер-точной нейронной сети на наборе данных «UTSig». Из результатов экспериментальных исследований можно сделать вывод, что алгоритм распознавания и верификации рукописной подписи позволяет распознавать и верифицировать рукописную подпись.

Список литературы

1. Plamondon R., Srihari S. N. Online and off-line handwriting recognition: a comprehensive survey // IEEE Transactions on pattern analysis and machine intelligence. - 2000. - Т. 22. - №. 1. - С. 63-84.

2. Jain A. K., Nandakumar K., Nagar A. Biometric template security // EURASIP Journal on advances in signal processing. - 2008. - Т. 2008. - С. 1-17.

3. Maiorana E. et al. Cancelable templates for sequence-based biometrics with application to on-line signature recognition // IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans. - 2010. - Т. 40. - №. 3. - С. 525-538.

4. Rua E. A. et al. Biometric template protection using universal background models: An application to online signature // IEEE Transactions on Information Forensics and Security. - 2011. - Т. 7. - №. 1. - С. 269-282.

5. Grosso E., Pulina L., Tistarelli M. Modeling biometric template update with ant colony optimization // 2012 5th IAPR International Conference on Biometrics (ICB). - IEEE, 2012. - С. 506-511.

6. Bhunia A. K., Alaei A., Roy P. P. Signature verification approach using fusion of hybrid texture features // Neural Computing and Applications. 2019, vol. 31, p. 8737-8748.

7. Kumar R., Sharma J., Chanda B. Writerindependent off-line signature verification using surroundedness feature // Pattern recognition letter. 2012, vol. 33(3), p. 301-308.

8. Hafemann L. G., Oliveira L. S., Sabourin R. Fixed sized representation learning from offline handwritten signatures of different sizes // International Journal on Document Analysis and Recognition. 2018, vol. 21(3), p.219-232.

9. Yilmaz M., Yanikog B. Score level fusion of classifiers in off-line signature verification // Information Fusion. 2016, vol. 32, p. 109-119.

10. MacQueen J. Proceedings of the fifth Berkeley symposium on mathematical statistics and probability // Some methods for classification and analysis of multivariate observations. - 1967. - С. 281-297.

11. Jagtap A. B., Sawat D. D., Hegadi R., Hegadi R.S. Verification of genuine and forged offline signatures using Siamese Neural Network (SNN) // Multimedia Tools and Applications. 2020, vol. 79, p. 35109-35123.

12. Jain A., Singh S. K., Singh K. P. Handwritten signature verification using shallow convolutional neural network // Multimedia Tools and Applications. 2020, vol. 79, p. 19993-20018.

13. Ghosh, R. A. Recurrent Neural Network based deep learning model for offline signature verification and recognition system // Expert Systems with Applications. 2021. Vol. 168.

14. Антонио Джулли, Суджит Пал Библиотека Keras - инструмент глубокого обучения. Реализация нейронных сетей с помощью библиотек Theano и TensorFlow. - ДМК Пресс, 2017. - 296 с.

15. Matplotlib 3.6.2 documentation // Matplotlib documentation URL: https://matplotlib.org/stable/index.html (дата обращения: 05.11.2022).

16. About OpenCV // OpenCV URL: https://opencv.org/about/ (дата обращения: 05.11.2022).

References