CC BY
180
УДК 004.932.2
Вестник СибГАУ 2014. № 5(57). С. 38-43
ИДЕНТИФИКАЦИЯ ЧЕЛОВЕКА ПО ЕГО ЛИЧНОЙ ПОДПИСИ В СИСТЕМАХ ЭЛЕКТРОННОГО ДОКУМЕНТООБОРОТА
Р. П. Баранов
Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева Российская Федерация, 660014, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
Е-mail: [email protected]
Рассматривается подход к решению задачи идентификации человека по подписи. Описаны способы идентификации подписи человека, зависящие от источника, с которого была получена подпись. Основное внимание уделяется распознаванию статической подписи, полученной с изображения. Данная задача востребована в сфере бизнеса, маркетинга, банковских операций, контроля безопасности и аутентификации документа. Особенно остро проблема идентификации личности стоит в электронном документообороте. Чаще всего на документах стоят электронные подписи, однако далеко не все документы имеют исключительно электронный вид, как правило, это внешние входящие и исходящие документы. Именно на таких документах чаще всего и необходимо определить личность человека, который оставил на нем свою подпись. Разобраны основные наборы глобальных, локальных и специальных признаков для различных видов подписи. Приведен метод предварительной обработки изображения подписи. Обработка изображения проходит в несколько этапов. Каждый этап постепенно приводит изображение к бинаризованному, что позволяет перевести изображение подписи в вектор и производить анализ вектора подписи. Показан пример работы метода на изображении подписи кассира, полученной с фотографии чека. Приведена реализация алгоритма Distance Transform с описанием различных метрик. Данный алгоритм позволяет получить скелет изображения подписи, который преобразуется в совокупность связных векторов. Предложен подход для расчета графических характеристик изображения подписи, основанный на расчете матрицы расстояний. Описано преимущество предложенного алгоритма расчета характеристик перед классическим алгоритмом. Приведен алгоритм сравнения графических характеристик подписи с помощью метрики SSIM. Проведено тестирования алгоритма идентификации человека по подписи с использованием изображений разного качества и размера. Приведены результаты тестирования алгоритма. Разработана система идентификации человека по изображению подписи.
Ключевые слова: обработка изображений, скелетизация, идентификация пользователя, распознавание подписи, биокриптография.
Vestnik SibGAU 2014, No. 5(57), P. 38-43
PERSON IDENTIFICATION BY SIGNATURE IN THE ELECTRONIC DOCUMENT MANAGEMENT SYSTEM
R. P. Baranov
Siberian State Aerospace University named after academician M. F. Reshetnev 31, Krasnoyarsky Rabochy Av., Krasnoyarsk, 660014, Russion Federation E-mail: [email protected]
This report deals with the approach to the problem of human identification by signature. It is described how to identify person's signature, depending on the source from which the signature was obtained. A method for pre-processing the image signature is considered. An example of the method signature of the cashier in the image obtained from a photograph of the check is shown. The of-line signature verification is demanded in business and marketing, bank transactions, security control, and document authentication. The off-line signature verification is the difficult process against the on-line verification. In this paper, the extension offeature set, including global, local, and special features for simple and cursive types of signatures, is proposed. The global features are required to create a decision tree, which limits a field of the search. In this report, an approach for a human identification by person signature is considered. The methods of signature identification dependently from a way, how this signature was received, are described. A preprocessing of an image improves the following identification results. The implementation of Distance Transform algorithm describing the various metrics is shown. An approach for calculating the graphical representation of the signature characteristics, based on the calculation of the distance matrix is given. The benefits of the proposed algorithm for calculating the characteristics over the classic algorithm are described. An algorithm of comparing signature graphic characteristics using the metric SSIM is shown. Testing algorithm for human identification signature using different
image quality and size is conducted. The results of testing the algorithm are shown. The software system for a person's identification by a signature is developed.
Keywords: image processing, skeletonization, person identification, biocryptograph
Введение. Подпись - один из классических способов идентификации, который применяется в юридической практике, банковском деле и торговле. Как правило, подпись не повторяет обычное написание букв и имеет дополнительные элементы (росчерки, наложения букв и т. д.) [1]. Существуют два способа идентификации человека по подписи: идентификация по динамике подписи, вводимой в электронное устройство, и идентификация по изображению подписи на документе [2; 3]. В первом случае рассматривается одномерный сигнал, который формируется электронным пером. Во втором случае, как правило, нужно сравнить два изображения - эталонное и текущее. С этой задачей достаточно хорошо справляется человек, однако для автоматизации и оптимизации этого процесса необходимо использовать методы интеллектуальной обработки данных.
Первым этапом для идентификации человека по изображению подписи является определение графических особенностей этой подписи. Для этого изображение подвергается предварительной обработке, после чего находится сама подпись и переводится в представление набора простых примитивов. Далее, анализируя векторную форму подписи, требуется найти некоторые особенности, которые бы позволяли идентифицировать человека по подписи.
В целом предварительную обработку изображения можно разделить на несколько этапов:
1) получение исходного изображения;
2) фильтрация изображения и бинаризация;
3) мкелетизация изображения [4; 5];
4) векторизация скелетного изображения.
Предварительная обработка. Этапы предварительной обработки подписи напрямую зависят от качества изображения подписи. В частном случае изображение можно обрабатывать без предварительной обработки, но чаще всего необходимо выполнять различные операции для улучшения качества изображения подписи [6]. Четкого и определенного порядка работы фильтров нет, пользователь может выбирать его сам, однако последней операцией должна быть бинаризация, так как для дальнейшей обработки подписи необходимо именно бинаризованное изображение (рис. 1).
Исходное изображение (рис. 1, а) получено с камеры низкого качества и поэтому нуждается в предварительной обработке фильтрами [7]. Для начала применяется нелинейная цветокоррекция (рис. 1, б) по следующей формуле:
I = с ■ ^(1 +1), (1)
где I - значение яркости пикселя; с - коэффициент нелинейной коррекции (в данном примере коэффициент равен 2,2).
После применения цветокоррекции обработаем изображение фильтром Гаусса [8] с маской размерно-
стью 3x3 и применим фильтр Лапласа и бинаризацию (рис. 1, в). Как видно, на изображении все еще остаются лишние объекты. Данные объекты можно отсеять уже непосредственно на этапе скелетизации, задав минимальную размерность скелета. После применения алгоритма остается только скелет подписи (рис. 1, г).
г
Рис. 1. Предварительная обработка изображения: а - исходное изображение; б - нелинейная цветокоррекция; в - бинаризированное изображение; г - изображение после удаления шумов
Distance transform. Для получения скелетного изображения объекта применяется алгоритм Distance Transform [9]. Данный алгоритм основан на расчете расстояния между внутренними точками объекта и точками, лежащими на контуре объекта. Расстояние можно подсчитать по одной из трех метрик, например, по эвклидовой метрике расстояние рассчитывается по формуле
D = ^(х2 - xi)2 + (y2 - Л)2 , (2)
где x1 и y1 - координаты первой точки; x2 и y2 - координаты второй точки.
Также можно использовать метрику City Block (выражение (3)) или метрику «шахматной доски» (выражение (4)):
D = 1*2 - Xi| + |y2 - y 11, (3)
D = max(|x2 - У2 - У11). (4)
Исходя из выбранных метрик, рассчитываются «сильные» точки. Это точки с наибольшим значением метрики. После вычисления данных метрик необходимо рассчитать количество операций морфологического сужения, которое необходимо для того, чтобы данные точки остались. Однако перед этим нужно задать форму структурного элемента для операции сужения в зависимости от выбранной метрики [10]. Во всех трех метриках используется структурный элемент размерностью 3^3. Если выбрана метрика «шахматной доски», тогда форма структурного элемента будет Cs, если используется метрика City Block, то в форма структурного элемента определяется как Сс, а если принимается евклидова метрика, то форма структурного элемента будет Ce (выражение (5)):
Cs =
(1 1 ^ 1 1 1 1 1 1
C=
( 0 10 ^ 1 1 1 0 1 0
C=
(1 1 л 1 0 1 1 1 1
(5)
раза с эталоном происходит за одну итерацию сразу после вычисления его инварианта.
Как известно, расстояние между двумя точками на плоскости не изменяется при их синхронном сдвиге и повороте [12]. Это свойство можно использовать при построении инвариантов контурных образов на бинарных изображениях. Класс инвариантов вычисляется как расстояния между нормализованными координатами контурного образа. В качестве характеристики подписи формируется матрица расстояний, процесс вычисления которой можно представить следующим образом:
1) получение исходных координат вектора подписи (х„ у), где I = 1, 2, ..., п, в форме вектора х, состоящего из п комплексных чисел:
После того, как выбран структурный элемент и подсчитано количество необходимых морфологических операций, необходимо обработать ими изображение. В результате выполнения алгоритма на выходе получается скелетное изображение обрабатываемого объекта.
Графические характеристики подписи. После получения скелетного изображения можно приступать к расчету графических характеристик подписи. В данном подходе предлагается использовать матрицу расстояний как основную графическую характеристику [11]. На практике распознаваемый образ и образ-эталон, как правило, отличаются друг от друга масштабом, поворотом и сдвигом. Если последовательно выполнять все возможные геометрические преобразования (повороты, сдвиги и изменения масштаба) эталонного образа и при этом сравнивать результат преобразования с распознаваемым образом, то, в конце концов, можно зарегистрировать те параметры преобразований, при которых выступает наивысшее значение меры подобия. Ясно, что такой емкий подход, используемый, например, при распознавании отпечатков пальцев, относительно трудоемкий с вычислительной точки зрения. Данный метод строится не на сравнении самих образов или их базовых характеристик, а на сравнении инвариантов их геометрических преобразований. Сравнение нового об-
х = (Xi + y:
-'Уп
(6)
2) центрирование исходных данных относительно среднего значения:
х0 =(х хХ
(7)
где х - среднее значение вектора х;
3) вычисление нормированных координат по следующей формуле:
Re( X))
1т<Л)
max(Re(x0 )) max(Im( х0 ))
(8)
где max - максимальный элемент; х0 - центрированное среднее значение, полученное по формуле (7);
4) вычисление матрицы расстояний для всей совокупности нормированных координат:
R--
V п1
(9)
где Г] - расстояние между 1-й и]-й координатами.
На рис. 2 приведены векторные образы подписей, различающиеся масштабом, поворотом и сдвигом и вычисленные матрицы расстояний для этих подписей [2]. Для наглядности отображения значения матрицы расстояния были нормированы в диапазоне 0.255 и выведены изображения, где элементам матриц присвоены значения яркости пикселов (рис. 2, а).
б
Рис. 2. Примеры подписей одного человека и их матриц расстояний: а - образы подписей; б - матрицы расстояний подписей
а
Сравнивая между собой полученные матрицы расстояний, можно отметить, что все они практически одинаковые [13]. Взаимная корреляция межу ними равна строго 1. При этом даже если пункт начала обхода каждого контура будет разным, значение взаимной корреляции не изменится, а пик ее сдвинется на то число строк и столбцов, которое будет соответствовать разнице в порядковых номерах пунктов начала обхода контуров.
Сравнение двух изображений подписи сводится к сравнению полученных характеристик подписи. Сравнение базовых характеристик происходит по следующей формуле:
1*1 - * 2
< S,
(10)
где Х\ - значение характеристики эталона; Х2 - значение характеристики сравниваемой подписи; е - порог, заданный пользователем.
Данная формула подходит для всех базовых характеристик, кроме центра подписи. Сравнение центра подписи осуществляются по формуле
x2 - Х1)2 + (У2 -Л)2 < Е>
(11)
QewWL/] = Cnew№ • i][k2 ' Л
(12)
где I, ] - координаты элемента матрицы; к и к2 - коэффициенты масштабирования, вычисляемые по формуле:
V
H
H n
, к2 =
Wo,
W
(13)
где ИоИ и - размеры исходной матрицы; Иш и - размеры масштабируемой матрицы.
После того как две матрицы приведены к одной размерности, можно произвести их сравнение. Для этого предлагается использовать 881М-метрику [14]. 881М-метрика - это метод полного сопоставления, иными словами, он проводит измерение качества на основе исходного изображения (несжатого или без искажений). 881М-метрика является развитием традиционных методов, таких как Р8МЯ и метод среднеквадратичной ошибки М8Е, которые оказались несовместимы с физиологией человеческого восприятия [15]. Отличительной особенностью метода является то, что метод учитывает «восприятие ошибки», благодаря учету структурного изменения информации. Идея заключается в том, что пикселы имеют сильную взаимосвязь, особенно когда они близки пространственно. Значение 881М-метрики считается по следующей формуле:
SSIM =
(2 • Иx • Иy + c1)(2• 0xy + c2)
(и2 + и 2y + c1)(o;x + о y + С2)'
(14)
где XI и ух - значения центра сравниваемой подписи; х2 и у2 - значения центра подписи эталона.
Сравнение матриц расстояний. При сравнении двух матриц расстояний вначале матрицы приводятся к одинаковой размерности. Матрица большой размерности уменьшается до размеров матрицы меньшой размерности, так как данное действие обеспечит наименьшие потери качества. В качества алгоритма масштабирования предлагается метод ближайшего соседа. Данный алгоритм заключается в том, что значение элемента в масштабируемой матрице рассчитывается исходя из значений окружающих его элементов. Значение элемента в новой матрице рассчитывается по формуле
где - среднее по x; - среднее по y; цх - диспер-
2
сия по x; цу - дисперсия по y; oxy - ковариация по x и y.
Значение метрики дает процентное соотношения эталона и образца. В зависимости от качества исходного изображения и количества эталонов выставляется пороговое процентное соотношение, при достижении которого эталон и образец считаются идентичными.
Заключение. Для тестирования алгоритма был разработан программный продукт Signature Verifivation (рис. 3). Разработка велась с помощью Microsoft Visual Studio 2010, с использованием .NET Framework 3.5. и библиотеки OpenCV.
Продукт состоит из 4 основных модулей: предварительная обработка, скелетизация, обработка подписи, сбор статистики. Программа позволяет запоминать и сохранять эталоны пользователя, а также ведет статистику по верно и неверно определенным подписям, как за отдельную выборку, так и за все время работы программы.
Было проведено тестирование, в котором в качестве входных параметров выступали пары изображений (всего 10 пар), где первое изображение содержало эталон подписи (см. таблицу). По результатам тестирования было выявлено, что средняя погрешность алгоритма составляет 10 %.
Тестирование алгоритма
№ 1 2 3 4 5 6 7 8 9 10
Теоретическое совпадение, % 100 100 0 0 0 100 0 100 0 0
Результат работы алгоритма, % 99 94 12 10 5 87 5 74 19 3
Погрешность, % 1 6 12 10 5 13 5 26 19 3
Рис. 3. Главная форма программы
Таким образом, по результатам тестирования системы видно, что погрешность правильного распознавания подписи является приемлемой и не превышает 10 %. Для улучшения показателя возможна комбинация из предложенного алгоритма и алгоритма, анализирующего биометрические особенности динамической подписи. В случае если эталон подписи может быть получен не с изображения, а с любого другого источника ввода, эффективность алгоритма может повыситься.
Библиографические ссылки
1. Вул С. М. Судебно-автороведческая экспертиза: современное состояние и перспективы. Вильнюс : Право, 1981. 544 с.
2. Баранов Р. П. Идентификация личной подписи человека // Решетневские чтения : материалы XV Меж-дунар. науч. конф. В 2 ч. Ч. 2. Красноярск, 2011. С. 603-604.
3. Kiani V., Pourreza R., Pourreza H. R. Offline Signature Vérification Using Local Radon Transform and Support Vector Machines // International journal of Image Processing (IJIP). 2010. Vol. 3, Iss. 5.
4. Местецкий Л. М. Скелетизация многоугольной многосвязной фигурой на основе дерева смежности ее границы // Сибирский журнал вычислительной математики. 2006. Т. 9, № 3. С. 299-314.
5. Местецкий Л. М., Рейер И. А. Построение скелета области с кусочно-гладкой границей на основе полигональной аппроксимации // Математические методы распознавания образов (ММРО-10) : материалы X Всерос. конф. М., 2010.
6. Баранов Р. П., Белоконь А. В., Фаворская М. Н. Определение и приоретизация признаков объектов на изображении в системах распознавания // Актуальные проблемы авиации и космонавтики : Всерос. науч.-практ. конф. творческой молодежи. В 2 т. Т. 1. Красноярск, 2012. С. 127.
7. Форсайт Д. А. Компьютерное зрение. Современный подход. М. : Вильямс, 2004. 928 с.
8. Фаворская М. Н. Методы распознавания изображений и видеопоследовательностей : моногр. Красноярск, 2010. 176 с.
9. Фурман Я. А. Введение в контурный анализ и его приложения к обработке изображений и сигналов. М. : Машиностроение, 2003. 648 с.
10. Siddiqi K., Pizer S. M. Medial representations: Mathematics, Algorithms and Applications. Springer, 2008.
11. Баранов Р. П., Болтов А. Н., Казмирук Е. С. Сравнение изображений подписи человека на основе матрицы расстояний // Решетневские чтения : материалы XVI междунар. науч. конф. В 2 ч. Ч. 2. Красноярск, 2012. С. 590-591.
12. Местецкий Л. М. Непрерывная морфология бинарных изображений: фигуры, скелеты, циркуляры. М. : ФИЗМАЛИТ, 2009.
13. Баранов Р. П. Идентификация человека по его личной подписи // Молодёжь Сибири - науке России : материалы Междунар. практ. конф. В 2 ч. Ч. 1. Красноярск, 2012. С. 29.
14. Болтов А. Н., Баранов Р. П., Казмирук Е. С. Структурирование изображений на основе поиска ассоциативных правил // Решетневские чтения : материалы XVI Междунар. науч. конф. В 2 ч. Ч. 2. Красноярск, 2012. С. 594-595.
15. Daramola S. Person Identification System using Static and dynamic Signature Fusion // International Journal of Computer Science and Information Security. 2010. Vol (6)7. Pp. 88-92.
References
1. Vul S. M. Sudebno-avtorovedcheskaja jekspertiza: sovremennoe sostojanie i perspektivy [Forensic authorial examination: current status and prospects]. Vilnus, Pravo Publ., 1981, 544 p.
2. Baranov R. P. [Identification of human personal signature] V materialakh XV mezhdunarodnoj nauchnoj konferentsii "Reshetnevskie chtenija" [The materials of the XV International Scientific Conference "Reshetnev readings"]. Krasnoyarsk, 2011, p. 603-604 (In Russ.).
3. Offline Signature Verification Using Local Radon Transform and Support Vector Machines / V. Kiani, R. Pourreza, H. R. Pourreza. International journal of Image Processing (IJIP). 2010, vol. (3), Iss. (5).
4. Mesteckij L. M. [Skeletonization multiply polygonal figure based on its boundary adjacent tree]. Sibirskiy zhurnal vychislitel'noy matematiki. 2006, no. 3, p. 299314 (In Russ.).
5. Mestetskiy L. M., Reyer I. A. [IA Building skeletal domain with a piecewise smooth boundary based on polygonal approximation]. Materialy X Vseros. konf. "Matematicheskie metody raspoznavaniya obrazov" (MMRO-10) [Material X All-Russian Conference "Mathematical methods for pattern recognition" (MMRO-10)]. Moscow, 2010 (In Russ.).
6. Baranov R. P., Belokon' A. V., Favorskaya M. N. [Identifying and prioritizing the attributes of the objects in the image recognition systems]. Vseros. nauch.-prakt. konf. tvorcheskoy molodezhi "Aktual'nye problemy aviat-sii i kosmonavtiki" [All-Russian scientific-practical conference of creative youth "Actual problems of aviation and space exploration"]. Krasnoyarsk, 2012, vol. 1, p. 127.
7. Forsayt D. A. Komp'yuternoe zrenie. Sovremennyy podkhod. [Computer vision. Modern approach]. Moscow, Vil'yams Publ., 2004, 928 p.
8. Favorskaya M. N. Metody raspoznavaniya izo-brazheniy i videoposledovatel'nostey [Methods of image recognition and video sequences]. Krasnoyarsk, 2010, 176 p.
9. Furman Ya. A. Vvedenie v konturnyy analiz i ego prilozheniya k obrabotke izobrazheniy i signalov. [Intro-
duction to contour analysis and its applications to image and signal processing]. Moscow, Mashinostroenie Publ., 2003, 648 p.
10. Siddiqi K., Pizer S. M., 2008. Medial representations: Mathematics, Algorithms and Applications. Springer, 2008.
11. Baranov R. P., Bolgov A. N., Kazmiruk E. S. [Comparison of images of human signatures based on distance matrix]. V materialakh XVI mezhdunarodnoy nauchnoy konf. "Reshetnevskie chteniya" [The materials of the XVI International scientific conference "Reshetnev readings"]. Krasnoyarsk, 2012, p. 590-591 (In Russ.).
12. Mestetskiy L. M. Nepreryvnaya morfologiya bi-narnykh izobrazheniy: figury, skelety, tsirkulyary. [Continuous morphology of binary images: figures, skeletons, circulars]. Moscow, Fizmalit Publ., 2009, 288 p.
13. Baranov R. P. [Identification of a man by his personal signature]. Vmaterialakh mezhdunarodnoyprak-ticheskoy konf. "Molodezh' Sibiri - nauke Rossii" [The materials of the international conference "Youth of Siberia - Russian science"]. Krasnoyarsk, 2012, p. 29 (In Russ.).
14. Bolgov A. N., Baranov R. P., Kazmiruk E. S. [Structuring images based on mining association rules]. V materialakh XVI mezhdunarodnoy nauchnoy konf. "Reshetnevskie chteniya" [The materials of the XVI International scientific conference "Reshetnev readings"]. Krasnoyarsk, 2012, p. 594-595 (In Russ.).
15. Daramola S. Person Identification System using Static and dynamic Signature Fusion // International Journal of Computer Science and Information Security. 2010. Vol (6)7, p. 88-92.
© Баранов Р. П., 2014
