Быстрое сопоставление рукописных динамических подписей в биометрической системе контроля доступа Текст научной статьи по специальности «Математика»

Быстрое сопоставление рукописных динамических

подписей в системе контроля доступа

Колядин Д.В. (dvkmail2000@mail.ru), Петров И.Б.

Московский физико-технический институт (государственный университет)

Введение

Появление на рынке сравнительно недорогих графических планшетов и компьютеров, оборудованных сенсорными экранами, позволило рассматривать рукописные символы и подписи не просто «в статике», а отслеживать историю их начертания. Последний подход к анализу рукописных кривых носит название «on-line» метода распознавания в отличие от «off-line» метода распознавания или по-другому анализа статических отсканированных изображений. Далее под динамическими кривыми мы будем подразумевать «on-line» кривые, описывающие временную последовательность точек, порождающих рукописные символы и подписи.

В статье [1] был описан алгоритм предварительной обработки динамических кривых, основанный на нахождении экстремальных точек. В данной работе развивается указанный ранее подход к решению задачи поиска и верификации рукописных слов и подписей, который относится к категории функциональных методов.

Скелетное представление рукописной кривой

В основе описываемого метода анализа динамических кривых лежит идея выделения характерных или экстремальных точек [1]. При этом ключевое значение имеют так называемые «вертикальные» экстремумы, характеризующие изменение направления

подписи с учетом данных о нажиме на перо и угле наклона ручки. Условно будем называть первую часть базы данных «ТаБкЪ» а вторую часть - «Та8к2», при этом для полной ссылки будем указывать тип подписи и номер образца (номера от 1 до 20 соответствуют оригинальным экземплярам подписи, а номера от 21 до 40 соответствуют поддельным подписям).

Замена исходной кривой ломаной линией достаточно точно описывающей поведение траектории позволяет формализовать процедуру сопоставления двух кривых.

Рис. 1. Образец построения скелетного представления подписи (Task2\User5).

движения пера в вертикальной плоскости. На рис. 1 приводится пример «скелетного» представления рукописной подписи, полученный путем соединения экстремальных точек кривой. Здесь и далее в качестве примеров будут

использоваться образцы подписей из общедоступной базы данных первого международного конкурса программ по верификации рукописной подписи: SVC 2004: First International Signature Verification Competition, который проводился в 2004 году [2]. В рамках конкурса проводились два независимых соревнования: проверка подписей только на основе временной последовательности точек, и проверка

Кроме того, скелетное или хордовое представление содержит гораздо меньше точек и позволяет существенно ускорить процесс поиска оптимального соответствия между точками сравниваемых кривых.

Вариативность почерка

Основной проблемой в распознавании рукописной подписи является учет вариативных изменений кривой. При этом возможны такие локальные трансформации траектории, при которых исчезают или появляются отдельные элементы подписи. Введем следующие определения:

Определение 1. Вариативным изменением 1-го рода некоторой рукописной кривой будем называть такую вариацию траектории, при которой происходит локальное изменение ее формы. ■

Определение 2. Вариативным изменением 2-го рода некоторой рукописной кривой будем называть такую вариацию траектории, при которой происходит добавление и удаление ее элементов. ■

Основу разработанного метода составляет принцип сопоставления двух кривых на основе нахождения соответствующих пар вертикальных экстремумов, принадлежащих двум образам. При этом, естественно, имеет смысл искать соответствия для вертикальных экстремумов только вида «минимум-минимум» и

«максимум-максимум». При рассмотрении вариативных изменений введем ограничение, что два соответствующих сегмента кривой могут

отличаться не более чем на два Рис.2. Два принципиально разных случая трансформации вертикальных экстремума. На л°ман°й тосттщет го четырет тотек. практике это ограничение

выполняется практически всегда. Случай более сложных трансформаций может быть сведен к последовательному применению более простых вариаций. Проанализируем для начала вариативные изменения 1-го рода. Для этого рассмотрим случай четырех вертикальных экстремальных точек.

Лемма 1. Для случая ломаной состоящей из четырех вертикальных экстремумов возможны только два структурно различных варианта ее поведения. Доказательство.

Поскольку ломаная линия, состоящая из четырех точек, может иметь не более одного самопересечения, то возможны два варианта: с самопересечением и без самопересечения не считая зеркальных отражений в горизонтальном направлении. ■

Замечание 1: На рис.2 представлены возможные трансформации ломанной, ведущие к исчезновению промежуточных вертикальных экстремумов.

Условимся называть первый тип трансформации бифуркагцюнной вариацией, а второй тип непрерывной вариацией.

Замечание 2: На практике Рис.3. Примеры вариативных трансформаций 1-го рода. подписи выполняются не

отрезками ломаной линии, поэтому указанные два случая являются модельными, но они позволяют сформулировать требования к свойствам алгоритма сопоставления, о чем пойдет речь в следующем разделе.

На рис.3 приведены примеры трансформаций 1-го рода, когда экстремальные точки или исчезают как в случае буквы «В» или в результате трансформации перестают быть

вертикальными экстремумами. Вариативные изменения 2-го рода встречаются гораздо реже, что в прочем, вполне естественно. На рис.4 приводится пример, когда в верхней кривой присутствует «лишний» элемент. Заметим, что в случае вариативных изменений второго рода необходимо вводить в рассмотрение сопоставления вида один-к-двум, что видно из рис.4, в то время как известные в литературе методы эластичного сопоставления (dynamic time warping) позволяют находить только поточечные соответствия вида один-к-одному [3,4,5].

Рис.4. Вариативное изменение 2-го рода.

подобных алгоритмах, как правило, как наиболее простой и эффективный

Сопоставление траекторий

Введенные в рассмотрение в предыдущем разделе вариативные изменения траекторий могут быть учтены алгоритмами «string matching», применяемыми для сравнения рукописных слов и подписей. В используется динамическое программирование, способ решения данной задачи. Этот метод позволяет не рассматривать рекурсивно всю подпись целиком, а искать глобально оптимальное решение путем рассмотрения локальных участков траекторий. Для описания атомарных сопоставимых единиц траекторий, составляющих алгоритмическую базу алгоритма, введем следующее: Определение 3. Хордой кривой будем называть отрезок, соединяющий вертикальные экстремальные точки противоположного типа.

Таким образом, на вход алгоритма сопоставления двух динамических кривых поступает упорядоченный набор хорд, являющийся допустимым набором пар вертикальных экстремумов (связи вида «min-min» или «max-max»). При этом задачей алгоритма является нахождение оптимального соответствия между экстремальными точками, представляющими концы хорд.

В качестве метода решения поставленной задачи было применено динамическое программирование. Первым этапом предлагаемого алгоритма является заполнение таблицы штрафов, в которой на пересечении строк и столбцов находятся величины, характеризующие степень отличия соответствующих элементов рукописных кривых. При этом применялись две метрики: «манхэттенская» (в англоязычной литературе известная так же как «city block») и «по Журавлеву». Первая метрика учитывала положение пары хорд относительно друг друга и относительно места в кривой (1),(2), а также относительные размеры хорд (3),(4):

dx (i, j) =

dy (i, j) =

ddx (U j ) =

dy ОК j) =

f x start + x end ^

f start . end ^ xj + xj

start end

Si Si

start end

x. — x.

start end

Si Si

Уг

end

Уг

start end

xj - xj

yf

end

У,

(1)

(2)

(3)

(4)

2

2

2

2

Сопоставление по указанной мере производилось из соображений, чтобы различие по одной из координат не приводило к неверному решению, что, вообще говоря, не исключено при сравнении по евклидовой мере. Формулы (1)-(4) не учитывают поведение кривой на участке, заключенном между парой вертикальных экстремумов. Поэтому

дополнительно к приведенным штрафам была предложена мера структурной схожести («по Журавлеву») участков траекторий, принимающая значение 1 или 0.

Сам алгоритм динамического программирования состоит из двух последовательных действий: прямого прохода, когда ищется локально-оптимальное

Рис.5. Пример сопоставления двух траекторий.

продолжение траектории и обратного прохода, когда выбирается путь, доставляющий минимальный суммарный штраф за несоответствие двух траекторий.

Поскольку в прямом проходе алгоритма имеет смысл находить соответствие только между вертикальными экстремумами одинакового типа, то из ячейки (у) возможно продолжение в одну из трех ячеек: (/+1,7+1), (/+1,7+3), (/+3,7+1). На рис. 5 представлен тестовый пример составления таблицы штрафов при поиске оптимального соответствия (в реальной ситуации, естественно, размер таблицы является большим). В каждой ячейке таблицы (у) может находится до трех «подтаблиц», содержащих штрафы за сопоставления хорд с учетом возможной вариативной трансформации 1-го рода. Таким образом, предложенный способ прямого прохода алгоритма является по своей сути иерархическим: в таблицу штрафов заносятся меры отличия участков с учетом пропуска двух экстремумов. При этом при нахождении штрафов такого рода также ищется оптимальное соответствие между экстремальными точками с той лишь разницей, что это не обязаны быть вертикальные экстремумы. Именно в силу последнего обстоятельства алгоритм поиска экстремальных точек был разработан с особой тщательностью [1].

На рис.5 представлен оптимальный путь (0,0) ^ (1,3) ^ (2,4) ^ (4,5), реализующий пропуск экстремальной точки под номером 4 для верхней кривой.

Рис.6. Пример разборки подписи экспертом-криминалистом.

Анализ формы траектории

В результате работы алгоритма сопоставления появляется набор гипотез для отбора кандидата на роль эталонной подписи. В силу того, что мера, по которой находятся структурные несоответствия достаточно «нестрогая» (исключающая лишь грубые несоответствия), то для тщательного анализа желательно проводить более детальное исследование кривых. В этой связи интересно обратиться к опыту экспертов-почерковедов.

При криминалистической экспертизе подписи [6], после того как были установлены общие признаки, «...эксперт проводит анализ частных признаков таких как:

• размеры углов (острые, тупые, прямые)

• степень кривизны дугообразных элементов (определяется измерением угла, образованного касательными от оснований дуги до их пересечения, а по углу определяется степень кривизны данной дуги)

• размещение росчерка и его элементов относительно подписи в целом (выше подписи, ниже, на уровне ее)».

На рис.6 приводится образец разборки подписи проведенной экспертом. Из данного рисунка, а также из приведенной цитаты следует, что для оценки формы кривой необходимо уметь описывать ее локальные особенности. Одним из лучших вариантов здесь является использование кривой Безье, получившей широкое распространение в компьютерной графике. Причем заметим, что приведенная выше цитата фактически описывает сплайн Безье, т. к. касательные к концам сплайна совпадают с отрезками, соединяющими соответствующие контрольные точки и концы сплайна.

Было установлено, что хотя для многих случаев поведения траектории «полный» метод наименьших квадратов (основанный на нахождении обратной матрицы размером 4x4 методом ШР-разложения), и «упрощенный» метод наименьших квадратов (использующий сведения о концах траектории и позволяющий в явном виде записать обращение матрицы размером 2х2) дают удовлетворительные результаты, они требуют уточнения. В результате был реализован

итерационный метод нахождения кривой Безье для аппроксимации участка траектории. На рис.7 представлен случай петлевого элемента, для которого представлены три разных способа построения сплайна Безье.

«Упрощенный» метод наименьших квадратов применяется для набора базисных функций, образующих матрицу А:

Рис.7. Пример нахождения кривой Безье для петлевого элемента. Слева-направо: «полный» метод наименьших квадратов, «упрощенный» метод наименьших квадратов, итерационный метод.

Ас =

(е -1 1 м г 2 1 - о ^ Р (О ^

г 2 — 12 г 2 2 - г г (с Л 1 _ V С2 У Р (г 2)

г3 - г \ т т г2 т — гт у ,Р (гт)у

(5)

записанную для х-координат кривой, где Р(г) - искомая приближающая функция. Аналогично записывается уравнение для нахождения коэффициентов при базовых функциях для _у-координат кривой. Исходя из условия минимизации невязки:

П = Р(Х ) - /г =2 Аг]С] — /г =2 ЛуС, - (Хг - (ХепЛ - Х«с* X - ) (6)

] ]

где /г - функция экспериментально полученных значений координат, получается матричное уравнение для нахождения искомых коэффициентов:

с = ((лтлУ Лт )/ (7)

В нашем случае упрощение задачи заключается в необходимости нахождения обратной матрицы 2-го порядка, что может быть найдено непосредственно по формуле:

Л геуегвв = 1 (— 1)(г+1)

■ ~ det ЛК 1

[о Ь Л

что для матрицы Л = , позволяет записать обратную матрицу в явном виде:

Л— =■

с

1 [ d — ЬЛ

(8)

det Л с о ^

Как видно из рис. 7 (средний вариант) найденное таким образом представление сплайна является очень неточным. Поэтому следующим шагом необходимо уточнить найденное решение с помощью итерационного метода. Поскольку этот метод основывается на нахождении расстояния до кривой Безье, то требует решения алгебраического уравнения 5-го порядка. Действительно, в точке сплайна, находящейся на минимальном расстоянии от заданной точки:

Л- = 0, гДе * = "ЛХ — хо)2 +Л — Уо)2

ds ( ^Лх ( ^у

откуда получаем: * — = (х — х0)--+ (у — У0) = 0 . (9)

dt dt dt

Для нахождения решения применялся метод секущих:

^ = ^ — /"Л'"—1~!") , где / = (х — Х0))Х + (л — У0))У • (Ю)

!п—1— Л л л

Найденное таким образом с помощью сплайнов Безье представление исходной траектории

использовалось одновременно и для окончательного отбора кандидата на роль эталонной

подписи и, фактически, для «тонкой» верификации подписи по ее форме.

Общая схема подпрограммы поиска эталонной подписи

С целью соблюдения оптимального баланса между производительностью подсистемы поиска и качеством ее работы был реализован иерархический, многоуровневый подход.

Первым шагом подпрограммы поиска являлся отбор возможных кандидатов для последующего анализа. При этом принимался во внимание следующий набор характеристик:

• Пропорции (ширина и высота) подписи;

• Координаты центра масс подписи;

• Количество сегментов;

• Количество петель;

• Максимальная длина штриха в вертикальном и горизонтальном направлениях;

• Количество вертикальных экстремумов;

• Отношение числа левоориентированных штрихов к правоориентированным.

На следующем шаге алгоритма найденные кандидаты передавались на вход процедуре поиска, описанной выше и работающей на основе скелетных представлений кривых. В текущей программной реализации алгоритм поиска отбирает три кандидата, доставляющих минимальные штрафы за несоответствие. На третьем шаге найденные три гипотезы проверяются на структурное соответствие с предъявленным образцом. И только

на заключительном этапе сравниваемые рукописные кривые представляются с помощью сплайнов Безье, и таким образом делается попытка оценить степень схожести эталона и образца по их форме.

Оценка качества работы подсистемы поиска эталона

В силу специфики исполнения рукописных подписей, где каждый человек старается проявить индивидуальность, алгоритм поиска показал хорошие результаты. В первую очередь это обусловлено тем, что подписи имеют разное количество сегментов (см. Таблицу 1). А в каждом классе подписей имеющих одинаковое количество сегментов

Task1\User9-11 и Task1\User1-13.

отличия между ними достаточно существенны, что приводит к хорошим результатам сопоставления. На рис. 8 приводится пример нахождения соответствия между экстремальными точками двух подписей: Task1\User9-11 и Task1\User1-13, имеющих одинаковое количество сегментов. Отметим, что из 1600 подписей базы данных Task 1 было найдено только 12 «посторонних подписей» (3 для подписи Task1\User1, 4 для подписи Task1\User7, 3 для подписи Task1\User17, и 2 для подписи Task1\User19). При этом максимальный штраф для подписей Task1\User9 равнялся 258.6, а минимальный штраф для остальных подписей равнялся 328.2, что позволяет с уверенностью говорить о 100% распознавании подписей Task1\User9 ото всех остальных.

Таблица 1. Количество сегментов в подписях

База данных Число подписей с количеством сегментов:1

1 2 3 4 5 >5

Task 1 2 7 4 5 5 5

Task 2 1 7 4 4 2 13

Примечание: число неустойчивых подписей для базы данных «Task 1» - 12 образцов, для базы данных «Task 2» - 9 образцов. В каждой выборке изначально присутствовало по 40 образцов.

1 В таблице приводятся данные для подписей, участвовавших в процедуре тестирования, т.к. часть подписей имеет переменное количество компонент.

В итоге показатель правильно распознанных подписей составил 96.7% (было верно распознано 2283 подписей из 2360).

Подделка формы и динамики написания подписи

В основе верификации рукописной подписи присутствует гипотеза о трудности одновременной подделки, как формы подписи, так и манеры ее исполнения. В данной работе форма траектории и динамика порождения рукописной подписи рассматривались

Рис. 9. Пример оригинальных подписей (Task1\User18-10 и Task1\User18-11) и поддельной подписи (Task1\User18-25), очень точно копирующей динамику истинных подписей.

независимо. В результате возникали ситуации, когда злоумышленник мог подделать динамику исполнения рукописной подписи, в то время как форма кривой получалась отличной от оригинальной подписи. На рис. 9 представлены две истинные подписи (Task1\User18-10 и Task1\User18-11) и одна поддельная (Task1\User18-25), размещенная на сером фоне. Хотя профили скоростей поддельной и эталонной подписей совпадали (в пределах допустимых вариативных изменений), но среднее значение штрафа за соответствие по форме между оригинальными подписями равнялось: 374.1, в то время как средний штраф за несоответствие между тренированными поддельными подписями и эталоном равнялся: 962.6. При этом только одна настоящая подпись была отклонена как поддельная.

Заключение

С целью улучшения качества работы программы в настоящее время проводятся исследования по улучшению верификации подписей на основе их динамики, путем выделения наиболее информативных участков, что требует взаимосвязи между подпрограммой поиска эталона и подпрограммой верификации. Так же в настоящее время

верификация проводится на основе сравнения сегментов подписей, что не всегда дает

оптимальный результат.

Литература

1. Д. В. Колядин, И.Б. Петров. Алгоритм выделения экстремальных точек применительно к задаче биометрической верификации рукописной подписи // Электронный журнал «Исследовано в России», 47, стр. 532-540, 2005 г. http://zhurnal.ape.relarn.ru/articles/2005/047.pdf

2. SVC 2004: First International Signature Verification Competition // Official Internet web-site: http://www.cs.ust.hk/svc2004/index.html

3. A. K. Jain, F. D. Griess, S. D. Cornell. On-line Signature Verification. // Pattern Recognition, vol. 35, no.12, pp. 2963-2972, 2002

4. S.D. Connell, A.K. Jain. Template-based Online Character Recognition. // Pattern Recognition, 2001, vol. 34, no. 1, pp.1-14

5. F. Hao, C. W. Chan. Online Signature Verification Using a New Extreme Points Warping Technique // Pattern Recognition Letters, 2003, vol. 24, no. 16, pp. 2943-2951

6. А.А. Винберг, М.В. Шванкова. Почерковедческая экспертиза. Учебник для вузов МВД СССР. -Высшая следственная школа МВД СССР, Волгоград, 1977, 207 с.