CC BY
27
УДК 004; 004.932 DOI: 10.21122/2309-4923-2022-2-4-9
АХУНДЖАНОВ У. Ю, СТАРОВОЙТОВ В. В.
ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ИЗОБРАЖЕНИЙ РУКОПИСНЫХ ПОДПИСЕЙ ДЛЯ ПОСЛЕДУЮЩЕГО РАСПОЗНАВАНИЯ
Государственное научное учреждение "Объединенный институт проблем информатики
Национальной академии наук Беларуси"
В процессе распознавания рукописной подписи предварительная обработка подписи является важным этапом перед выявлением информативных признаков. Подписи одного человека всегда имеют некоторые отличия, кроме того они могут быть разного цвета, разного размера и ориентации. После оцифровки подписей их изображения могут содержать некоторый шум. Цель предварительной обработки изображения подписи - получение максимально инвариантного представления цифрового изображения подписи человека, которое позволит его идентифицировать, либо установить, что подпись подделана.
В данной работе описана последовательность преобразований, необходимых для выполнения предварительной обработки изображения подписи и формирования ее представления единой ориентации и размера. Предполагается что на изображении отсутствуют графические элементы, не относящиеся к подписи и фон относительно однородный. Рассматриваемые преобразования последовательно выполняют бинаризацию изображения подписи, его фильтрацию, поворот, вырезание описывающего прямоугольника и масштабирование до определенного размера. Описанная процедура предварительной обработке была применена к ряду доступных баз цифровых изображений подписей, таких как CEDAR, BHSig260-Bengali, BHSig260-Hindi. Эксперименты подтверждают, что описанный подход к предварительной обработке изображений подписи позволяет повысить точность результатов распознавания подписи.
Ключевые слова: подпись; идентификация; обработка изображений; бинарное изображение; фильтрация; распознавание подписи.
Введение
В настоящее время системы биометрической аутентификации личности находят всё большее применение в различных предметных областях. Это объясняется удобством их использования для конечного пользователя и меньшими операционными затратами по сравнению с рядом других систем. Самый распространенный способ персональной аутентификации в биометрии является рукописная подпись. Выделяют подходы к аутентификации пользователей по образцам статической («off-line») и динамической («on-line») рукописной подписи. Первый подход предполагает распознавание подписи человека на основе анализа её формы [1]. Второй подход предполагает считывание и распознавание информации о динамике написания рукописной подписи. Второй подход предлагает дополнительные признаки, существенно повышающие точность распознавания подписи человека: направление и скорость выполнения элементов подписи.
Изображения объектов разных классов имеют свои особенности. В связи с этим методы распознавания успешно работающие на одних классах могут давать неудовлетворительные результаты на других. Это приводит к тому, что необходимо анализировать суть исследуемых объектов для того, чтобы выбрать методы, обеспечивающие сокращение времени обработки изображений и формирующие их представление максимально инвариантно передающее информацию об объектах конкретных классов, представляющих интерес для последующего анализа изображений этих объектов.
Для решения задачи идентификации человека по его подписи, очень важно качество оцифровки обрабатываемого изображения. Чем выше разрешение и меньше цифрового шума, тем точнее будет представ-
лен образ подписи в результате ее предварительной обработки. В работах [2-9] описаны различные методы, применяемые на этапе предварительной обработки изображений.
Сложность задачи исследования подписи определяется следующими факторами:
- подпись - это краткий и мало информативный набор данных;
- она может быть скопирована с применением технических средств;
- почерки разных людей естественным образом бывают схожи;
- подпись человека всегда вариативна.
Цель данной работы состоит в разработке универсальной процедуры предварительной обработки цифровых изображений подписи для их последующего распознавания.
Исходное цифровое изображение подписи
Исходные цифровые изображения подписей (ИЦП) могут иметь разный цвет, размер, ориентацию в плоскости (рис.1). Для сравнения нескольких ИЦП важно преобразовать их в максимально инвариантное представление. Эта задача решается на этапе предварительной обработки изображений. От выбора методов обработки изображения зависит точность их последующего распознавания поскольку, например, искусственные нейронные сети используют входные изображения одинакового размера.
Опишем основные этапы предварительной обработки ИЦП и используемые для их реализации алгоритмы:
1. Оцифровать ИЦП.
2. Преобразовать исходное ИЦП в полутоновое
изображение подписи (ПИП).
3. Преобразовать ПИП в бинарное изображе- ник. ние подписи (БИП).
4. Выполнить фильтрацию БИП.
5. Выполнить поворот БИП.
M
6. Вырезать описывающий БИП прямоуголь-
7. Выполнить масштабирование БИП до заданного размера.
Рис. 1. Примеры рукописных подписей
Преобразование в полутоновое изображение
Первым этапом предварительной обработки ИЦП является еш преобразование в полутоновое изображение. Преобразование исходного ИЦП в полутоновое изображение подписи (ПИП) чаще всего выполняются по формуле [4-6,12]:
V = 0,2126 • г + 0,7152 • g + 0,0722 • Ъ,
где г, g, b - цветовые компоненты исходного изображения, а у - выходное значение пикселя изображения в оттенках серого.
Преобразование изображения в бинарное
Бинаризация выполняет сегментацию изображения на два класса: фон и объекты, которые представляют интерес для последующих этапов анализа изображений. Среди методов бинаризации наиболее известными являются методы, предложенные такими авторами как Огсу (Otsu), Гонсалес (Gonzalez), Вудс (Woods), Эйквил (Eikvil), Бредли (Bradley), Рут (Roth), Вернсен (Bernsen), Ниблэк (Niblack), Саувола (Sauvola), Сингх (Singh), Волф (Wolf). Изображения, получаемые в различных проблемных областях, имеют свои особенности. В связи с этим, методы бинаризации, успешно работающие в одних областях, могут давать неудовлетворительные результаты в другой предметной области.
В ре '¡ультатс экспериментов для преобразования ПИП в бинарное изображение был выбран метод Отсу [13]. Это преобразование изображений с глобальным порогом. Бинаризация изображения выполняется согласно правилу [4]
R(y VS _ fl. fix>y) > т.
сегментирует изображение. На рис. 2 изображен пример преобразования ИЦП в БИП методом Отсу.
где 1 обозначает пиксель, относящийся к объекту, а 0 -пиксель, относящийся к фону, /(х, у) - яркость пикселя (х, у) исходного изображения, В(х, у) - значение пикселя результирующего бинарного изображения, Т - порог бинаризации.
При однородном фоне этот метод хорошо
Рис. 2. Преобразование ИЦП в БИП методом Отсу
Фильтрация изображения подписи
Фильтрацию можно применять к цветным, полутоновым и бинарным изображениям. В результате экспериментов уставлено, что меньше всего цифровых шумов остается после применения фильтрации к бинарному представлению подписи. Одним таких методов является медианная фильтрация, широко используемая в цифровой обработке сигналов и изображений для уменьшения уровня шума [4-6]. Важной особенностью этого фильтра является то, что он не вносит в изображение значений яркости, которых не было в исходном изображении. Это нелинейный и не сепарабельный фильтр. Медианный фильтр удаляет из изображения фрагменты, размеры которых меньше половины окна фильтра, и при этом он мало искажает остальные участки изображения на границе фона и объекта (рис 3.).
При выполнении медианной фильтрации изображений обычно используют квадратные маски 3х3, 5х5 или 7х7 пикселов, редко больше. В
наших исследованиях использовалась маска размером 5x5 пикселов.
Рис. 3. Пример фильтрации изображения рукописной подписи
Поворот бинарного изображения подписи
Подписи даже одного человека могут быть выполнены по разным углам. Необходимо определить главную ось подписи и повернув изображение сделать эту ось горизонтальной. Для решения этой задачи предлагается использовать метод главных компонентов (PCA). Этот метод широко используют в цифровой обработке изображений для уменьшения размера данных [4-5], в задачах дистанционного зондирования [14], в задачах сжатии данных [15], в задачах автоматического распознавания лиц [16]. Для повышения надежности РСА было предложено множество его вариантов [17-18]. РСА стремится найти направления максимальной дисперсии в многомерных данных. С его помощью выполняют поворот координатных осей пространства, в котором представлено описание данных. Применительно к бинарным изображениям подписей данные представлены в двумерном пространстве (плоскости) координатами пикселей, имеющих значения 1.
Метод РСА в п-мерном пространстве представляет собой преобразование заданного набора из К входных векторов (переменных) одинаковой длины п, х=[х^х2...,хп] в вектора у в соответствии выражением:
(1)
Каждая строка вектора х состоит из п значений, описывающих один объект. Вектор ТПХ — это вектор средних значений всех входных переменных, определяемых соотношением:
(2)
Матрица А в уравнении (1) определяется
ковариационной матрицей С . Строки в матрице А
формируются из собственных векторов матрицы
С, упорядоченных согласно соответствующим
собственным значениям в порядке убывания. Оценка
матрицы С описывается отношением:
к
Сх = Е {(х- тх)(х - тхУ} = — > хкхкТ - тхт/
Поскольку вектор x входных переменных является п-мерным, очевидно, что размер матрицы равен п x п. Элементы (1, 1), лежащие на ее главной диагонали, являются дисперсиями х, а остальные значения ({, j) определяют ковариацию между входными переменными х., х..
Собственный вектор исходных данных может быть получен с помощью метода РСА, а самый большой собственный вектор соответствует основному направлению облака объектов в признаковом пространстве, в нашем случае - множеству черных пикселей, используя матрицу вращения [19], можно повернуть изображение подписи так, чтобы основная ось подписи была параллельно оси X исходной системы координат. Больший собственный вектор соответствует большему по модулю собственному числу, поскольку собственные числа могут принимать отрицательные значения. Далее требуется выбрать направление главного собственного вектора. Оно не должно превышать 90° относительно оси X. При использовании метода РСА для поворота изображения подписи следует использовать координаты черных пикселей, что существенно уменьшает вычисления собственных векторов. На рис. 4 показаны результаты применения описанных операций и поворот изображения подписи.
(3)
KZ-1
к=1
Рис. 4. Пример бинаризации и поворота подписи
Масштабирование изображения подписи до заданного размера
На данном этапе предварительной обработки выполняется приведение изображения подписи к определенному стандартному размеру, который сохраняет индивидуальные особенности ее начертания. Для этого определяются максимальные и минимальные значения абсцисс и ординат повернутого изображения подписи, X и X , Y и Y Их разности определяют
^^ 7 max min max min. г г
высоту и ширину описывающего прямоугольника:
L= X - X , где L - ширина описывающего
max min A
прямоугольника, H= Y - Y H - высота описывающего
1 J 7 max min
прямоугольника. После чего выполняется масштабирование изображения подписи, полученного на предыдущем этапе, в заданный прямоугольный шаблон размером LxHn, где Ln и Hn - размеры шаблона. Для определения размеров шаблона оценивалась пропорция каждой подписи r=LH и вычислялось среднее число r. После этого фиксировался параметр Ln второй параметр шаблона Hn = r^Ln В экспериментах все изображения подписей масштабировались в шаблон размером 300x150 пикселей (Рис.5).
Рис. 5. Шаблонное бинарное изображение подписи
Формирование базы данных для проведения
экспериментальных исследований является трудоемким процессом, поэтому их доступность является весьма важным фактором при разработке и оценке алгоритмов и систем во всех научно-исследовательских областях. В качестве экспериментальных данных для предварительной обработки рукописных подписей использовались общедоступные базы рукописных подписей таких как: BHSig260-Bengali (Бенгальские) [10], BHSig260-Hindi (Индийские) [10], CEDAR [11], а также база рукописных подписей сформулированных с помощью студентов Ферганского филиала Ташкентского университета имени Мухаммада ал-Хорезми данных (TUIT) (рис.6).
Из базы BHSig260-Bengali использовано 1080 рукописных подписей 20 человек. Из базы BHSig260-Hindi использовано 1080 рукописных подписей 20 человек. Из базы CEDAR использовано 960 рукописных подписей 20 человек. Из базы TUIT использовано 800 изображений рукописных подписей 40 человек. Примеры преобразованных изображений подписей из разных бах приведены на рис.6.
BHSig260-Bengali
/9у -.д..
TUIT (Tashkent university of information technologies)
Jul Y
Рис. 6. Результаты экспериментов предварительной обработки рукописных подписей
Заключение
Предварительная обработка изображения является важным этапом обработки изображений. От выбора методов обработки изображений зависит точность результатов распознавания подписей.
Описанный подход к предварительной обработке изображений подписей был проверен в количестве 3920 рукописных подписей. Они были преобразо-
ваны в шаблон единого размера. В таком представлении их удобно подавать на вход искусственных нейронных сетей для распознавания или классификации. Описанные процедуры предварительной обработки позволяют повысить точность алгоритмов сравнения подписей. После описанной предварительной обработки были выполнены эксперименты по верификации поддельных подписей, результаты которых будут описаны в следующей статье.
ЛИТЕРАТУРА
1. Hafemann, L.G. Offline handwritten signature verification — Literature review / L.G. Hafemann, R. Sabourin, L.S. Ol-iveira // Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA) - 2017. 8 p. D01:10.1109/ ipta.2017.8310112
2. Plamondon, R. Online and off-line handwriting recognition / R. Plamondon, S. Srihari // IEEE Transactions on Pattern Analysis and Machine Intelligence, - 2000. - Vol. 22, № 1. - P. 63-84.
3. Ferrer, M A. A behavioral handwriting model for static and dynamic signature synthesis / M. A. Ferrer, M. Diaz, C. Car-mona-Duarte,cA. Morales // IEEE Transactions on Pattern Analysis and Machine Intelligence, - 2017. - Vol. 39, № 6. - P. 1041-1053.
4. Гонсалес, Р. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2005. - 1072 с.
5. Шапиро, Л. Компьютерное зрение / ЛШапиро, Дж.Стокман; Пер. с англ. — 3-е изд. — M.: БИНОМ. Лаборатория знаний, 2015. - 763 с.
6. Грузман, И.С. Цифровая обработка изображений в информационных системах: учеб. пособие / И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А Спектор. - Новосибирск.: Новосиб. гос. техн. ун-т., 2003. - 352 с.
7. Coetzer, J. Off-line signature verification using the discrete radon transform and a hidden Markov model / J. Coetzer, B. Herbst, J. Preez // EURASIP Journal on Advances in Signal Processing, - 2004. - Vol. 2004, № 4. - P. 559-571.
8. Pallavi, V Hatkar. Image Processing for Signature Verification / V. Hatkar Pallavi, Zareen J Tamboli // International Journal of Innovative Research in Computer Science & Technology (IJIRCST), - 2015. - Vol. 3, № 3. - P. 127-129.
9. Горитов, АН Предварительная обработка изображений в системах технического зрения / А.Н. Горитов // Доклады ТУСУР. - 2018. - Т. 21, № 4-1. - С. 53-58
10. Dataset [Электронный ресурс]. - Режим доступа: https://drive.google.com/file/d/0B29vNACcjvzVc1RfVkg5dUh-2b1E/view. Дата доступа: 28.04.2022
11. cedar.buffalo.edu [Электронный ресурс]. - Режим доступа: http://www.cedar.buffalo.edu/NIJ/data/signatures.rar. Дата доступа: 28.04.2022
12. Recommendation ITU-R BT.709-6. Parameter values for the HDTV standards for production and international programme exchange. - 2015. - P. 19.
13. Otsu, N. A threshold selection method from gray-level histograms// IEEE Transactions on Systems, Man and Cybernetics.
- 1979. - Vol. 9, № 1. - P. 62-66.
14. Gasmi, A. PCA and SVM as geo-computational methods for geological mapping in the southern of Tunisia, using ASTER remote sensing data set / A. Gasmi, C. Gomez, H. Zouari, A. Masse, D. Ducrot // Arabian Journal of Geosciences, - 2016. - Vol. 9, №
20. - Num. 753. https://doi.org/10.1007/s12517-016-2791-1.
15. Du, Q. Hyperspectral image compression using JPEG2000 and principal component analysis / Q. Du, J. E. Fowler // IEEE Geoscience and Remote Sensing Letters, - 2007. - Vol. 4, № 2. - P. 201-205.
16. Zhu,Y. N. Improved principal component analysis and linear regression classification for face recognition / Y N. Zhu, C. Y Zhu, X. Li // Signal Processing. - 2018. - Vol. 145. - P. 175-182.
17. Lai, Z. Multilinear sparse principal component analysis / Z. Lai, Y. Xu, Q. Chen, J. Yang, D. Zhang // IEEE Transactions on Neural Networks and Learning Systems, - 2014. - Vol. 25, № 10. - P. 1942-1950.
18. Yi, S. Joint sparse principal component analysis / S. Yi, Z. Lai, Z. He, Y.-M. Cheung, Y Liu // Pattern Recognition, - 2017.
- Vol. 61. - P. 524-536.
19. Artoni, F. Applying dimension reduction to eeg data by principal component analysis reduces the quality of its subsequent independent component decomposition / F. Artoni, A. Delorme, S. Makeig // NeuroImage, - 2018. - Vol. 175. -P. 176-187.
REFERENCES
1. Hafemann, L.G. Offline handwritten signature verification — Literature review / L.G. Hafemann, R. Sabourin, L.S. Ol-iveira // Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA) - 2017. 8 p. DOI:10.1109/ ipta.2017.8310112.
2. Plamondon, R. Online and off-line handwriting recognition / R. Plamondon, S. Srihari // IEEE Transactions on Pattern Analysis and Machine Intelligence, - 2000. - Vol. 22, № 1. - P. 63-84.
3. Ferrer, M A. A behavioral handwriting model for static and dynamic signature synthesis / M. A. Ferrer, M. Diaz, C. Car-mona-Duarte,cA. Morales // IEEE Transactions on Pattern Analysis and Machine Intelligence, - 2017. - Vol. 39, № 6. - P. 1041-1053.
4. Gonsales, R. Cifrovaja obrabotka izzobrajeniy / R. Gonsales, R. Vuds. - М.: Tehnosfera, 2005. - 1072 p.
5. Shapiro, L. Komp'juternoe zrenie / L.Shapiro, Dzh.Stokman; Per. s angl. — 3-е izd. — M.: BINOM. Labotatotija znaniy. 2015. - 763 s.
6. Gruzman, IS. Cifrovaja obrabotka izobrazheniy v informacionnyh: ucheb. posobie / I.S. Gruzman, VS. Krichuk, V.P. Kosyh, G.I. Peritjagin, A.A. Spektor. - Novosibirsk.: Novosib. gos. tehn. un-t., 2003. - 352 s.
7. Coetzer, J. Off-line signature verification using the discrete radon transform and a hidden Markov model / J. Coetzer, B. Herbst, J. Preez // EURASIP Journal on Advances in Signal Processing, - 2004. - Vol. 2004, № 4. - P. 559-571.
8. Pallavi, V Hatkar. Image Processing for Signature Verification / V. Hatkar Pallavi, Zareen J Tamboli // International Journal of Innovative Research in Computer Science & Technology (IJIRCST), - 2015. - Vol. 3, № 3. - P. 127-129.
9. Goritov, A.N. Preliminary image processing in technical vision systems / A.N. Goritov // Doclady TUSUR. - 2018. - Vol.
21, № 4-1. - P. 53-58
10. Dataset [Electronyj resurs]. - Rezhim dostupa: https://drive.google.com/file/d0B29vNACcjvzVc1RfVkg5dUhL2b1E/ view. Data dostupa: 28.04.2022
11. cedar.buffalo.edu [Electronyj resurs]. - Rezhim dostupa: http://www.cedar.buffalo.edu/NIJ/data/signatures.rar. Data dos-tupa: 28.04.2022
12. Recommendation ITU-R BT.709-6. Parameter values for the HDTV standards for production and international programme exchange. - 2015. - P. 19.
13. Otsu, N. A threshold selection method from gray-level histograms// IEEE Transactions on Systems, Man and Cybernetics.
- 1979. - Vol. 9, № 1. - P. 62-66.
14. Gasmi, A. PCA and SVM as geo-computational methods for geological mapping in the southern of Tunisia, using ASTER
remote sensing data set / A. Gasmi, C. Gomez, H. Zouari, A. Masse, D. Ducrot // Arabian Journal of Geosciences, - 2016. - Vol. 9, № 20. - Num. 753. https://doi.org/10.1007/s12517-016-2791-1.
15. Du, Q. Hyperspectral image compression using JPEG2000 and principal component analysis / Q. Du, J. E. Fowler // IEEE Geoscience and Remote Sensing Letters, - 2007. - Vol. 4, № 2. - P. 201-205.
16. Zhu, Y. N. Improved principal component analysis and linear regression classification for face recognition / Y. N. Zhu, C. Y Zhu, X. Li // Signal Process., - 2018. - Vol. 145. - P. 175-182.
17. Lai, Z. Multilinear sparse principal component analysis / Z. Lai, Y. Xu, Q. Chen, J. Yang, D. Zhang // IEEE Transactions on Neural Networks and Learning Systems, - 2014. - Vol. 25, No. 10. - P. 1942-1950.
18. Yi, S. Joint sparse principal component analysis / S. Yi, Z. Lai, Z. He, Y.-M. Cheung, Y. Liu // Pattern Recognition, - 2017. - Vol. 61. -P. 524-536.
19. Artoni, F. Applying dimension reduction to eeg data by principal component analysis reduces the quality of its subsequent independent component decomposition / F. Artoni, A. Delorme, S. Makeig // Neurolmage, - 2018. - Vol. 175. -P. 176-187.
U.Yu.Akhundjanov, V.V. Starovoitov
PRE-PROCESSING OF HANDWRITTEN SIGNATURE IMAGES FOR FOLLOWING
RECOGNITION
State Scientific Institution "The United Institute of Informatics Problems of the NAN of Belarus"
In the process of handwritten signature recognition, preprocessing is an important step before calculation its informative features. Signatures ofany person always have some differences, in addition, they can be of different colors, sizes and orientations. After signature digitization, their images may contain some noise. The purpose of signature image preprocessing is to obtain the most invariant representation of the digital image of a person's signature, which will allow us to identify him or define that the signature is forged.
This paper describes a sequence of transformations necessary to perform preprocessing of the signature image and form its representation of a single orientation and size. It is assumed that there are no graphic elements in the image that are not related to the signature and the background is relatively uniform. The transformations under consideration sequentially perform binarization of the signature image, its filtering, rotation, cropping of the circumscribed rectangle and scaling to a fixed size.
The described preprocessing procedures were applied to a number of available digital signature image databases, such as CEDAR, BHSig260-Bengali, BHSig260-Hindi. Experiments on signature recognition confirm that the presented approach to the signature image preprocessing leads to increasing of the recognition accuracy.
Keywords: signature; identification; image processing; binary image; filtering; signature recognition.
^^^^ Ахунджанов Умиджон Юнус угли, аспирант Объединенного института проблем информатики
АЯЦ^к Национальной академии наук Беларуси.
Akhundjanov U. Yu., PhD student at the United Institute of Informatics Problems, National Academy of Sciences of Belarus.
li
Старовойтов Валерий Васильевич, доктор технических наук, профессор. Главный научный сотрудник ОИПИ НАН Беларуси. Лауреат Государственной премии Республики Беларусь (2003г). Сфера научных интересов: обработка и анализ цифровых изображений, полученных в разных участках электромагнитного спектра. Опубликовал более 150 научных работ. Starovoitov V V, Doctor of technical sciences, professor. He is a Principal research fellow at the United Institute of Informatics Problems, National Academy of Sciences of Belarus (UIIP NAN Belarus). Award: the State Prize of the Republic of Belarus in science. Research interests of professor Starovoitov are processing and analysis of digital images obtained in different parts of the electromagnetic spectrum. He has published over 150 papers.
