Генерация признаков для сравнения ладоней при наличии артефактов Текст научной статьи по специальности «Математика»

№4(22)2009

И. Г. Бакина

Генерация признаков для сравнения ладоней при наличии артефактов1

В работе рассматривается подход к генерации признаков и сравнению ладоней при наличии артефактов длинных ногтей, частично прижатых пальцев, а также длинных рукавов, закрывающих область запястья. Эти артефакты часто не учитываются при распознавании, хотя нередко существуют в реальных условиях. Предлагаемый в работе метод построения признакового описания ладоней может быть использован для их сравнения в этих случаях.

Введение

Существующие системы распознавания личности по геометрии руки могут быть разделены на две группы. К первой группе относятся системы, использующие специальные платформы со штырьками-разделителями [3]. В таких системах положение ладони на платформе определено заранее, пальцы зафиксированы при помощи специальных штырьков. Такие платформы позволяют упростить процесс обнаружения ладони и выделения пальцев на изображении, получаемом со сканера или камеры. Штырьки-разделители помогают отделить пальцы друг от друга, что существенно для корректного вычисления их длины и ширины. Однако здесь возможны определенные трудности, связанные, например, с артритами.

Ко второй группе относятся все оставшиеся системы, не использующие специальные платформы. При распознавании человек помещает ладонь на поверхность (обычно однотонную, на которой изображение ладони может быть легко отделено от фона), либо позиционирует ее свободно перед камерой [6]. Четкого требования предъявлять ладонь с разделенными пальцами здесь нет, поэтому оно не всегда оказывается выполненным. Практика показывает, что определенная группа людей в большинстве случаев склонна предъявлять ладонь «плохо».

В существующих системах контроля доступа случай с частично «склеенными» пальцами либо попросту не рассматривается, и тогда при обнаружении артефакта человеку будет отказано в доступе или предложено предъявить ладонь еще раз; либо обрабатывается в обычном режиме, что влечет за собой некорректное распознавание, так как используемые признаки пальца (длина, ширина в определенных местах, силуэт и т. д.) будут вычислены неверно.

В данной работе рассматривается подход к генерации признакового описания ладони, при котором ее характеристики могутбыть вычислены и использованы для дальнейшего распознавания в случае артефакта частично «склеенных» пальцев. Предлагаемые признаки используют лишь информацию о толщине и кривизне отдельных пальцев. Параметры самой ладони не учитываются, так как наличие браслетов и длинных рукавов не позволяет корректно восстановить прикрытую часть запястья и ладони.

Неправильное распознавание личности также возможно из-за наличия колец и длинных ногтей. Решение проблемы колец рассматривается в работе [5]. Идея предлагаемого авторами метода сводится к восстановлению пальца под кольцом путем продолжения его силуэта до пересечения с силуэтом ладони. Вопрос о распознавании личности по геометрии руки в случае длинных ногтей в литературе

1 Работа выполнена при финансовой поддержке РФФИ, проекты № 08-01-00670, № 08-07-00 270 и № 08-07-00305. 68 > =

№4(22)2009

не рассматривается. Однако понятно, что на получаемом после предварительной обработки черно-белом изображении ладони ногти становятся продолжением пальца, а это, в свою очередь, может привести к неправильному определению его длины.

Проведенный анализ показывает, что вопросам распознавания личности при наличии артефактов уделяется мало внимания. При этом на практике часто приходится идентифицировать/верифицировать людей как с длинными ногтями, «склеенными» пальцами, так и с кольцами и длинными рукавами. Недостаточное рассмотрение проблем, возникающих в указанных случаях, и послужило причиной для начала работы.

Постановка задачи и исходные данные

Предлагаемая установка получения изображения ладони для дальнейшего распознавания состоит из горизонтальной платформы черного цвета (без каких-либо штырьков-разделителей) и web-камеры, расположенной над ней. Также может быть использовано дополнительное освещение, которое помогает лучше отличить ладонь от фона. Предъявляя ладонь, человек свободно позиционирует ее на платформе. Желательно, чтобы пальцы были отделены друг от друга;однако случай частично «склеенных» пальцев тоже допустим. Расстояние между камерой и платформой фиксировано, что позволяет не учитывать масштабирование получаемого изображения.

Исходное цветное изображение ладони переводится в оттенки серого и бинаризуется. Считается, что фон представлен пикселями белого цвета, поэтому на получаемом изображении черным цветом окрашены только сама ладонь и шум. Подготовленные таким образом изображения ладоней поступают на дальнейший анализ.

Целью работы является построение системы признаков и метода сравнения ладоней, которая бы учитывала следующие артефакты:

• длинные ногти;

• частично «склеенные» пальцы;

• длинные рукава.

Пример бинаризованного изображения ладони, на котором присутствуют все вышеперечисленные артефакты, представлен на рис. 1.

Рис. 2. Циркулярное представление ладони: осевой граф и семейство кругов

Л

Рис.1. Возможные артефакты: длинные ногти, «склеенные» пальцы, длинные рукава

Модель ладони

Изначально ладонь — это дискретный объект, представленный совокупностью черных пикселей на белом фоне. Однако работать с дискретными объектами на практике не очень удобно. Их хранение в компьютере требует больших затрат памяти, а проведение операций над такими объектами оказывается более сложным с вычислительной и алгоритмической точек зрения. Непрерывные модели дискретных объектов являются более простыми и понятными (рис. 2).

69

№4(22)2009

а »

I

а &

>=з

3!

и §

I

оо

I 00

II &

§

ЁГ

В данной работе в качестве непрерывной модели ладони было выбрано циркулярное представление, предложенное в [2]. Оно является удобным инструментом для анализа формы объектов и хорошо зарекомендовало себя в других приложениях.

Рассмотрим основные определения, использующиеся в работе.

Пусть Т — множество точек на евклидовой плоскости [2, имеющее вид связного планар-ного графа. Граф имеет конечное множество вершин, а его ребра являются непрерывными линиями. При этом ребра не имеют точек пересечения, не совпадающих с их концами.

Скаждойточкой Ге Т графа Тсвязан некоторый кругсг с центром в этой точке. Это семейство кругов С = сГе Т называется циркулярным графом, для краткости циркуляром. Граф Т называется осевым графом (или скелетом) циркулярного графа. Объединение 5 = усГ

ге Т

всех кругов семейства С как точечных множеств, называется силуэтом циркулярного графа. Процедура построения циркулярного представления ладони описана в [2].

После того как для исходного бинарного изображения ладони было получено ее описание в форме циркуляра, можно переходить к этапу выделения пальцев, а именно к определению положений основания и кончика для каждого пальца. Рассмотрим этот этап более подробно.

Выделение пальцев

В качестве скелетов, определяющих пальцы руки, рассматриваются пять самых длинных ветвей осевого графа ладони. Например, на рис. 2 ветвь 1-2 соответствует большому пальцу, 3-4 — указательному, 5-6 — среднему, 5-7 — безымянному и 1-8 — мизинцу. Рассматривая каждую из указанных ветвей, можно определить положения основания и кончика пальца. При этом сначала вычисляется местоположение основания, а лишь затем — кончика. Опишем этот процесс для одного из пальцев.

Будем просматривать последовательность пар соседних кругов (текущий и предыдущий

круги) циркулярного графа отточки ветвления (вершина графа, которой инцидентны более одного ребра) к концевой вершине (есть только одно инцидентное ей ребро). Вычисляем три характеристики: г — радиус текущего круга, гр — радиус предыдущего круга и а — угол между двумя радиусами, проведенными из центра круга в точки его касания с силуэтом ладони (рис. 3). Если полученные величины удовлетворяют условиям:

г < Гс

г - Гр < 0,

а >а 0

то центр текущего круга считается основанием пальца. Значения пороговых констант а 0 и г0 получены эвристическими методами, они были найдены в результате проведения ряда экспериментов.

Рис. 3. Определение положения основания и кончика пальца

Процесс нахождения кончика пальца аналогичен процессу поиска его основания. Только здесь просматривается последовательность кругов от концевой вершины к точке ветвления и вычисляются две характеристики: а — угол между двумя радиусами, проведенными из центра круга в точки его касания с силуэтом ладони, и г — радиус круга. Если выполнены условия:

а >а 0

г > [(гь )

то центром рассматриваемого круга считается приблизительное положение кончика пальца. Здесь а 0 — пороговая константа, гь — радиус основания пальца, а [(гь) — некоторая функция. В работе рассматривается [(гь)=0,65гь.

70

№ 4(22) 2009

Целью данной процедуры является устранение артефакта длинных ногтей.

На рис.4 приведен пример результата поиска точек основания и кончика пальцев для нескольких ладоней. Найденные точки являются центрами изображенных на рисунке кругов. Для случая частично «склеенных» пальцев (последняя ладонь) вычисленное положение основания пальца не соответствует реальному. Однако этого и не требуется для предлагаемого метода генерации признаков. Достаточно определить лишь область пальца, параметры которой могут быть вычислены корректно.

На всех трех изображениях присутствуют длинные ногти, которые были «отсечены» указанным способом.

пальца и график искривления его оси. Опишем способ их построения.

На рис.5 схематично представлен скелет пальца. Проведем через кончик и основание пальца ось абсцисс, начинающуюся в кончике пальца, а перпендикулярно ей — ось ординат, как показано на рисунке. Таким образом определяется локальная система координат пальца. Прямую, соединяющую основание и кончик пальца, назовем его осью.

Далее строим графики искривления оси пальца И = I) и изменения его ширины г=г(I). Здесь I — абсцисса проекции вершины графа на его ось, И — ордината проекции вершины на ось ординат, а г — радиус круга. Пример графиков приведен на рис. 6.

¡е а ю

Рис. 4. Найденные основания и кончики пальцев для нескольких ладоней

Генерация признаков

Поскольку наличие длинных рукавов и/или «склеенных» пальцев не всегда позволяет корректно вычислить параметры ладони, например, ее ширину, предлагается рассматривать только признаки, относящиеся к пальцам. В работе представлены график изменения ширины

Кончик пальца.

Сделаем оговорку относительно большого пальца. На горизонтальной платформе, куда помещается ладонь для распознавания, человек может немного шевелить пальцами. Для четырех пальцев — указательного, среднего, безымянного и мизинца — это будут повороты вокруг основания их основных фаланг. У большого пальца также очень подвижным является

Основание пальца

Рис. 5. Определение параметров пальца

71

№4(22)2009

Рис. 6. Графики искривления пальца (я) и изменения его ширины (6)

«о

0

1

ы

Е &

а ?

I %

а &

>а ш

I §

X

«о

а &

I

«о

1 х

3 &

гг

а &

место сочленения начальной и средней фаланг. Поэтому графики искривления пальца и изменения его ширины могут значительно отличаться при повторных предъявлениях ладони. Если еще раз посмотреть на последнее изображение ладони на рис. 4, то можно заметить, что для большого пальца также было некорректно определено положение его кончика. Это произошло потому, что на горизонтальной поверхности большой палец лежит «боком», в отличие от всех остальных пальцев. Исходя из вышеизложенного, предлагается исключить признаки большого пальца из дальнейшего рассмотрения и основывать анализ только на параметрах оставшихся четырех пальцев.

Сравнение ладоней

Сравнение пары ладоней предлагается осуществлять отдельно по каждому пальцу, сопоставляя мизинец с мизинцем, безымянный палец — с безымянным, средний — со средним, указательный — с указательным. Сравнение пары пальцев выполняется отдельно по каждому признаку-графику.

Проблема, возникающая при сопоставлении двух графиков, заключается в том, что области их определения различны — они имеют разную длину (рис. 7). Разница в длине областей определения объясняется различием длин выделенных частей пальцев (между основанием и кончиком). Сначала сравнение

Рис. 7. Графики изменения ширины для двух различных пальцев

72

№4(22)2009

производится для графиков ширины пальцев.

Понятно, что полученные графики можно сравнивать только на общей области определения. С точки зрения сопоставления частей пальцев это означает следующее. Допустим, необходимо сравнить два мизинца, причем один мизинец (слева) оказался «слепленным» с безымянным пальцем, тогда как другой (справа) изолирован от всех остальных пальцев (рис. 8).

Пусть Ц — длина первого мизинца, а L2 — длина второго. Под длиной пальца здесь понимается евклидово расстояние между точкой основания и кончиком. Тогда пальцы могут быть сопоставлены только на участке длины L = min(Lt , L2), отложенном от кончика каждого из пальцев.

В качестве степени близости двух графиков рассматривается величина f=AreaLength, где Area — площадь фигуры, заключенной между этими графиками, а — Length = L — длина области определения (рис. 9).

Однако, как отмечалось выше, найденное положение кончика пальца является приблизительным. Поэтому с целью получения наилучшего совмещения графиков производится процедура «шевеления», при которой их области определения незначительно сдвигаются друг относительно друга (не более, чем на 5% от общей длины пальца). На каждой итерации сдвига необходимо пересчитывать графики, так как фактически меняется положение оси пальца.

На рис. 10 представлен пример сопоставления пальцев двух ладоней. Поскольку на первой ладони есть «склеенные» пальцы, у второй ладони в результате «подгонки» графиков ширины изменилось положение кончика указательного пальца и оснований среднего, безымянного пальцев и мизинца.

После определения положения оснований и кончика пальцев, соответствующего наилучшему совмещению графиков ширины, строятся графики искривления осей пальцев. В этом

Л

Рис. 8. Выделение общей части пальцев для сравнения

Length

2-й палец

1-й палец

Рис.9. Сравнение двух графиков

73

№4(22)2009

Рис. 10. Результат сопоставления пальцев ладони

случае их области определения уже совпадают, и степень похожести графиков (Ь=Агв^_впддможет быть вычислена сразу без использования процедуры «подгонки».

Таким образом, при сравнении двух ладоней строится вектор признаков, содержащий восемь компонент:

Г = (*,..., и

где Ь2к-1,к=1,...,4— близость графиков ширины для каждого из четырех пальцев; Ь2к,к = 1,...,4— близость графиков искривления их осей.

74 ^-

Вопросы теории Ф Распознавание объектов

№4(22)2009

Эксперименты

Эксперименты по анализу отличительной способности предложенных признаков были проведены для группы из 70 человек, содержащей 2000 изображений ладони. Графики плотности распределения (построенные методом окна Парзена [4]) для некоторых компонент вектора признаков приведены на рис. 11. Первые два графика — это отдельные признаки, а третий график представляет собой взвешенную линейную комбинацию всех признаков, коэффициенты которой найдены с помощью линейного дискриминанта Фишера [4]. На каждом графике одна кривая представляет плотность распределения для внутриклассовых расстояний (сравниваемые ладони принадлежат одному человеку), а другая — межклассовых (сопоставляются ладони разных людей). Кривая плотности внутриклассовых расстояний более «прижата» к оси ординат, нежели кривая плотности межклассовых расстояний.

Проведенный анализ предложенных признаков показал, что они не обладают отличительными способностями, необходимыми для построения системы идентификации личности. Однако они являются вполне приемлемыми при верификации личности в случаях, когда требования к надежности не очень высокие — например, в библиотеках, школах, поликлиниках или офисах. Кроме того, полученные признаки предназначены для использования в системе распознавания, основанной на использовании нескольких модальностей, где требование хорошей отличительной способности признаков может быть немного понижено. Об этой системе рассказывается в заключении.

Заключение

В работе рассмотрен подход к генерации признаков для задачи сравнения ладоней при наличии артефактов «склеенных» пальцев, длинных ногтей и рукавов, прикрывающих запястье.

В целом, построение множества признаков, основанных на геометрии ладони, является частью более общей работы — по созданию сис-

«з

х

темы двумодальной идентификации личности. Разработка этой системы была начата в рабо- |1 те [1]. Система основана на комбинации двух независимых наборов признаков — визуальных * и голосовых. Распознавание личности производится по предъявленной ладони и произнесенному парольному слову. При этом каждый человек сам определяет свое парольное слово, а пароли разных людей могут совпадать.

Там же рассматривается возможный вариант интеграции модальностей — нахождение нескольких похожих персон из базы по геометрии ладони, а затем классификация с помощью голосовых признаков внутри полученной небольшой группы. Поэтому достаточно, чтобы полученные характеристики ладони позволяли определять группу близких персон, и точного указания на личность, кому предъявленная ладонь принадлежит, не требуется.

Таким образом, разработан подход к генерации признаков ладони при наличии артефактов. Следующим шагом станет изучение голосовых признаков и построение интегрированной системы распознавания личности по геометрии ладони и парольному слову.

СПИСОК ЛИТЕРАТУРЫ

1. БакинаИ. Г.,МестецкийЛ.М. Многомодальная идентификация личности по форме ладони и голосу / Таврический вестник информатики и математики. 2008. № 1.

2. Местецкий Л. М. Непрерывная морфология бинарных изображений: фигуры, скелеты, циркуляры. М.: ФИЗМАТЛИТ, 2009.

3. Covavisaruch N., Prateepamornkul P., Ruchikachorn P., TaksaphanP. Personal verification and identification using hand geometry / ECTI transactions on computer and information technology. 2005. November. Vol. 1. № 2.

4. Richard O. Duda, Peter E. Hart, David G. Stork Pattern Classification. 2nd Ed. John Wiley &Sons, Inc., 1999.

5. KonukogluE, YorukE, DarbonJ., SankurB. Shape-Based Hand Recognition/ Image Processing, IEEE. Vol. 15. Iss.7.

6. Morales A., Miguel Ferrer A., Diaz F., Alonso Jesus B, Travieso Carlos M. Contact-free hand biometric system for real environments / EURASIP. 2008.

75