CC BY
199
УДК 004.93'1 ББК 05.13
СТАТИСТИЧЕСКОЕ РАСПОЗНАВАНИЕ ЛИЦ ПО ГЕОМЕТРИИ ХАРАКТЕРНЫХ ТОЧЕК ДЛЯ СИСТЕМ ТРАНСПОРТНОЙ БЕЗОПАСНОСТИ1
Каркищенко А. Н.2, Г речухин И. А.3
(Научно-исследовательский и проектно-конструкторский институт информатизации, автоматизации и связи на железнодорожном транспорте, Москва)
Рассматривается формальная постановка задачи построения характерных точек и оптимального контура лица в задаче статистической идентификации. Описывается процедура построения контура на основе статистической модели обучающей выборки. Дается формальное определение статистических классов. Описывается метод классификации лиц с помощью статистических классов. В заключение дается экспериментальное сравнение с известными методами классификации.
Ключевые слова: биометрическая идентификация, метод главных компонент, расстояние Махаланобиса, модель активных контуров, статистический класс, мера включения.
1. Введение
Последние десятилетия активно развиваются методы технического зрения, в том числе в системах безопасности. Возлагаемые на такие системы задачи состоят, в частности, в обеспечении эффективного и надежного наблюдения за доступом в контролируемые зоны. Целью разработки систем технического
1 Работа выполнена при финансовой поддержке РФФИ, проекты №11-07-13106-офи-м-2011-РЖД, 10-07-00478, 11-07-00591-а.
2 Александр Николаевич Каркищенко, доктор физико-математических наук, профессор (A.Karkishchenko@gismps.ru).
3 Илья Александрович Гречухин (I.Grechuhin@gismps.ru).
зрения является распознавание людей в наименее ограничительных условиях и за приемлемое время.
Существуют различные методы биометрической идентификации - по папиллярному рисунку, радужной оболочке, геометрии лица, сетчатке глаза, рисунку вен, геометрии рук, голосу, динамике рукописного почерка, сердечному ритму, походке. Ключевыми характеристиками систем идентификации являются ошибки первого и второго рода, скорость работы, устойчивость к изменениям среды, возможность удаленной идентификации, стоимость системы и др. Каждое из направлений идентификации обладает своими преимуществами и недостатками.
Распространенным подходом к бесконтактной идентификации является распознавание по геометрии лица. Соответствующие методы основаны на индивидуальности черт каждого человека. Данная область делится на два направления -2D-распознавание и SD-распознавание.
В данной работе рассматривается метод 2D-распознавания по лицу, предложенный в [6, 7]. В его основе лежит модель активных контуров (Active Shape Model), основанная на применении расстояния Махаланобиса для поиска расстояния между профилями точки. Базовыми элементами в данном методе являются характерные точки (ХТ), которые представляют собой четко различимые ориентиры на рассматриваемых изображениях и имеют однозначную привязку к чертам лица. Для проведения идентификации применяется метод классификации, основанный на статистических классах (СК) [3]. Каждому лицу ставится в соответствие СК, представляющий собой вероятностное пространство, заданное статистической выборкой. Классификация нового неизвестного лица сводится к расчету обобщенной меры включения СК.
В работе вначале дается формальная постановка задачи построения оптимального контура лица, затем описывается этап обучения и формирования статистической модели по обучающей выборке лиц. Далее описывается процедура построения контура лица на основе статистической модели, после чего дается формальное описание СК и формулируется задача классификации лиц по ХТ. В завершение приводится экспериментальное сравнение с известными методами классификации.
2. Формирование статистической модели характерных точек
Пусть 5 ^ | I = 1, 2, ..., N - совокупность черно-белых
оцифрованных фотографий лиц, которую в дальнейшем будем называть выборкой. Обозначим через Р = {рк | к = 1, 2, ..., п} совокупность ХТ, описывающих лицо. Задача состоит в автоматическом поиске координат указанных точек на фотографии заданного лица, с тем чтобы в последующем решать задачу классификации лиц по взаимному расположению точек.
Пусть имеется фиксированный перечень
О = {®1, со2, • ••, ®«} ХТ лица, каждая из которых имеет однозначное понятийное и геометрическое описание (центр левого зрачка, кончик носа, правый край правой брови и т.п.).
Координаты каждой точки будут зависеть как от индивидуальных черт лица, так и от положения лица на фотографии (смещение относительно центра изображения, ракурс съемки и др.). Факторы первой группы несут полезную для распознавания информацию, а второй - наоборот, усложняют эту задачу, внося погрешности, искажения, шумы и пр.
Предположим, что каждая фотография Fi, Fi е 5, обработана вручную и на ней проставлены координаты ХТ из О, т.е. най-
ром лица Fl. Все контуры, построенные по выборке 5, подвергаются аффинным преобразованиям, чтобы максимально выровнять их друг с другом.
щий окрестность точки рк1). В качестве таких признаков могут использоваться усредненная яркость в окрестности точки, наличие точек резкого перепада освещения, распределение яркости вдоль некоторого направления и пр. Поскольку точки р®,р(2),...,р(^) соответствуют одному и тому же геометриче-
ден вектор
k = 1, 2, ..., п. В дальнейшем вектор р® будем называть конту-
С каждой точкой р^, принадлежащей контуру р®, свяжем
вектор признаков
характеризую-
скому описанию а>к, то можно предполагать, что в «идеальном» случае векторы признаков д®,#к2),...,Чк) должны быть «похожими».
Множество контуров р® образует линейное пространство Р”. Установим изоморфизм пространств Р” и Ж2” следующим образом:
р(‘1 = ( р(1 ) р2 )... рП1) ^ (х(1) х21)... х”1) >1) у21 )... у” ) )т = х,.
Вектор Хг по аналогии с вектором р® будем называть контуром.
В качестве статистических характеристик класса изображений 5 используются вычисленные по набору контуров XI',
I = 1, 2, ..., N, статистические оценки математического ожидания X и ковариационной матрицы 5”.
Оценку X математического ожидания можно интерпретировать как контур «среднего» лица, а ковариационную матрицу - как параметр, характеризующий разброс контуров. Кроме того, класс изображений лиц характеризуется усредненными значениями векторов признаков точек
1 N 1 N т
(1) дк = (дк1 дк2...Чы)т =—Ёчк) =—Ё(д^...),к = и.п,
™ 1=1 ™ 1=1
и статистическими оценками матриц ковариации признаков для каждой точки:
1 Ы
(2) Бк = — Ё (д£ - Чг)(дк° - %)т.
Вычисление контура X на предъявляемом лице F представляет собой многокритериальную задачу, состоящую в вариации координат (х! х2 ... хп у1 у2 ... уп)т точек р\ р2 ... рп относительно среднего X так, чтобы найденные положения точек наилучшим образом соответствовали статистическим характеристикам векторов признаков д д2 ... дп, и при этом получающийся контур соответствовал естественному расположению ХТ на лице. Описанный выше метод можно назвать этапом обучения, а саму выборку изображений лиц 5 - обучающей выборкой.
3. Автоматическая расстановка характерных точек
На анализируемое изображение проецируется контур «среднего» лица. Он используется в качестве начального приближения для дальнейшего построения. Первоначальный этап оптимизации состоит в варьировании положения точек в некоторой локальной окрестности, для того чтобы добиться наилучшего соответствия с соответствующими им векторами признаков. В качестве вектора признаков точки используется так называемый профиль, который строится следующим образом. Пусть через точки контура р\ р2 ... рп проведена непрерывная и гладкая кривая. Проведем через точку рк отрезок фиксированной длины с центром в данной точке и ориентированный по нормали к кривой, проходящей через точки контура (рис. 1). Под профилем понимается распределение яркости на этом отрезке. Профиль параметризован способом представления кривой, проходящей через точки, и длиной отрезка, на котором он рассматривается.
Рис. 1. Профили точек контура
Учитывая дискретность цифровых изображений, длина профиля измеряется в количестве пикселей. В аналогичных методах [9] длина профиля составляет 11-13 пикселей. При этом профиль описывается в виде вектора признаков. Характеристики (1) и (2) рассматриваются как статистическая модель, лежащая в основе оптимизации положения точек.
Варьирование положения точек производится до тех пор, пока изменения существенно влияют на изменение формы кон-
тура. Оптимальным положением точки рк является такое, при котором профиль точки наименее отличается от усредненного профиля qk. Для определения степени сходства двух профилей применяется расстояние Махаланобиса, которое учитывает корреляцию между переменными и инвариантно к масштабу.
Найденный в результате вариации точек контур может быть плохо согласован с совокупностью контуров обучающей выборки # (рис. 2).
Рис. 2. Профильная оптимизация без сглаживания контура (слева) и с применением сглаживания (справа)
Поэтому необходимо провести общую оптимизацию положения точек. Это достигается применением метода главных компонент. На этапе обучения вычисляются собственные значения ковариационной матрицы и матрица Ф соответствующих им собственных векторов. Вместо найденного контура X рассматривается контур X, который вычисляется по контуру среднего лица X и матрице Ф собственных векторов: X = X + ФЬ . Здесь Ь - «корректирующий» вектор, который получается из вектора коэффициентов проекции Ь = Фт (X — X) следующим образом:
1) обнуляются несущественные элементы вектора Ь (соответствующие наименьшим по модулю собственным значениям);
2) ненулевые элементы вектора Ь изменяются так, чтобы гарантировать получение контура, лежащего внутри эллипсоида рассеяния.
4. Построение эталонных статистических классов
Пусть X - измеримое пространство с с-алгеброй множеств А, на которой определена объемная мера V. Пусть на с-алгебре задана вероятностная мера Р. Тройка F = (X, А, Р) называется статистическим классом (СК) на X. Таким образом, любой СК на X полностью определяется заданием на нем вероятностной меры Р.
Классификация лиц с помощью СК состоит в том [1], что каждой фотографии лица Fi из выборки $ на основе взаимного расположения ХТ ставится в соответствие СК. Для простоты обозначений СК изображения лица Fi также будем обозначать Fi, а совокупность СК - $.
Поскольку из совокупности СК $ выделена обучающая выборка, СК из S = ^, S2, ..., Sr} будем называть эталонными. Задача распознавания лица формулируется как задача классификации СК: необходимо построить меру включения
с F2) е [0,1] на $ для поиска классифицирующего вектора
(ц^ с й), с S2), ., цф с Sr)).
Для некоторого класса F в пространстве X рассмотрим множество А(р) = {А е А | Р(А) = р} р-вероятных событий. Событие Е е Л(р) называется минимальным событием для класса F, если выполняется условие V(Е) = ^ V(А), т.е. минималь-
АеЛ( р)
ное событие - это событие, имеющее наименьший объем среди всех событий, имеющих вероятность р. СК F е $ называется
правильным, если каждое минимальное событие в нем определяется своей вероятностью однозначно. Каждый правильный СК однозначно определяется своей функцией принадлежности цР, которая вычисляется по формуле цДх) = Р({у | h(y) < h(x)}). От-
ношение включения СК определяется так же, как и в теории нечетких множеств, т.е. Fl с F2, если Ух е X : цр (х) < цр (х).
Применение СК к распознаванию лиц по ХТ состоит в следующем. Каждое лицо описывается выборкой, состоящей из п точек на плоскости. Для каждой персоны из обучающей выборки строятся эталонные СК Б{. Для этого на рассматриваемом изображении в некоторой окрестности варьируется положение «рамки» детектора (рис. 3), и рассчитывается расположение ХТ. В результате для каждой точки получается статистическая выборка, распределение которой с ростом объема приближается к нормальному (рис. 4). Поскольку ХТ находятся на достаточно большом расстоянии друг от друга, можно выделить кластеры, соответствующие каждой точке. При этом можно считать, что вероятности попадания точек в кластеры одинаковы и равны 1/п. Таким образом, если Нк - плотность распределения точек внутри кластера к, то общую плотность распределения можно
1 п — (х—Ск )Т £—1( х—Ск )
представить в виде: h = — ^ ^ , где кк (х) = —е 2 ;
п к=1 л' к
Ск - центры кластеров; Ек - ковариационная матрица, описывающая распределение точек внутри кластера к.
Рис. 3. Вариации рамки детектора
Рис. 4. Распределение характерной точки при варьировании положения рамки
5. Классификация по эталонным статистическим классам
В теории СК предполагается, что если СК F включается в S^ т.е. F с Si, то F обладает всеми свойствами, присутствующими в Si. Таким образом F с Si означает, что лицо F соответствует i-му человеку из F.
Таким образом, в данной постановке требуется решить задачу классификации вероятностных распределений, заданных обучающими выборками. Эта задача может быть решена классическими методами статистической теории распознавания образов, поскольку мы можем наблюдать лишь конечное число вероятностных распределений P1, P2, ..., Pr, порождаемых эталонными классами S1, S2, ..., Sr. В данной задаче включение F с Si означает, что рассматриваемое лицо F соответствует i-му человеку из обучающей выборки.
Известно [4], что наиболее мощный или оптимальный критерий классификации статистических данных получается в рамках отношения правдоподобия. Однако на практике ограничения, необходимые для традиционной постановки задачи классификации вероятностных распределений, оказываются невыполненными. Так, важным ограничением традиционной схемы классификации является необходимость построения полной группы событий. В решаемой задаче часто возникает ситуация в которой рассматриваемое лицо F включается в несколько эталонных классов Si, т.е. эталонные ситуации не являются несовместными.
Метод классификации статистических данных [2] подразумевает построение подходящей меры включения классов. В [3] предлагается использовать так называемую теоретикомножественную меру включения:
ц(F С F2) = 2Jmin(x),Mf2 (x))dP(x).
Поскольку кластеры ХТ достаточно далеко удалены друг от друга, для расчета меры включения nF можно считать, что
h(x) «n max ht (x). Тогда
i
IV 11/2 (х—Ск )т £к (х—Ск)
(3) цр(х) * 1 — ПXI 1 — ^е 2
геМ V 1 к
{V |1/2 — (х—Ск )т Ук-1(х—Ск) )
г |1 — ^е 2 > 0>.
6. Примеры вычислений и качество классификации
На рис. 5 показаны результаты работы алгоритма, реализующего описанный метод.
'"Ш
Рис. 5. Примеры работы алгоритма выделения характерных точек для случая 84 точек (вверху) и 68 точек (внизу)
Модель активных контуров является неустойчивой в следующих ситуациях:
- яркость рассматриваемого изображения значительно отличается от яркости изображений, использованных при построении модели;
- низкая контрастность рассматриваемого изображения;
- плохая визуальная отделимость лица от фона изображения;
- отклонение ориентации лица от фронтального более чем на 10о;
- наличие предметов, закрывающих часть лица (головной убор, очки и др.).
Эксперименты показывают, что классификация при помощи СК не уступает современным аналогам при небольших объемах статистических выборок, а при увеличении объема выборки демонстрирует более высокое качество. Тестирование проводилось на стандартной базе лиц FERET, из которой было выбрано 1000 человек по 5 изображений каждого. Алгоритм классификации сравнивался со следующими методами: метод собственных лиц [8] и линейный дискриминантный анализ [5]. Результаты сравнения методов классификации представлены на рис. 6.
Рис. 6. Качество классификации по базе FERET
7. Заключение
Рассмотренный в данной работе метод идентификации основан на объединении двух подходов - модели активных контуров [6, 7] и модели СК [3]. Метод позволяет быстро проводить предварительную классификацию и исключать из дальнейшего анализа заведомо непохожих людей. Представляется целесообразным применение описанного подхода в качестве одного из первых методов в ансамбле классификаторов.
Качество классификации на основе СК не уступает известным методам. При этом временные затраты на классификацию эффективно распределяются между этапами обучения и применения модели. Так как основные вычисления производятся на этапе обучения, время вычисления меры включения на этапе классификации (3) зависит только от количества ХТ.
Литература
1. БРОНЕВИЧ А.Г., ГРЕЧУХИН И.А., КАРКИЩЕНКО АН.
Нечеткая классификация вероятностных распределений в задаче распознавания лиц // Обозрение прикладной и промышленной математики. - 2011. - Т. 18, вып. 6. -
C. 530-531.
2. БРОНЕВИЧ А.Г., КАРКИЩЕНКО АН. Теоретико-множественный подход к классификации статистических классов // Автоматика и телемеханика. - 1994. - №2. -С. 78-87.
3. БРОНЕВИЧ А.Г., КАРКИЩЕНКО АН. Вероятностные и возможностные модели классификации случайных последовательностей. - Таганрог: ТРТУ, 1996. - 196 с.
4. КРАМЕР Г. Математические методы статистики. - М.: Мир, 1975. - 648 с.
5. BELHUMEUR P.N., HESPANHA J.P., KRIEGMAN D.J. Ei-genfaces vs. Fisherfaces: Recognition using class specific linear projection // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1997. - Vol. 19. - P. 711-720.
6. COOTES T.F., TAYLOR C.J., COOPER D.H., GRAHAM J. Active shape models - their training and application // Com-
puter Vision and Image Understanding. - 1995. - Vol. 61 1. -P. 38-59.
7. COOTES T.F., TAYLOR C.J. Technical Report: Statistical Models of Appearance for Computer Vision // The University of Manchester School of Medicine, 2004. - 125 p.
8. KIRBY M., SIROVICH L. Application of the Karhunen-Loeve procedure for characterization of human faces // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1990. -Vol. 12. - P. 103-108.
9. MILBORROW S. Locating facial features with active shape models: Master’s thesis. - S. l.: Faculty of Engineering, University of Cape Town, 2007. - 103 p.
STATISTICAL RECOGNITION OF FACES BASED ON FEATURE POINTS GEOMETRY FOR TRANSPORT SECURITY SYSTEMS
Alexander Karkishchenko, JSC Research and Design Institute for Information Technology, Signalling and Telecommunications on Railway Transport, Doctor of Science, professor (A.Karkishchenko@gismps. ru).
Ilya Grechuhin, JSC Research and Design Institute for Information Technology, Signalling and Telecommunications on Railway Transport (I.Grechuhin@gismps.ru).
Abstract: We consider a formal statement of the face feature points construction problem in terms of statistical identification. The process of feature points construction based on the training set is described. The formal definition of statistical classes is given. We suggest a method for face identification using statistical classes and feature points. In conclusion the results of experiments and comparison with the known methods are given.
Keywords: biometric identification, principal component analysis, Mahalanobis distance, active shape model, statistical class, measure of inclusion.
