CC BY
264
УДК 681.3
СИСТЕМА ТРЕХМЕРНОГО СКАНИРОВАНИЯ ЛИЦ ДЛЯ БИОМЕТРИЧЕСКИХ ДОКУМЕНТОВ
А.В. Кровопусков, А. А. Рындин
В статье рассмотрена система трехмерного сканирования человеческого лица с точки зрения ее применимости для использования в биометрических документах. Система позволяет фотографически точно воспроизводить внешний вид лица человека при любых условиях освещения и из любой точки обзора
Ключевые слова: трехмерное сканирование, идентификация, рендеринг, карта нормалей, поляризация
Биометрические данные были интегрированы во все новые европейские паспорта с того момента, как члены Европейской комитета приступили к осуществлению инструкции Европейского совета №2252/2004 о стандартах в области
информационной защиты и биометрических данных в паспортах. Инструкция Европейского совета по стандартам в области информационной защиты и биометрических данных в паспортах и визах говорит об интеграции цифровых изображений лица и отпечатков пальцев внутри всех европейских паспортов [1]. Одновременно, техническое описание было определено в паспортном стандарте 9303 Международной организации гражданской авиации (ИКАО) о хранении биометрических данных в машиночитаемых проездных документах [2,3]. Оно осуществляется во всех странах-участницах Европейского союза для осуществления пограничного контроля на основе биометрических данных.
Согласно рекомендациям Международной организации гражданской авиации, все 190 стран-участниц ИКАО взяли на себя обязательства до 1 апреля 2010 года обеспечить выдачу своим гражданам электронных паспортов. На конференции ОБСЕ, проходившей в июле 2007 года в Вене, было также сказано, что с 2015 года паспорта с вклеенными фото владельцев будут считаться недействительными.
В соответствии с рекомендациями ИКАО биометрический пограничный контроль должен быть основан на технологиях двухмерного распознавания лиц. Недостатки этого подхода хорошо известны: подобные системы показывают плохую надежность, как только возникают сильные различия в условиях проведения съемки на документ и непосредственно при распознавании. Эти различия могут выражаться в различной ориентации и положении лица, изменениях в условиях освещенности и других мешающих факторах. Все эти факторы отрицательно влияют на качество изображения и могут исказить распознаваемую фотографию. Еще более
Кровопусков Андрей Вячеславович - ВГТУ, аспирант, тел. 8 910 343 72 52
Рындин Александр Алексеевич - ВГТУ, д-р техн. наук, профессор, тел. (4732) 43-77-04
неблагоприятным фактом является то, что в системах двухмерного распознавания отсутствуют надежные способы определения, является ли полученное изображение человека подлинным.
При использовании двухмерных систем распознавания великолепное качество исходных фотографий является обязательным условием. Следующим критерием является
удовлетворительное сходство между двухмерным изображением и лицом (приблизительно 70%): фронтальный вид, хороший контраст, четкость изображения, однородный свет, нейтральное выражение лица и отсутствие перекрытия лица и его ключевых точек (таких как уголки глаз или зрачки) волосами, очками или головным убором. Если перечисленные критерии качества не соблюдены, можно ожидать низкой надежности биометрической системы.
Соблюдение всех этих критериев одновременно, как при съемке фотографии на документ, так и при проведении контрольной съемки на паспортном контроле, труднодостижимо: редко положение лица, мимика и световые условия бывают идентичными.
Следующим недостатком двухмерных систем распознавания является то, что они не содержат защиты от подделок, то есть камера может быть легко обманута, если держать в руках распечатанную фотографию или проигрываемое видео с человеком на экране ноутбука. Эксперименты показали, что качества изображения с экрана мобильного телефона вполне достаточно, для того чтобы обойти некоторые из действующих систем [4].
Ключевым требованием для создания полностью автоматизированного пограничного контроля является использование систем трехмерного распознавания лица, в которых аутентификация владельца паспорта основана на трехмерном лицевом сканировании. Огромный скачек в области развития технологий массовой идентификации, пригодной для применения в международных паспортах, произошел благодаря усилиям Международного комитета по стандартам информационных технологий (ШС1Т8) и его технического подразделения по биометрике М1, а также благодаря стандартизации технологии трехмерного распознавая лиц, разработанной компанией А4У1бюп, которая была основана
выпускниками МГТУ им. Н.Э. Баумана, Артемом Юхиным и Андреем Климовым.
21 марта 2005 года предложение A4 Vision по усовершенствованию принятого в США стандарта распознавания лиц и обмена данными было поддержано консорциумом компаний ID Technology Partners, Logitech, Motorola, Oracle и Unisys, созданным для скорейшего вывода на широкий рынок технологии трехмерного распознавания внешности. Предложения консорциума получили поддержку в США. INCITS принял предложение A4Vision по изменению существующего в США стандарта и представил в Международную
организацию по стандартам (ISO) свои соображения
о принятии аналогичной поправки в соответствующий международный стандарт ISO.
Утвержденный консорциумом стандарт содержит инструкции по хранению трехмерного изображения лица в высоком разрешении (до 0,1 мм) в файле объемом 3 Кб без потери качества при архивации. Трехмерная фотография позволяет существенно увеличить точность
автоматизированной сверки фотографий и предотвратить возможность подделки или фальсификации обычной фотографии на удостоверяющих документах. В то же время технология, разработанная российскими
специалистами и поддержанная комитетом М1 для
включения в американский национальный стандарт, не умаляет достоинство личности и не является вторжением в личную жизнь, поскольку является всего лишь цифровой копией внешности.
Благодаря включению в стандарт специальных антропометрических точек предлагаемый вариант хранения информации может быть использован правоохранительными и судебными органами для создания баз данных и последующей идентификации жертв преступлений и стихийных бедствий. Принцип константных
антропометрических точек, широко используемый при судебной портретной, а также черепно-лицевой идентификации, позволит также разрабатывать приложения с возможностью фильтрации данных и быстрым поиском в больших базах на основе описаний лица.
Помимо всех преимуществ данной технологии, она несет в себе потенциал дальнейшего развития и усовершенствования. Разрабатываемые и существующие системы данного типа требуют выполнения двух событий:
• сканирование человеческого лица для биометрического документа
• сканирование лица на пропускном пункте для сравнения.
Данные системы показывают чрезвычайно высокую точность и производительность и рассчитаны на то, что человеку необходимо принять нейтральное выражение лица и повернуть голову определенным образом, при этом находясь на незначительном удалении от сканера, чтобы система могла провести сканирование. Человек обязан
выполнить это условие, в противном случае он не получит доступ и не сможет пройти через контрольный пункт. Однако даже в случае полной оснащенности всех людных мест системами подобного типа, остается большое число ситуаций, при которых получить качественный результат сканирования невозможно, и доступны лишь видеозаписи или фотографии с изображением
человека. Это относится к съемке с видеокамер проезжающего транспорта, трибун стадиона, людных улиц, видеокамер в магазинах,
любительской съемке очевидцев происшествия, милицейским архивам. В подобный случаях нет возможности провести трехмерное сканирование, и исходные данные сводятся к двухмерному изображению человека. Существующие системы распознавания двухмерных изображений
оказываются малоэффективными, так как им приходится сравнивать произвольно снятое изображение с фронтальным изображением из паспорта. При этом световые условия и положение лица могут очень существенно различаться.
Логичным шагом является
усовершенствование системы сканирования лиц на биометрические документы таким образом, чтобы она давала возможность фотографически точно воспроизвести по цифровой копии внешний вид лица человека в любом положении и при любых заданных условиях освещения. Это даст возможность производить эффективную
идентификацию не только на основе сравнения двух трехмерных моделей, но и на основе сравнения трехмерной модели и фотографического изображения человека, снятого без каких бы то ни было специальных условий. Фотографически точное воспроизведение лица человека под любым углом обзора и любым освещением является чрезвычайно сложной задачей и темой многочисленных исследований. Это объясняется тем, что человеческая кожа представляет собой чрезвычайно сложный материал, который не только отражает, но и пропускает свет, рассеивая его. Ключевым шагом к решению этой задачи является применение специальных методов для получения данных об отражающих свойствах кожи.
Одной из наиболее полных, многократно проверенных на практике и доказавших свою эффективность технологий является технология быстрого получения карт нормалей зеркально отраженного и рассеянно отраженного света при помощи сферического градиентного освещения [5].
Данная технология использует небольшое число световых состояний, но способна независимо рассчитывать отражающую способность для зеркальных и рассеянных отражений света от поверхности объекта. Техника использует четыре сферических градиентных световых шаблона, которые позволяют эффективно рассчитать интенсивность света, который отражается в камеру, когда объект освещается одновременно изо всех точек сферы. Градиентное освещение поляризуется, используя линейную или круговую поляризацию,
таким образом, зеркально отраженный и рассеянный свет может рассматриваться независимо. Эти данные используются для вычисления соответственно карты нормалей рассеянного и зеркально отраженного света. Картой нормалей называется разновидность текстурной карты каждая цветовая компонента которой соответствует X, У и Ъ координатам вектора-нормали к поверхности в данной точке.
Зеркальные отражения - это относительно простой поверхностный эффект, возникающий между двумя материалами с различными показателями преломления. Зеркальные отражения определяются уравнением Френеля:
г = ^]П(в, -вг) г -вд
* Р
sin^ + #г) p tan(^ + #г)
t i / У t
где rs это отношение отраженной составляющей электрического поля к падающей перпендикулярно на поверхность, Гр - это соответствующее отношение для параллельных компонент, 0i - это угол падения, 0t - это угол
отражения, относящиеся как dt = arcsin(— sin ).
n
Эти уравнения показывают, что
поляризационное состояние зеркально отраженного света определяется поляризационным состоянием падающего света. Рассеянные отражения, возникающие в результате подповерхностного рассеяния света, напротив, почти полностью не поляризованы, независимо от поляризационных характеристик падающего освещения. Таким образом, рассеянные и зеркально отраженные компоненты света могут быть эффективно разделены путем управления поляризационным состоянием падающего света и одновременного измерения поляризационного состояния
отраженного света.
Имея одну камеру и предполагая, что источник света лежит в одной плоскости вместе с камерой и снимаемым объектом, для разделения необходимо использовать линейные поляризаторы,
расположенные перед источником света и камерой. Размещение вертикального поляризатора перед источником света гарантирует, что зеркально отраженный от объекта свет будет иметь ту же поляризацию. Далее, вертикальный поляризатор напротив камеры блокирует весь зеркально отраженный свет и лишь половину рассеянно
г — г
отраженного света, давая изображение 1— = — 1D .
Аналогично, вертикальный поляризатор напротив
камеры дает изображение I2 = ID + IS . Таким
образом, зеркально отраженные и рассеянно отраженные компоненты изображения равны
IS = I2 —I— и ID = 2I—. В результате происходит
разделение зеркальных и рассеянных отражений на основе линейной поляризации.
Для полного освещения объекта большим количеством источников света необходимо создать сферическое поле линейной поляризации таким образом, чтобы зеркально отраженный в камеру свет в соответствии с уравнением Френеля имел вертикальную поляризацию вне зависимости от угла падения. Для этого используется осветительная установка, один из вариантов реализации которой представлен на рисунке ниже, а также цифровая фотокамера, оснащенная поляризационным фильтром. Расположенные на сферическом каркасе светодиодные источники света оснащены линейными поляризаторами. Поляризационный фильтр на фотокамере снабжен механизмом, позволяющим автоматически переводить его из горизонтального положения в вертикальное. Источники света, фотокамера и механизм для управления поляризатором точно
синхронизированы и управляются через компьютер.
Система трехмерного сканирования лиц на основе сферического поляризованного градиентного освещения
Для сканирования геометрии высокого разрешения данная технология использует ту же световую установку, дополняя ее второй цифровой зеркальной камерой и цифровым видеопроектором, расположенным между двумя камерами. Проектор используется совместно с системой линз, которые концентрируют свет и разрешение пикселей на лице снимаемого человека. Для того чтобы исключить блики, создаваемые проектором, для лучшего стереосовмещения также используются
поляризационные фильтры, таким образом, чтобы проектор посылал поляризованный свет той же поляризации, что и сферическое градиентное
освещение. Две камеры наблюдают объект, в то время как проектор, расположенный между ними, проецирует на объект четыре мультичастотные изображения полосок и одно белое изображение.
Обозначим Рк как изображения полосок с разной частотой, а W - белое изображение. Рк представляют собой треугольные волны со сдвигом фаз в 120 градусов для каждого из цветовых каналов. Частоты линий определяются в соответствии с Китайской теоремой об остатках так, чтобы обеспечить хорошее разрешение.
Для захвата объекта снимаются 8 изображений четырех градиентных шаблонов при двух разных положениях поляризатора, а затем 5 изображений со структурированным светом. В общей сложности - 13 изображений. При
разрешении камеры 3000х2000 пикселей при оптимальном кадрировании лица каждый пиксель камеры покрывает примерно область размером
0.1х0.1 мм, что позволяет захватить мельчайшие детали лица. Высокая частота съемки камер является главным фактором, который позволяет минимизировать движения объекта во время съемки [6]. Внутренние и внешние параметры камеры калибруются путем наблюдения из них плоского клетчатого шаблона в нескольких различных положениях на основе технологии, описанной в [7].
Для восстановления трехмерной геометрии лица методом динамического программирования находится попиксельное соответствие между изображениями с обеих камер, затем используется метод триангуляции для определения того, где должны находиться точки поверхности. Вследствие воздействия шума и ограниченного разрешения проектора, результат сканирования на основе структурированного света содержит смещения и шум в высокочастотных составляющих. Также дополнительное сглаживание геометрии объекта происходит в результате подповерхностного рассеяния света. Для восстановления потерянных деталей используется технология выдавливания с применением полученных ранее карт нормалей рассеянного или зеркально отраженного света. Первоначально выполняется сглаживание
отсканированной поверхности при помощи
алгоритма двухстороннего шумоподавления [10]. Из полученных ранее карт нормалей извлекаются высокочастотные детали при помощи высокочастотной фильтрации, после чего детали прибавляются к карте нормалей сглаженной
геометрии. Наконец, производится оптимизация сетки путем выдавливания ее таким образом, чтобы она соответствовала вычисленной карте нормалей [11].
В результате этого процесса вычисляются следующие данные: модель высокого разрешения, карты нормалей для различных цветовых каналов, карта рассеянно отраженного света, карта зеркально отраженного света. Полученный таким образом набор данных позволяет не только проводить сравнение на основе трехмерной поверхности лица (как это предусмотрено существующими
стандартами), но и фотографически точно воспроизводить внешний вид человека из любой точки обзора и при любых условиях освещения.
Таким образом, приведенное выше решение, пришедшее из другой области компьютерной графики, может быть использовано для создания качественно новых методов сбора биометрических данных человека. Данная технология должна быть существенно доработана и адаптирована для задач сбора биометрических данных, как со стороны применяемых алгоритмов, так и со стороны используемого оборудования. В частности требуют решения следующие вопросы:
• проблема движений человека в момент проведения съемки
• сокращение габаритов сканирующей
системы
• минимизация стоимости используемого
оборудования
• оптимизация полученных данных для последующего хранения в биометрических документах
Разработка системы трехмерного сканирования лиц для биометрических документов представляет собой сложнейшую задачу, решение которой тесно переплетено с решением вопросов:
• технической реализации процесса сканирования
• социальных аспектов использования
системы
• технологий хранения данных
• технологий быстрого воспроизведения данных для последующей идентификации
• совместимости с существующими решениями в данной области
Внедрение данной технологии может осуществляться как на глобальном уровне для биометрических местных и международных паспортов и виз, так и на локальном в рамках системы безопасности отдельного предприятия. Технология существенно расширяет существующие решения сбора трехмерных геометрических данных, открывая перспективы новым методам идентификации личности на основе двухмерных исходных данных, ранее недоступным из-за отсутствия подобных систем сканирования.
Благодаря точности и четкой привязке объекта съемки к его реальным размерам, система позволяет проводить опознание личности, в том числе и по особенностям структуры кожи и кожной пигментации на лице. Разработка данной системы -перспективная задача, затрагивающая многие аспекты управления и требующая комплексного подхода.
Литература
1. European Council, “Council Régulation (EC) No 2252/2004 of 13 December 2004 on standards for security features and biometrics in passports and travel documents issued by Member States”, http://europa.eu.int/eur-
lex/lex/LexüriServ/site/en/oj/2004/l 385/1 38520041229en00010006.pdf, Dec. 2004.
2. International Civil Aviation Organization Technical Advisory Group 15 Machine Readable Travel Documents/New Technologies Working Group, Biometrics Deployment of Machine Readable Travel Documents, Version 2.0, May 2004.
3. ISO/IEC TC JTC1 SC17, Supplement to Doc9303-part 1-sixth edition, June 2006.
4. Christoph Busch, Alexander Nouak, Xuebing Zhou Fraunhofer, 3D Face Recognition for Unattended Border Control, Institute for Computer Graphics Research IGD, Darmstadt, Germany,
http://www.3dface.org/files/papers/busch-Net-ID08-3dface-
border-control.pdf
5. Wan-Chun Ma, Tim Hawkins, Pieter Peers, CharlesFelix Chabert, Malte Weiss, Paul Debevec, Rapid Acquisition of Specular and Diffuse Normal Maps from Polarized Spherical Gradient Illumination, University of Southern California Institute for Creative Technologies, http://gl.ict.usc.edu/Research/FaceScanning/EGSR2007_SGI_ high.pdf , Eurographics Symposium on Rendering 2007
6. Wan-Chun Ma, A Framework for Capture and Synthesis of High Resolution Facial Geometry and
Performance ,
http://gl.ict.usc.edu/Research/ma08/ma08_thesis.pdf , June 19, 2008.
7. Zhengyou Zhang. A flexible new technique for camera calibration. IEEE Transacations on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.
8. Charles Loop and Zhengyou Zhang. Computing rectifying homographies for stereo vision. In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 1999, volume 1, pages 125-131.
9. Li Zhang, Brian Curless, and Steven Seitz. Rapid shape acquisition using color structured light and multi-pass dynamic programming. In Proc. International Symposium on 3D Data Processing, Visualization, and Transmission, 2004, pages 24-36.
10. Shachar Fleishman, Iddo Drori, and Daniel Cohen-Or. Bilateral mesh denoising. In Proc. SIGGRAPH, 2003, pages 950-953.
11. Diego Nehab, Szymon Rusinkiewicz, James Davis, and Ravi Ramamoorthi. Efficiently combining positions and normals for precise 3d geometry. ACM Transacations on Graphics, 2005, 24(3):536-543.
Воронежский государственный технический университет
HUMAN FACE 3D SCANNING SYSTEM FOR BIOMETRIC DOCUMENTS
A.V. Krovopuskov, A.A. Rindin
The human face 3D scanning system is observed in respect to its using in biometrical documents. The system allows generating realistic human face renders at any point of view and any light condition
Key words: 3D scanning, identification, rendering, normal map, polarization
