CC BY
56
№ 1:17-23 УДК: 004.4
http://ipo.spb.ru/journal
Компьютерные инструменты в образовании, 2016
МОДЕЛИРОВАНИЕ СИСТЕМЫ РАСПОЗНАВАНИЯ ЛИЦ С ИСПОЛЬЗОВАНИЕМ МНЕМОНИЧЕСКОГО ОПИСАНИЯ
Данная работа относится к области автоматических систем распознавания лиц для задач биометрии. Представляет новый способ моделирования, с использованием, так называемого мнемонического описания (МО) системы распознавания лиц. Данный способ моделирования позволяет более быстро, точно и просто сформировать готовую к экспериментам систему распознавания. Помимо этого, МО позволяет более точно обмениваться результатами работы. Использование МО способствует более быстрому обучению и проведению экспериментов, поскольку не требует изучения дополнительных языков программирования и может быть полезно как начинающим исследователям, так и специалистам, а также сотрудникам из смежных областей знаний. В работе представлены результаты моделирования по наиболее известным системам распознавания лиц: 1DPCA, 2DPCA и Fisherfaces (LDA) с использованием общедоступных баз изображений лиц: «AT & T-ORL», «The Extended Yale Face Database B» и «The Yale Database A».
Ключевые слова: распознавание лиц, автоматические системы распознавания лиц, биометрия, мнемоническое описание, моделирование систем распознавания лиц.
Распознавание человека по его лицу — самый естественный способ идентификации для людей. Исследование распознавания лиц представляет активно развивающуюся область за последние несколько десятков лет. Данную область исследуют специалисты из таких областей знаний, как распознавание образов, нейробиология, медицина и других. Задача автоматического распознавания лиц средствами вычислительной техники для задач биометрии рассматривается в данной работе и является практическим применением теории распознавания образов, машинного обучения, теории вероятности и других. Решение данной задачи может применяться в самых разных практических областях: поиске дубликатов в базе данных, анализе несовпадений в кредитных картах, водительских удостоверениях, бесконтактном контроле доступа, видеонаблюдении, анализе социальных сетей и СМИ, поиске двойников, расследовании преступлений, судебной экспертизе и многих других областях [1]. Таким образом, распознавание лиц — динамично развивающаяся область, исследуемая специалистами из разных научных дисциплин.
В данный момент наблюдается значительный прирост всевозможных алгоритмов распознавания, модификаций известных методов, новых структур систем распознавания, новых признаков. Рассматривается всё больше различных подзадач: распознава-
Иванько Дмитрий Викторович
Аннотация
1. ВВЕДЕНИЕ
ние в видеопотоке, при проблемах с освещением, при закрытии или изменении части лица, нагромождённом фоне или в людном месте. Освоить каждый из предлагаемых методов или модификаций и выбрать подходящий просто не представляется возможным. Существует объективная трудность такого совместного анализа, сравнения или объединения новых алгоритмов. Каждый из этих новых алгоритмов, модификаций или подзадач изучается различными группами исследователей долгое время и требует значительной предварительной подготовки. Поэтому новые разработки и модификации зачастую даже не сравниваются друг с другом, а только с «baseline» системами, несмотря на то, что исследуют одну и ту же задачу. Для некоторого решения этой проблемы и предлагается данная работа.
Формальное описание, именуемое в данной работе «мнемоническим», может быть использовано для точного и однозначного представления используемой системы распознавания лиц. Пример данного мнемонического описания представлен в формуле 1. Впервые описание применено в работе [2]. В данной работе предлагается его расширение, автоматизация и однозначное закрепление правил записи. Мнемоническое описание отражает все основные характеристики системы распознавания лиц. Краткая форма способствует простоте восприятия и понимания принципа действия системы, а также обмену информацией. Однозначность правил формы записи МО позволяет точно восстановить используемую систему распознавания лиц, повторить её результат и сравнить или объединить её с другой системой.
Применение программного средства моделирования системы распознавания лиц, использующее МО, автоматизирует процесс формирования системы. Облегчает процесс проведения экспериментов и запись используемой системы в форму МО. Программное средство значительно ускоряет процесс применения, обеспечивает точность полученных данных и облегчает процесс обучения и применения новых систем распознавания лиц.
2. МОДЕЛИРОВАНИЕ С ИСПОЛЬЗОВАНИЕМ МНЕМОНИЧЕСКОГО ОПИСАНИЯ
В программном средстве моделирования с использованием мнемонического описания применяется технология имитационного и машинного моделирования (См. ГОСТ[3]). Техническим объектом моделирования [4, 5] является система распознавания лиц. По своей структуре система распознавания лиц может быть разделена на некоторые логические блоки. Логические блоки разделены по характеру выполняемых операций для системы распознавания. Данными блоками являются:
1. База изображений лиц. Блок её формирования и анализа.
2. Блок предобработки изображений.
3. Блок извлечения признаков.
4. Блок «обучения».
5. Блок построения «моделей лиц».
6. Блок расчёта параметров моделируемой системы распознавания лиц.
Таким образом, мнемоническое описание будет состоять из шести частей, разделённых скобками различного вида (сразу отметим, что способ разделения не принципиален и служит только для удобства восприятия):
(Database){Preprocessing}[FeatureExtraction]{Train) х {GreateModels}[Test];
Каждый из данных блоков содержит определённый набор алгоритмов, который характеризует основной принцип его использования. Например, в блоке обучения (4) такими алгоритмами являются: LDA, 1DPCA, 2DPCA и другие алгоритмы. В блоке извлечения признаков (2), такими алгоритмами могут являться: SIFT, LBP, SURF и др. В общем, эти основные алгоритмы будут именоваться в работе «параметрами» блоков. Если один блок содержит несколько параметров, то их следует записывать через запятую. Параметр «S» будет обозначать пропуск, общий для всех блоков, от английского «Skip». Пример мнемонического описания с параметрами:
(ORL){S}[Brightness](LDA){S}[ID True];
Каждый из параметров может содержать, так называемые подпараметры, определяющие числовые или символьные значения использования параметров. Для базы данных этими подпараметрами могут являться количество эталонных, тестовых изображений, изображения закрытого или открытого множества [1] и др. Для признаков подпараметрами могут являться их размерность, порядок извлечения. А для блока обучения — размер матриц преобразований и других значений. Принадлежность подпараметров определяется по знаку «:». Разделение подпараметров следует производить при помощи знака «/». Пример готового мнемонического описания системы распознавания лиц:
Детальное описание всевозможных вариантов построения моделируемых систем, правил и их сочетаний выходит за рамки данной работы. В данной работе мы ограничимся только подробным рассмотрением описания (1) и результатов его моделирования. Данное МО означает, что используется система распознавания лиц, обученная на базе данных (БД) изображений лиц ORL [6]. 30% изображений в каждом классе БД используются для тестирования (соответственно 70% — для обучения). 25% классов используются для тестирования на открытом множестве (соответственно 75% классов для обучения). Из этих 25% классов для тестирования на открытом множестве 50% классов будут использованы для определения порога, 50% войдут соответственно в открытое множество. Блок предварительной обработки пропущен. Извлекаются яркостные признаки. В блоке обучения используется LDA размерностью вектора 121, или 11x11 основных компонент. Блок построения моделей пропущен, что эквивалентно стандартному построению моделей лиц без дальнейших преобразований. Результат работы полученной системы распознавания должен быть представлен в виде графика «ГО правильного распознавания» в зависимости от изменяемого параметра количества эталонов (Б):
где 1Вггие — ошибка распознавания, пггие — количество правильно распознанных изображений лиц, пац — общее количество поступивших на вход изображений лиц во время тестирования.
(ORL: 30/25/50){S}[Brightness](LDA: 121){S}[ID True: plot(E)];
(1)
(2)
3. ЭКСПЕРИМЕНТМЬНАЯ ЧАСТЬ
В работе анализируются результаты эффективности моделируемых систем распознавания с использованием следующих баз данных: «AT & T-ORL» [6], «The Extended Yale Face Database B» [7] и «The Yale Database A» [8]. Для обучения используются следующие алгоритмы: 1DPCA [9], 2DPCA [10], LDA [8,11], детали этих алгоритмов для распознавания лиц на русском языке представлены в работе [2].
В таблице 1 представлены МО моделируемых систем распознавания лиц для базы данных «AT & T-ORL» открытой и закрытой задачи. Описание моделируемых систем распознавания лиц совпадает с описанием, данным для системы с МО в формуле (1) предыдущего раздела. Отличием являются только используемые БД и алгоритмы обучения. На рис. 1 представлены результаты работы моделируемых систем распознавания лиц.
Таблица 1. Мнемоническое описание моделируемых систем распознавания лиц БД «AT & T-ORL»
№ Мнемоническое описание
1 (ORL : 30){S}[Brightness](PSA : 121){S}[ID True : plot(E)];
2 (ORL : 30/25/50){S}[Brightness](PSA : 121){S}[ID True : plot(E)];
3 (ORL :30){S}[Brightness](2DPSA : 121){S}[ID True : plot(E)];
4 (ORL : 30/25/50){S}[Brightness](2DPSA : 121){S}[ID True : plot(E)];
5 (ORL :30){S}[Brightness](LDA : 121){S}[ID True : plot(E)];
6 (ORL : 30/25/50){S}[Brightness](LDA : 121){S}[ID True : plot(E)];
и 7 -ь-it
0.9 0.8 0.7 -- -" _ _ _____ --- ----- ^ _____——&- —-
____________________ , ——è---------f
——^ --------ч ►------- >—----
... •: "
0.5 0.4 i" /
___— —*
1 DPCA(close) 1 DPCA(open) 2DPCA(close) 2DPCA(open) LDA(ctose) LDA(open) —!
________ —* 5" - 3'----- —e- №2 > №3
0?i r"" —e— ■ №4 0 №5 —'3— №6
Рис. 1. График зависимости вероятности правильной идентификации от количества эталонов. Для открытой и закрытой задачи. База изображений лиц «AT & T-ORL»
В таблице 2 представлены МО моделируемых систем распознавания лиц для базы данных «The Extended Yale Face Database B» открытой и закрытой задачи. На рис. 2 представлены результаты работы смоделированных систем распознавания лиц с использованием данной БД.
К сожалению, нет возможности провести эксперименты с алгоритмом 1DPCA для БД «The Extended Yale Face Database B» из-за высокой вычислительной сложности и имею-
Таблица 2. Мнемоническое описание моделируемых систем распознавания лиц БД «The Extended Yale Face Database B»
№ Мнемоническое описание
7 (eYaleB : 30){S}[Brightness](LDA : 121){S}[ ID True : plot(£)];
8 (eYaleB : 30/25/50){S}[Brightness](LDA : 121){S}[ID True : plot(£)];
9 (eYaleB :30){S }[Brightness](2DPCA :121){S}[ ID True : plot (£)];
10 (eYaleB : 30/25/50){S}[Brightness](2DPCA : 121){S}[ID True : plot(£)];
Рис. 2. График зависимости вероятности правильной идентификации от количества эталонов. Для открытой и закрытой задачи. База изображений лиц «The Extended Yale Face Database B»
щихся ресурсов в нашем распоржкении. Отметим, что данное ограничение является техническим и не затрагивает применения мнемонического описания для моделирования системы распознавания лиц. Проведенные эксперименты для алгоритмов 2DPCA и LDA свидетельствуют о корректности работы моделируемых систем.
В таблице 3 представлены МО моделируемых систем распознавания лиц для базы данных «The Yale Database A» открытой и закрытой задачи. На рис. 3 представлены результаты работы моделируемых систем. Отметим, что для изображений из данной БД до начала моделирования были вырезаны по 5 пикселей с каждой стороны, чтобы исключить чёрные линии на границе изображений, негативно влияющие на подсчёт матриц ковариации.
Таблица 3. Мнемоническое описание моделируемых систем распознавания лиц БД «The Yale Database A»
№ Мнемоническое описание
11 (YaleA :30){S}[Brightness](PCA : 121){S}[ID True : plot(£)];
12 (YaleA :30/25/50){S}[Brightness](PCA : 121){S}[ID True : plot(£)];
13 (YaleA : 30){S}[Brightness](2DPCA : 121){S}[ID True : plot(£)];
14 (YaleA :30/25/50){S}[Brightness](2DPCA : 121){S}[ID True : plot(£)];
15 (YaleA :30){S}[Brightness](LDA : 121){S}[ID True : plot(£)];
16 (YaleA :30/25/50){S}[Brightness](LDA : 121){S}[ID True : plot(£)];
^— __ -6 ------
_——-—. ---------
------- ; ____ _— -s---- --i -------<
у ^ *** •ту у У у у
'Y У У У У V-___________________________
у ^ ; xV" \ —— : -- -------'
—№11 -е- №12 —С— №13 — о- ■ №14 i? №15 №16 1DPCA (close) 1 DPCA(open) 2DPCA(close) 2DPCA(open) LDA( close) LDA(open)
г"
У
0.2-1-1-1-1-
1 2 3 4 5 6 7
Рис. 3. График зависимости вероятности правильной идентификации от количества эталонов. Для открытой и закрытой задачи. База изображений лиц «The Yale Database A»
4. ВЫВОДЫ И ДАЛЬНЕЙШАЯ РАБОТА
Графики результатов работы моделируемых систем распознавания свидетельствуют о корректности их работы. Используемое МО позволяет более быстро и компактно представить моделируемые системы и их основные отличия между собой. Система для открытой задачи заметно деградирует по сравнению с остальными системами, но эффективно работает для закрытой задачи. Данный факт показывает необходимость дальнейшей модификации системы, если она будет использоваться для открытой задачи. Также графики работы показывают, что значительный прирост эффективности систем появляется при использовании от 3 до 5 эталонных изображений вместо одного. Дальнейшее увеличение количества эталонов очень незначительно улучшает качество распознавания. Можно применять большее количество эталонов, если требуется повышенная точность. Но вычислительная сложность получаемой системы распознавания лиц будет увеличиваться значительно быстрее, чем прирост эффективности. Это свидетельствует о целесообразности замены алгоритма, вместо увеличения количества эталонов, поскольку заметен очевидный предел роста эффективности получаемой системы распознавания. Дальнейшая работа будет сосредоточена на доработке предлагаемого программного средства моделирования систем распознавания лиц с использованием мнемонического описания. Работа будет нацелена на дальнейшую автоматизацию построения системы распознавания лиц, расчёт оптимальных параметров моделируемой системы и визуализации результатов.
Список литературы
1. NIST Interagency Report 8009. Performance of Face Identification Algorithms. Face Recognition Vendor Test (FRVT) // Information Access Division National Institute of Standards and Technology, 2014.
2. Кухарев Г.А., Щеголева Н.Л. Системы распознавания изображения человека по изображению лица, СПб.: СПбГЭТУ «ЛЭТИ», 2006.
3. ГОСТ 43.2.1-07. Информационное обеспечение техники и операторской деятельности. Язык операторской деятельности. Общие положения.
4. ГОСТ 27.310-95. Надёжность в технике. Анализ видов, последствий и критичности отказов. Основные положения.
5. ISO/IEC: 50 (191) Safety aspects — Guidelines.
6. Samaria F., Harter A. Parameterisation of a Stochastic Model for Human // Proceedings of 2nd IEEE Workshop on Applications of Computer Vision, Sarasota FL, December 1994.
7. Georghiades A., Belhumeur P., Kriegman D. From Few to Many: Illumination Cone Models for Face Recognition under Variable Lighting and Pose. PAMI, 2001.
8. Belhumeur P., Hespanha J., Kriegman D. Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection, У IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997. P. 711720.
9. TurkM., Pentland A. Eigenfaces for Recognition // Journal of Cognitive Neuroscience, Jan. 1991. Vol 3, № 1. P. 71-86.
10. Кухарев Г.А. Биометрические системы: методы и средства идентификации личности человека. СПб.: Политехника, 2001.
11. Fisher R.A. The use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics, 1936. Vol. 7. P. 179-188.
MODELING OF FACE RECOGNITION SYSTEMS USING MNEMONIC DESCRIPTION OF THE MODEL
Ivanko D. V. Abstract
This paper belongs to area of automatic face recognition systems for biometrics tasks. And it represents a new way of modeling with the use of mnemonic description of the model in face recognition systems. This way of modeling allows more quickly, precisely and simply to create face recognition system for experiments. In addition mnemonic description allows to exchange results of work more precisely. And it also promotes faster training and carrying out experiments as doesn't demand studying of additional programming languages. Mnemonic description can be useful as to the beginning researchers, experts and also employees from related fields of knowledge. The results of modeling of the most known face recognition system are presented in the work, such as: 1DPCA, 2DPCA and Fisherfaces (LDA) with the public bases use of persons images: «AT & T-ORL», «The Extended Yale Face Database B» and «The Yale Database A».
Keywords: face recognition, automatic face recognition systems, biometrics, mnemonic description, modeling of face recognition system.
© Наши авторы, 2016. Our authors, 2016.
Иванько Дмитрий Викторович, аспирант кафедры речевых информационных систем НИУ ИТМО, dmitriy_ivanko@yahoo.com
