CC BY
22ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫЕ
ТЕХНОЛОГИИ INFORMATION-COMMUNICATION TECHNOLOGIES
УДК 681.51.011:004.93 DOI: 10.24151/1561-5405-2020-25-4-367-373
Подготовка базы данных для автоматизированного контрольно-пропускного пункта
на режимный объект
Ю.П. Лисовец, Е.Л. Романова, Вай Ян Мин
Национальный исследовательский университет «МИЭТ», г. Москва, Россия
lisovec@gmail.com
В настоящее время методы биометрической идентификации на основе уникальных физических и поведенческих характеристик человека широко используются в системах контроля и доступа к информации. Система распознавания лиц позволяет автоматизировать проход на охраняемые объекты с помощью компьютерного зрения. При этом важную роль в такой системе играет создание базы данных лиц людей, имеющих допуск на режимный объект. В работе применен метод главных компонент для реализации процесса распознавания лиц. Метод позволяет уменьшить размерность данных с утратой минимального количества важной информации. Алгоритм Виолы - Джонса применен для обнаружения лица, создания базы данных лиц и тестирования результатов распознавания. Для вычисления расстояний между тестовыми изображениями и изображениями базы данных использована евклидова метрика. Показано, что предварительная обработка базы данных позволяет улучшить результаты распознавания.
Ключевые слова: распознавание лиц; метод главных компонент; метод Виолы -Джонса
Для цитирования: Лисовец Ю.П., Романова Е.Л., Вай Ян Мин. Подготовка базы данных для автоматизированного контрольно-пропускного пункта на режимный объект // Изв. вузов. Электроника. 2020. Т. 25. № 4. С. 367-373. DOI: 10.24151/1561-5405-2020-25-4-367-373
© Ю.П. Лисовец, Е.Л. Романова, Вай Ян Мин, 2020
Preparing a Database for an Automated Checkpoint at a Sensitive Area
U.P. Lisovec, E.L. Romanova, Wai Yan Min
National Research University of Electronic Technology, Moscow, Russia lisovec@gmail.com
Abstract. Currently, the biometric identification methods based on the unique physical and behavioral characteristics of a person are widely used in control systems and access to information. The face recognition system permits to automate an access to protected objects using computer vision. An important role in such a system plays the creation of a database for persons with an access to the object. Here, the creation of the database of persons with an access to the working object plays an important role in such system. In this work the principal component method for implementing the face recognition process has been proposed. The method permits to reduce the dimensionality of the data with the loss of the least amount of important information. The Viola-Jones algorithm is used to detect faces, to create a database of faces and to test the recognition results. For calculating the distances between the test images and the database images the Euclidean distance metric has been used. It has been shown that the preliminary processing of the data can improve the recognition results.
Keywords: face recognition; principal component and analysis method; Viola - Jones method; face detection
For citation: Lisovec U.P., Romanova E.L., Wai Yan Min. Preparing a database for an automated checkpoint at a sensitive area. Proc. Univ. Electronics, 2020, vol. 25, no. 4, pp. 367-373. DOI: 10.24151/1561-5405-2020-25-4-367-373
Введение. Система распознавания лиц - это одна из наиболее перспективных технологий биометрической бесконтактной идентификации человека по лицу. За последние двадцать лет выполнено много теоретических и экспериментальных работ в этом направлении. Однако задача повышения точности распознавания лиц является одной из важных для практических применений. Система распознавания лиц используется в таких приложениях, как безопасность, контроль и управление доступом, наблюдение, взаимодействие человека и компьютера, создание, анализ и исследование различных баз данных изображений и т.д. [1, 2]. Разработанные на сегодняшний день методы и алгоритмы для распознавания лиц имеют свои преимущества и недостатки.
Известно, что человеческий мозг с трудом различает лица людей, относящихся к представителям другой расы. Это явление называется эффектом перекрестных рас (cross-race effect) [3]. В связи с появлением в последние годы большого количества студентов-иностранцев данная проблема возникла, в частности, в отделе внутренней безопасности МИЭТ. Система прохода в МИЭТ устроена таким образом, что сотрудник отдела внутренней безопасности должен сверить лицо входящего человека с его фотографией из базы данных, которую он видит на экране. Если сотрудник считает, что перед ним другой человек, то он выясняет его личность. Цель настоящей работы - разработка искусственного интеллекта, способного лучше человека различать лица как одной, так и «перекрестной расы».
Создание базы данных изображений лиц. Для реализации проекта распознавания лиц необходима база изображений лиц, качество которой является важнейшим фактором. В экспериментах участвовали сорок магистрантов из Республики Союз Мьянма, обучающихся в МИЭТ. Сделано по пятьдесят фронтальных фотографий каждого из них при стандартном освещении. Допускались небольшие движения головой. Обнаружение лиц на снимках проводилось с помощью алгоритма Виола - Джонса [4, 5].
Для создания базы данных выбрано по десять фотографий десяти человек. Остальные фотографии использовались для тестирования алгоритмов распознавания. Основой для распознавания служили расстояния между тестовыми изображениями и изображениями в базе. Для распознавания лиц использовался метод главных компонент (МГК), реализованный в среде МАТЬАВ. МГК является наиболее известным способом уменьшения объема данных без потери важной информации и применяется в различных областях. При реализации этого метода изображения лиц представляют в виде линейной комбинации взвешенных собственных векторов, называемых «собственные лица» (Eigenfaces). Собственные векторы получают из ковариационной матрицы базы данных изображений в количестве 100 штук [6]. В работе используются изображения в оттенках серого, значения пикселей на них находятся в диапазоне от 0 (черный) до 255 (белый).
Для реализация программы каждое изображение преобразуется в вектор-столбец (10304 х 1) и объединяется в матрицу D (базу данных) размерности (10304 х 100):
D = [X:, Х2, Х3,...,Х„].
Далее среднее изображение всего набора данных М вычисляется для получения общих черт каждого изображения из набора данных:
1 п
М = 1 ^ ^ •
п k=l
Для выполнения нормализации среднее изображение набора данных вычитается из каждого вектора изображения набора данных:
Бк = Xk - М, k = 1, 2, ..., п, А = [Бь Б2, Бъ, ..., В].
Ковариационная матрица С определяется как
С = АТА, АА =
Затем в соответствии с МГК выбираются двадцать собственных лиц (собственных векторов), соответствующих наибольшим собственным значениям [6, 7]. Каждое изображение лица из набора данных проецируется на пространство лица по следующей формуле:
Yk = оТХ - М),
где оТ - выбранные собственные векторы; (Xk - М) - нормализация каждого изображения в базе. Собственный вектор каждого изображения получен с использованием данного уравнения - для первого изображения, Y2 - для второго изображения и т. д.).
После получения тестового изображения оно проецируется на пространство лица для нахождения собственного вектора для тестового изображения:
I = оТ(Х - М),
где (X - М) - нормализация тестового изображения.
В процессе распознавания входное тестовое изображение сравнивается с изображениями в базе данных и вычисляются евклидовы расстояния между ними. Каждое расстояние представляет собой меру отклонения входного тестового изображения лица из базы данных [8]. С использованием МГК для каждого изображения лица из базы вычисляются евклидовы расстояния между всеми его изображениями. В результате получено десять симметричных матриц размерности 10 х 10, на главной диагонали которых стоят нули. В силу симметричности матрицы в дальнейшем будем рассматривать только элементы, стоящие выше главной диагонали.
=
я «
о н о о а
а
о
X <S
ч «
ft
о Я
я о a
Я
cs Я
a
я
#
* # tt
*
i *
*
* § * i # *
1 1 i 1 i * ! 1
К i 1 i Ш 4 i 1
1 1 * ! 1 » 1 I ж ' «
3 4 5 6 7 Номер человека в базе
10
Рис.1. Вариационный ряд расстояний между векторами-изображениями лица каждого человека в базе данных Fig.1. Variation series of distances between faces vectors-images of each person
in the database
Таблица 1
Элементы симметричной матрицы расстояний между собственными векторами-изображениями для 7-го человека в базе данных, расположенные выше главной диагонали
Table 1
Elements of the symmetric distance matrix between eigenvectors-images for the seventh person in the database, located above the main diagonal
1270181 2423185 2606381 5744614 2929115 378703.3 4236614 2885063 2161221
3203733 3150880 6190666 3695645 1067201 4462235 3153699 1429775
997992.9 3694786 612274.1 2410532 2773512 1901170 4269099
3619633 1196776 2482651 2913008 2152442 4240492
3260864 5644061 3605091 3922742 7174473
2914556 2762449 2058294 4715307
4163199 2814759 2099184
1512313 5672974
4299427
Для того чтобы оценить разброс расстояний между изображениями, для каждого лица из базы данных взяты сорок пять значений элементов этих матриц, стоящих над главной диагональю. Эти значения отсортированы по возрастанию, и получен вариационный ряд расстояний для каждого изображения лица из базы данных (рис.1).
Из рис.1 видно, что вариационные ряды для 7-го и 10-го человека отличаются от остальных. Это может приводить к погрешности при распознавании человека на входе. Заменим для 7-го и 10-го человека те изображения в базе данных, которые приводят к большому размаху выборки. Покажем это на примере вариационного ряда расстояний для 7-го человека. Найдем элементы верхней треугольной части матрицы (оставим только элементы выше главной диагонали). Выделим эти элементы жирным шрифтом. Матрицы взаимных расстояний заметно отличаются от других (табл.1).
Подбор изображений для замены в базе данных. Для замены изображений выбираются элементы, которые больше значения М = 5 х 106, а именно 5744600, 6190700, 5644100, 7174500 и 5673000. Чтобы узнать, какие расстояния были большими, определяются их индексы. В результате получены пять пар значений: 1 и 5; 2 и 5; 5 и 7; 5 и 10; 8 и 10. Это указывает на необходимость замены 5, 7 и 10-го изображений этого человека в базе данных на его новые изображения, менее отличающиеся от остальных. Аналогичные действия осуществляются с изображениями 10-го человека. Анализ показал, что заменить надо 6, 7, 9 и 10-е изображения. Затем создается новая база данных с замененными изображениями. Получены десять новых симметричных матриц размерности 10 х 10 и новый вариационный ряд расстояний для каждого человека из базы данных (рис.2).
0 12345678 9 10
Номер человека в базе
Рис.2. Вариационные ряды расстояний для каждого человека
в базе данных до (□) и после (о) замены изображений Fig.2. Variation series of distances for each person in the database before (□) and after (о) replacing images
Из рис.2 видно, что размах вариационных рядов для 7-го и 10-го человека после замены изображений уменьшился и незначительно отличается от остальных.
Эксперимент. Для тестирования результатов распознавания до и после замены изображений в базе данных использовалось сначала одно тестовое изображение на входе [9]. Результаты тестирования представлены в табл.2.
Таблица 2
Результаты идентификации до и после замены изображений в базе данных
Table 2
The results of identification before and after changing images in database
Количество тестовых изображений До замены изображений После замены изображений 7-го и 10-го человека в базе данных
Порог Результат,% Порог Результат,%
Свой (100) 0,17 24 0,41 85
Чужой (300) 100 97,2
Для улучшения результатов распознавания количество тестовых изображений увеличено до пяти. Каждое тестовое изображение распознается по предыдущему способу, и если три тестовых изображения из пяти указывают на одного и того же человека из базы данных, то входящий человек есть в базе [8]. Сравнение результатов экспериментов идентификации при использовании одного тестового изображения и пяти тестовых изображений приведено в табл.3. Все эксперименты распознавания лица с использованием МГК выполнены на процессоре Intel (R) Core (TM) i3-3220 3.30 ГГц и ОЗУ с оперативной памятью 4 Гб. Время работы программы при использовании одного тестового изображения ^0,48 с, при использовании пяти тестовых изображений ^0,52 с.
Таблица 3
Результаты идентификации (%) при использовании одного и пяти тестовых изображений
Table 3
The comparison of identification results (%) while using single and five test images
Количество тестовых изображений Одно изображение Пять изображений
Свой (100) 85 100
Чужой (300) 97,2 100
Заключение. Проведенные исследования показали, что тщательный отбор изображений для использования в базе данных позволяет значительно улучшить результаты идентификации человека на входе. Применение МГК дает возможность уменьшить размерность данных с утратой минимального количества возможной информации.
Литература
1. Bakshi U., Singhal R. A survey on face detection methods and feature extraction techniques of face recognition // International Journal of Emerging Trends & Technology in Computer Science (IJETTCS). 2014. No. 3. Vol. 3. P. 233-237.
2. Barnouti, Nawaf Hazim. Improve face recognition rate using different image pre-processing techniques // American Journal of Engineering Research (AJER). 2016. No. 5. Vol.4. P. 46-53.
3. Cross-race effect. URL: https://ru.qwe.wiki/wiki/Cross-race_effect (дата обращения: 25.03.2020).
4. Viola P., Jones M. Robust real-time face detection // International Journal of Computer Vision. 2004. No. 57. P. 139-145.
5. Viola P., Jones M. Robust real-time object detection // 2nd International Workshop on Statistical and Computational Theories of Vision - Modelling, Learning, Computing, and Sampling (Vancouver, Canada, July 13, 2001). 2001. P. 4-14.
6. Вай Ян Мин, Лисовец Ю.П, Романова Е.Л, Тхет Наинг Вин. Применение статистической обработки данных для повышения эффективности распознавании лиц при использовании метода главных компонент // Электронные информационные системы. 2019. № 2 (21). C. 35-37.
7. Anand Singh, Erarica Mehra, Saundarya Dorle. Face recognition using principal component analysis // International Journal of Advanced Technology in Engineering and Science. 2016. Vol. 4. Iss. 03. P. 611-614.
8. Вай Ян Мин. Моделирование контрольно-пропускного пункта для решения задачи обнаружения и идентификации лиц // 25-я Всероссийская межвузовская науч.-техн. конф. студентов и аспирантов «Микроэлектроника и информатика - 2018». M.: МИЭТ, 2018. С. 115.
9. Вай Ян Мин, Лисовец Ю.П., Романова Е.Л., Зо Льин X Алгоритмы идентификации человека на входе автоматизированного контрольно-пропускного пункта с использованием метода главных компонент // Электронные информационные системы. 2020. № 1 (24). С. 41-43.
Поступила в редакцию 27.03.2020 г.; после доработки 27.03.2020 г.; принята к публикации 16.06.2020 г.
Лисовец Юрий Павлович - кандидат физико-математических наук, доцент кафедры высшей математики № 1 Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), lisovec@gmail.com
Романова Екатерина Леонидовна - кандидат технических наук, доцент кафедры высшей математики № 1 Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), e_borzistaya@mail.ru
Вай Ян Мин - аспирант кафедры высшей математики № 1 Национального исследовательского университета «МИЭТ» (Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1), waiyanminn54@gmail.com
References
1. Bakshi U., Singhal R. A survey on face detection methods and feature extraction techniques of face recognition. International Journal of Emerging Trends & Technology in Computer Science, 2014 vol. 3, no. 3, pp. 233-237.
2. Barnouti Nawaf Hazim. Improve face recognition rate using different image pre-processing techniques. American Journal of Engineering Research, 2016, vol. 5, no. 4, pp. 46-53.
3. Cross-race effect. Available at: https://ru.qwe.wiki/wiki/Cross-race_effect (accessed: 25.03.2020).
4. Paul Viola, Michael Jones. Robust real-time face detection. International Journal of Computer Vision, 2004, no. 57. pp. 139-145.
5. Paul Viola, Michael Jones. Robust real-time object detection. 2nd International Workshop on Statistical and Computational Theories of Vision - Modelling, Learning, Computing, and Sampling, Vancouver, Canada, July 13, 2001. pp. 4-14.
6. Wai Yan Min, Lisovec U.P., Romanova E. L., Thet Naing Win. Application of statistical data processing to improve the efficiency of face recognition using the principal component analysis method. Electronic information systems, 2019, vol. 2, no.21. pp. 35-37. (in Russian).
7. Anand Singh, Erarica Mehra, Saundarya Dorle. Face Recognition Using Principal Component Analysis. International Journal of Advanced Technology in Engineering and Science, 2016, vol., no. 4, iss. 3, pp. 611-614.
8. Wai Yan Min. Checkpoint simulation for solving the problem of face detection and identification. 25th All-Russian interuniversity scientific and technical conference of students and postgraduates, «Microelectronics andInformatics-2018». Moscow, MIET, 2008. (in Russian). P. 115
9. Wai Yan Min, Lisovec U.P., Romanova E. L., Zaw Lwin Oo. Algorithms for human identification at the entrance of an automated checkpoint by using the principal components analysis method. Electronic information systems, 2020, no. 1(24), pp. 41-43. (in Russian).
Received 27.03.2020; Revised 27.03.2020; Accepted 16.06.2020. Information about the authors:
Yuri P. Lisovec - Cand. Sci. (Phys.-Math.), Assoc. Prof. of the Higher Mathematics №1 Department, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), lisovec@gmail.com
Ekaterina L. Romanova - Cand. Sci. (Phys.-Math.), Assoc. Prof. of the Higher Mathematics №1 Department, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), e_borzistaya@mail.ru Wai Yan Min - PhD student of the Higher Mathematics №1 Department, National Research University of Electronic Technology (Russia, 124498, Moscow, Zelenograd, Shokin sq., 1), waiyanminn54@gmail.com
