CC BY
50
проектирование подсистемы детектирования лиц
++ ____«и»
и интерфейса работы с базой данных
в программно-аппаратном комплексе биометрической идентификации на основе нейросетевого распознавания лиц
Воронов Вячеслав Игоревич,
Московский технический университет связи и информатики, Москва, Россия, Vorvi@mail.ru
Быков Алексей Денисович,
Московский технический университет связи и информатики, Москва, Россия, 797787426l6@yandex.ru
Воронова Лилия Ивановна,
Московский технический университет связи и информатики, Москва, Россия, Voronova.lilia@yandex.ru
DOI: 10.36724/2072-8735-2020-14-4-31-38
Ключевые слова: биометрическая идентификация, распознавание лиц, нейросетевое распознавание, программно-аппаратный комплекс, метод Виолы-Джонса, метод трекинга центроидов, признаки Хаара, архитектура программно-аппаратного комплекса
Задача биометрической идентификации человека является крайне актуальной и может быть решена множеством способов. Она возможна по целому ряду статичных и динамических характеристик, таких как: папиллярный узор пальцев, геометрия руки, радужная оболочка глаз, геометрия лица (2D и 3D), рисунок вен, почерк, силуэт, походка, голос. Учитывая экстремальный рост числа доступных цифровых видео- и фотокамер в общественных местах, серьезное улучшение качества получаемых данных, снижение стоимости их получения, обработки и передачи, получили импульс к развитию методы идентификации людей по видео и фото изображениям. При этом подавляющее большинство методов ориентируется на распознавание лиц. Крупнейшие компании мира развивают собственные программные решения, реализующие функционал распознавания лиц на фотографиях и в видеопотоке, и предлагают рынку готовые конкурирующие решения. Во всех перечисленных решениях используется собственный набор методик и алгоритмов, при этом использование нейронных сетей стало де-факто промышленным стандартом, поскольку соответствующие методы дают максимально быстрые и точные результаты. Несмотря на сложность программно-аппаратной реализации систем биометрической идентификации на основе распознавания лиц, соответствующий рынок очень перспективен - по оценке Bloomberg его объем вырастет до 7,76 млрд. долл. к 2022 г. В Московском Техническом Университете Связи и Информатики (МТУСИ) на кафедре Интеллектуальных систем в управлении и автоматизации (ИСУиА) в рамках научного гранта №3-2/2019-2-Б ведется разработка прототипа программно-аппаратного комплекса биометрической идентификации (ПАК БИ) с использованием современных методов компьютерного зрения и нейросетевых способов распознавания лиц с возможностью последующей интеграцией в систему безопасности университета. Рассматриваются подсистемы детектирования лиц, файлового менеджера и серверной базы данных, входящие в проектируемый ПАК БИ.
Информация об авторах:
Воронов Вячеслав Игоревич, доцент каф. ИСУиА, к.т.н., Московский Технический Университет Связи и Информатики, Москва, Россия
Быков Алексей Денисович, магистрант, Московский Технический Университет Связи и Информатики, , Москва, Россия
Воронова Лилия Ивановна, зав. каф. ИСУиА, профессор, д.ф.-м.н., Московский Технический Университет Связи и Информатики, Москва, Россия
Для цитирования:
Воронов В.И., Быков А.Д., Воронова Л.И. Проектирование подсистемы детектирования лиц и интерфейса работы с базой данных в программно-аппаратном комплексе биометрической идентификации на основе нейросетевого распознавания лиц // T-Comm: Телекоммуникации и транспорт. 2020. Том 14. №4. С. 31-38.
For citation:
Voronov V.I., Bykov A.D., Voronova L.I. (2020) Designing a subsystem of face detection and database interface in the hardware-software complex of biometric identification based on neural network face recognition. T-Comm, vol. 14, no.4, pр. 31-38. (in Russian)
Чтобы узнать, соответствует ли используемый признак части изображения, необходимо узнать усредненную разницу ( ) между интенсивностью пикселей изображения, которые закрывают темные (dark) части признака и светлые (white) [15, 16]:
I " 1 "
Ш= dark - white = -^/(х,у) —]Г /(х, у)
dark
while
од од 0,2 ОД 0,7 ОД
0,2 0,3 0,2 0,7 0,8 0,2
ОД 0,4 0,3 0,3 ОД 0,3
од 0,5 ОД ОД 0,2 0,8
од 0,1 0,8 0,5 0,6 0,5
ОД 0,2 0,4 0,5 1,2 1,3
0,3 0,7 1,1 1,9 3,4 3,7
0,4 1,2 1,9 3,0 4,6 5,2
0,5 1,7 2,5 3,7 5,3 6,7
0,6 2,3 3,9 5,6 8,0 9,9
Исходное изображение
Интегральное представление
0,1 ОД 0,2 ОД 0,7 ОД
0,2 0,3 0,2 0,7 0,8 0,2
ОД 0,4 0,3 0,3 ОД 0,3
ОД 0,5 ОД ОД 0,2 0,8
ОД ОД 0,8 0,5 0.6 0.5
ОД 0,2 0,4 0,5 1,2 1,3
0,3 0,7 1Д 1,9 3,4 3,7
0,4 1,2 1,9 3,0 4,6 5,2
0,5 1,7 2,5 3,7 5,3 6,7
0,6 2,3 3,9 5,6 8,0 9,9
где п - количество пикселей, которые закрывает темная или светлая часть признака; I (х, у) - яркость пикселя исходного изображения; х, у - координаты пикселя.
В идеальном случае, если часть изображения соответствует шаблону, то такая разница равна 1. В реальном случае часть изображения считают равной признаку, если разница между темными и светлыми частями больше 0,5. Ma рисунке 3 представлен пример расчета интенсивности для части изображения.
Основной проблемой при сопоставлении признака с изображением является скорость работы алгоритма цри работе с отдельными пикселями изображения. Перемещая признак по изображению, необходимо заново рассчитывать сумму интенсивности пикселей, что повышает сложность алгоритма до О(п') в худшем случае для каждого используемого признака. Решение этой проблемы предложили Виола и Джонс с использованием интегрального представления изображения.
Интегральное представление изображения представляет собой матрицу, размерность которой совпадает с исходной размерностью изображения, а элементы ( ) представ-
ляются как общая сумма интенсивности пикселей, находящиеся левее и выше исходного пикселя и вычисляется с помощью формулы [ 17J:
Их, у) = 3,7 + 0,2 - 0,5 - 1,7 = 1,7 Рис. 5. Расчет интенсивности пикселей за областью
С использованием интегрального изображения, расчет интенсивности пикселей за любым признаком любого размера происходит очень быстро, что значительно ускоряет скорость поиска интересующих частей изображения.
Для обучения классификаторов, которые способны определять необходимые лицевые и нелицевые признаки в методе Виолы-Джонса используется метод машинного обучения АдаВоов! [18, 191.
Основной идеей алгоритма /\daBoost является обучение слабых классификаторов в ходе итеративного процесса, па каждом шаге которого новый классификатор обучается с использованием данных об ошибках предыдущих. Затем, обученные слабые классификаторы объединяют, получая сильный классификатор:
V 1=1 1=0,7=0
где / (х, у) — яркость пикселя исходного изображения.
На рисунке 4 приведен пример расчета интегрального представления изображения.
Рис. 4. Интегральное представление изображения
После нахождения интегрального представления сумму интенсивности пикселей исходного изображения, которую закрывает используемый признак, можно найти с помощью формулы:
Цх,у) = Н(х, у) + II (х -~ц?,у-И)~ И (х,у- И) - II (х - щ у)
где и' и А - ширина и высота темной/светлой части используемого признака. На рисунке 5 приведен пример расчета интенсивности прямоугольника размером 2x3 пикселя.
где — слабый классификатор; - вес классификатора.
Веса классификаторов распределяются адаптивно па основе того, насколько полученный слабый классификатор хорошо обучился на тренировочных данных. В результате работы алгоритма бустинга, полученный сильный классификатор определяет, присутствуют ли па части изображения лицевые признаки или нет.
Д]я ускорения работы алгоритма, совокупность классификаторов, полученных с помощью алгоритма Ас}аВооз1 объединяются в один каскадный классификатор, в котором «более сильные» классификаторы (с большей взвешенной суммой) идут в первую очередь [14, 19]. Это необходимо для того, чтобы как можно быстрее определить не лицевые области изображения и перейти к следующим. Если область изображения прошла весь каскад, то часть изображения классифицируется как лицо. На рисуике 6 представлен пример работы каскада классификаторов.
Область исходного изображения
лицо
Рис. 6. Каскад классификаторов, полученных с помощью AdaBoost
7ТТ
Трекмнг объектов методом центроид
Помимо детектирования объектов (лиц) важной задачей является отслеживание объектов в анализируемом видеопотоке. Для ее решения был использован метод трекинга центроида.
Метод трекинга центроида основан на отслеживании объектов в непрерывной серии кадров (видеоряде) и использует в своей работе центроиды обнаруженных объектов [20, 21]. Центроид представляет собой геометрический центр объекта, в котором определяется среднее арифметическое положений всех точек фигуры:
с=т£(%Ш>
к ы
где к - количество точек исходного множества
В качестве точек исходного множества используются ограничительные рамки объектов при их детектировании (прямоугольные, квадратные, круговые). Пример ограничительных рамок и рассчитанных для них центроидов представлен на рис. 7.
Ограничивающие рамки-
Объект 2
На вход алгоритма поступают ограничивающие рамки объекта, вычисленные с помощью методов детектирования. Если на момент работы алгоритма количество объектов в множестве объектов для трекинга равно нулю, то для поданных на вход ограничивающих рамок рассчитываются центроиды, и они регистрируются как новые объекты для трекинга, после чего происходит выход из работы алгоритма.
Если на момент работы алгоритма уже были ранее зарегистрированные объекты, то для всех поданных ограничивающих рамок рассчитываются центроиды и последовательно список из Евклидовых расстояний до центроид объектов, которые были зарегистрированы на предыдущей работе алгоритма (рис. 8).
Новый объект 2
Новый объект 1
Объект 1
"Новый объект 3
Рис, 8. Определение центроид и расстояний между центроидами предыдущего и текущего кадра
В каждом из полученных списков происходит поиск минимального значения. Индекс минимального значения в списке и будет соответствовать индексу ранее зарегистрированного объекта. Таким образом, текущий объект сопоставляется с полученным ранее объектом трекинга, что показано на рис. 9а, после чего для сопоставленных объектов обновляется координата центроиды. Если для какого-то из новых объектов не нашлось сопоставления с предыдущим объектом, то это означает, что в кадре появился новый объект и он регистрируется в общем списке объектов трекинга, ситуация изображена на рис. 96.
/
Рис. 7. Определение объектов в методе центроид
Алгоритм предполагает, что при перемещении объекта между последовательными кадрами, расстояние между центроидами этого объекта для текущего кадра ( ) и предыдущего кадра { ) будет меньше, чем все остальные расстояния между объектами.
Для расчета используется Евклидово расстояние между точками д; и у в «-мерном пространстве, которое вычисляется по формуле:
иоъекг /
Объект 1
* нетг сопоставления
Ооъект 2
Объект 3
Объект 1
а)
6)
Рис. 9. Сопоставление объектов на основании минимального Евклидова расстояния
Кроме регистрации новых объектов необходимо отслеживать момент, когда зарегистрированные ранее объекты исчезли из текущего кадра. Поэтому, если для объекта с предыдущего кадра не нашлось сопоставления в текущем, то такой объект помечается как «исчезнувший». Алгоритм продолжает отслеживать его на протяжении N кадров, и если он не появился снова, то удаляет его из списка зарегистрированных объектов.
Недостатком метода является проблема окклюзии - ситуации, в которой два объекта расположены приблизительно на одной линии и один объект, расположенный ближе, частично или полностью закрывает видимость другого объекта. Из-за окклюзии центроиды зарегистрированных объектов могут заменить друг друга и в следующих кадрах объекты будут идентифицированы ошибочно.
Похожая проблема с подменой центроид может наблюдаться при малой частоте обрабатываемых кадров (5 и меньше), В этом случае объекты будут резко перемешаться между кадрами из-за чего может произойти подмена центроид объектов.
Описание архитекторы системы биометрической идентификации
Подсистема детектирования и интерфейс взаимодействия с базой данных разрабатываются в рамках программно-аппаратного комплекса биометрической идентификации. Разрабатываемый комплекс позволяет детектировать и идентифицировать лица, полученные из потока видео с 1Р-камер и хранить полученные результаты в базе данных [22]. Архитектура комплекса представлена рис, 10.
Система безопасности
Система
ввдеонвйладенип
1>
Сервер приложений
Подсистема ■детектор'
Подсистема "Идентификатор"
Подсистема £ аза да нныч и файловый менеджер"
Сервер базы данных
База данных
Файловое хранилище
е о
• НаагСайсаШе - класс, позволяющий с инициировать конфигурационный файл метода Виолы-Джонса и каскадов Хаара и определить лица на изображении;
• ¥асеШёХесйоп - класс, с помощью которого детектированные лица регистрируются в алгоритме трекинга, удаляются из него и инициируется отправка в подсистему идентификатор.
HaarCascade
■ loggst Logger
- faca С asea de CascadeClas silier
* _mH_()
+ detectlframe ndarray!
Рис. 10. Архитектура комплекса биометрической идентификации
Комплекс состоит из следующих компонентов:
• подсистема видеонаблюдения;
• подсистема «Детектор» - обеспечивает детектирование и трекинг лиц в видеопотоке, полученном из камеры системы видео на блюден и я, и отправляет результаты в подсистему «Идентификатор»;
• подсистема «Идентификатор» - на основе полученного изображения лица идентифицирует человека и отправляет результат в интерфейс работы с Ьазой данных и файловым хранилищем;
• интерфейс работы с Базой данных и файловым хранилищем - полученный результат идентификации сохраняет в базу данных и обновляет изображение на файловом хранилище;
• база данных - хранит информацию о сотрудниках и их идентификациях во время работы системы;
• файловое хранилище - хранит изображения детектированных и идентифицированных сотрудников.
Разработка подсистемы «Детектор»
Подсистема «Детектор» представляет собой программное обеспечение, которое получает видеопоток с IP-камеры системы видеонаблюдения с помощью протокола RTSP и, используя метод Виолы-Джонса, определяет во входящем видеопотоке лица людей и отправляет фрагмент изображения* дату и время детекции и сгенерированный уникальный идентификатор события в подсистему «Идентификатор».
На рисунке 11 представлена диаграмма классов подсистемы детектирования:
• main - основной класс в котором происходит инициация начальных параметров и классов, а также запуск самой подсистемы;
• VideoCaptureAsync — класс, позволяющий установить соединение с камерой, а также получения изображений в асинхронном режиме;
i
FaceDelection
■logger Logger
- model MaarCadcade
■ rabbilConrtection RabMConnection o fijeos Order er Diet
■ disappeared OrdererDlct
■ ma.iDisappered irrt
- datetime dátenme
■ canld ml_
main
- laceD etedion FaceDelection
- logger. Logger
-videoCap VideoCaptureAsync
* mainH
i
VideoCaptureAsync
- sre int
- logger Logger
- cap: VideoCapture
- started Pool
• read Jock Lock
+ start 0
+read 0
* slop ()
- update 0
-set [van cv2 Consts var2 int)
-_exif_0
уникальный идентификатор объекта;
время первого детектирования объекта;
был ли объект отправлен в подсистему идентифика-
•_mit_(camjd int. manDisappered int)
- DetectFaces (frame, ndarray)
- Sent)Face (objectid uuid)
■ Update О bj eel streets, listirrt ,img_faces üst: ndarray)
■ RegisterObjecis (centoid ndarray Int reels Bstifil imgjaces list:ndarray)
■ DeleteOblectfobleel id: uuid)
Ряс, П. Диаграмма классов подсистемы «Детектор»
Подсистема детектор реализована с использованием языка программирования Python 3. Для подключения к IP-камере и детектирования лиц методом Виолы-Джонса была использована открытая библиотека OpenCV 4.1 [22],
Авторская программная реализация метода отслеживания центроида хранит для каждого объекта следующую информацию, представленную на рис. 12: •
ции;
• изображение лица с максимальным соотношением сторон, которое было обнаружено в течении всего времени детектирования и трекинга;
• ограничивающие рамки текущей итерации.
id: e0350c48adc04977b27f7703143536af
datetime: 2019-12-03 22-09-30
is_send©d: false
centroid: [277, 210]
bounding box: [167,100, 220, 220]
maxjmg: [[0, 255, 203, 213...]...,]
Рис. 12. Информация о детектированном объекте
Помимо этого, было использовано решение для обхода проблем окклюзии. Для этого отслеживаются радиусы вписанных окружностей ограничивающих рамок для каждой
центроиды. Если расстояние между центроидами меньше или равно сумме радиусов, относящиеся к этим центроидам, то такие лица отправляются в подсистему «Идентификатор» и помечаются специальным флагом
Подсистема «Детектор» использует алгоритм для своей работы:
1. По протоколу RTSP с помощью метода read класса VideoCaptureAsync считывается текущий кадр с JP-камеры системы видеонаблюдения.
2. Полученный кадр передается в метод DeteetFaces класса FaceDetection для поиска лиц на изображении, в виде ограничивающих рамок.
3. Полученные ограничивающие рамки передаются в метод UpdateObjects, в котором происходит сопоставление с предыдущими объектами, регистрация новых и удаление старых. Если объект удаляется, и он не был ранее отправлен в подсистему «Идентификатор», то перед удалением объект отправляется в эчу подсистему.
4. Условием отправки изображения является условие, что текущий размер ограничивающей рамки меньше в определенное количество раз максимально найденного {на данный момент установлено значение в 0,25). Такое условие позволяет отправить в подсистему «Идентификатор» изображение лица с максимальным разрешением, что позволит более точно его опознать. Если изображение лица объекта было отправлено, то оно помечается специальным флагом, чтобы предотвратить повторную отправку.
Все изображения, отправленные подсистемой «Детектор», сохраняются на файловое хранилище, для дальнейшей идентификации и анализа работы комплекса биометрической идентификации.
Разработка интерфейса для работы с базой данных
и файловым хранилищем
Интерфейс работы с БД и файловым хранилищем представляет собой программное обеспечение, которое получает информацию из подсистемы «Идентификатор» и после ее обработки записывает в базу данных и обновляет сохраненные изображения детектированных лиц на файловом хранилище.
Па рисунке 13 диа1рамма классов и классов-шаблонов для интерфейса:
• Employee - определяет ноля таблицы базы данных сотрудников;
• Identification - определяет поля таблицы базы данных для записи результатов идентификации;
• FileDhManager - используется для переименования и удаления фотографий в соответствии с результатами идентификации и записи результатов идентификации в базу данных;
• Program - основной класс программы, инициализирующий работу подсистемы.
Классы Employee и Identifications представляют собой классы шаблоны, с помощью которых осуществляется работа с базой данных с использованием технологии OR M (Object-Relational Mapping, рус. объектно-реляционное отображение). Данная технология связывает базы данных с концепциями объектно-ориентированных языков программирования, создавая «виртуальную объектную базу данных».
Identification
■ id: int
• employeejd in!
• cam_kl: int
■ Date: string
■ ImgPatri siring
FiteDbManager
• path string
Employee
- id: int
' riame: stnng
■_iriil_0
■ Save (employeejd: int datetme: string, camjd: ml, img_path string)
Program
- maino
Рис. 13. Диаграмма классов интерфейса БД и файлового менеджера
Интерфейс БД и файлового хранилища реализован с использованием языка программирования Python 3 и использует для своей работы открытую библиотеку Sql Alchemy, которая позволяет работать с базой данных с использованием ORM технологии.
На рисунке 14 представлена используемая база данных, содержащая в себе две сущности, соответствующие классам Employee и Identification-.
• Employyes - сущность сотрудника в которой хранятся следующие данные:
о Уникальный идентификатор сотрудника;
о ФИО сотрудника.
• Identifications - сущность, описывающая все отработанные идентификации системы и состоит из следующих данных:
о Уникальный идентификатор события;
о Уникальный идентификатор сотрудника;
о Уникальный идентификатор камеры;
о Дата, когда сотрудник был идентифицирован;
о Путь до фотографии в файловой системе, по которой сотрудник был идентифицирован.
Employees
Id integer
Name tent
JftddMd
Identifications
Id integer
Employed d integer
Cam Id integer
Dal? text
ImgPath lent
»(Add «Did
Рис, 14. Схема базы данных системы биометрической идентификации
Сценарий работы интерфейса состоит из следующих этапов:
1. Интерфейс ожидает сообщений от подсистемы «Идентифик ато р».
2. Получив сообщение, интерфейс получает следующую информацию из заголовков: уникальный идентификатор сотрудника, момент времени, в который сотрудник был детектирован, уникальный идентификатор камеры, на которой произошло детектирование, путь к сохраненной фотографии в момент детектирования.
3. Интерфейс записывает в базе данных информацию. Если полученный уникальный идентификатор не является сотрудником (специально зарезервированный уникальный
идентификатор), то в базу записывается о детектировании неопознанного человека (unknown), а фотография переносится в специальную директорию не распознанных объектов.
Заключение
В статье рассмотрена реализация задачи детекции, тре-кинга и хранения результатов работы программно-аппаратного комплекса биометрической идентификации биометрической идентификации. Для решения задачи детектирования лиц и трекинга обнаруженных объектов применялись метод Виолы-Джонса с анализом каскадов Хаара и ме-з'од грекинга центроид объектов. Разработана архитектура ПЛК 13И, спроектированы подсистема «Детектор» и интерфейс подсистемы «База данных и файловое хранилище», приведены пх диаграммы классов и описание работы.
Литература
1. Технология распознавания лиц - новая эра в в и деоа политике, системах видсонаблюдения и контроля доступа // Интемс URL: https://securityrussia.com/blog/fage-recognitLon.html {дата обращения: 30.10.2020),
2. Распознавание лиц // DATA-Систем URL: litt ps://www. hard broker.ru/pages/recogniti on (дата обращения: 30.01.2020).
3. Система распознавания лиц на ЧМ-2018 помогла задержал. более 180 человек // ВЕДОМОСТИ URL: https://www.vedomosti.ru/politics/news/2018/07/26/776624-sistema-raspoznavaniya-na-chm-2018 (дата обращения: 30.01.2020).
4. ß Москве внедрят систему распознавания лип на массовых мероприятиях // Новая газета URL: https://www.novayagazeta.ru/news/2019/09/06/155035-v-moskve-vnediyat-si stem n-raspoznavan iya-Uts-ш-massovy h-meropriy atiyab (дата обращения: 30,01.2020).
5. Facia! Recognition Market worth $7.0 billion by 2024 // Markets and Markets URL: https://www.markctsandmarkets.com/ PressReleases/facial-recognition.asp (дата обращения: 30.01.2020).
6. Максименко B.H.. Волошина Т.С. Анализ системы распознавания лиц по алгоритму нейронной сети // Экономика и качество систем связи. 2018. №4.
7. ИванькоД.В. Моделирование системы распознавания лиц с использованием мнемонического описания // Компьютерные инструмента в образовании. 2016.
8. MEGVIl-Your AloT Solutions Expert URL; https://www.megvii.com/en/ (дата обращения: 30.01.2020).
9. VisionLabs URL: https://visionlabs.ai/ru/ (дата обращения: 30.01.2020).
10. NTechLab URL: https://ntechlab.ru/ (дата обращения: 30.01.2020).
11. Facial recognition: top 7 trends (tech, vendors, markets, use cases and latest news) // Gemalto URL: https://www.gemalto.com/govt/biomctrics/facial-recognition (дата обращения: 30.01.2020).
12. Вокорд. Системы видеонаблюдения, распознавания лиц, фотофиксацнн нарушений ПДД, аудиорегистрации URL: https://vocord.ru/ (дата обращения: 30,01.2020).
13. Татаренкое Д.А. Анализ методов обнаружения лиц на изображении // Молодой учёный. 2015, №4.
14. Neetu Saini. Sukhwinder Kaur, Hari Singh. A Review: Face Detection Methods And Algorithms// International Journal of Engineering Research & Technology, 2013. №6.
15. P. Viola and M.J. Jones. Rapid Objcct Detection using a Boosted Cascade of Simple Features // proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR 2001), 2001.
16. P. Viola and M.J. Jones. Robust real-time face detection // International Journal of Computer Vision, vol. 57, no. 2, 2004, pp. 137-154.
17. Franzis Faux, Franck Luihon. Theory of evidence for face detection and tracking // International Journal of Approximate Reasoning, 2012, №53.
18. Xin Zhang, Thomas Gonnot. Jafar Saniie. Real-Time Facc Detection and Recognition in Complex Background // Journal of Signal and Information Processing. 2017. №8.
19. Yite Zhou. Hai Tao. A Background Layer Model for Object Tracking through Occlusion // Proceedings of the Ninth IEEE International Conference on Computer Vision, 2003.
20. Зайцева E.B.. Степанова А.Л. Классификация современных методов грекинга объектов в интеллектуальных системах видеонаблюдения // Горный информационно-аналитический бюллетень (научно-технический журнал). 2013,
21. Voronov Vyacheslav I., Voronova Lilia /., Bykov Alexev D.. Zharov Ivan A. Software Complex of Biometrie Identification Based on Neural Network Face Recognition // International Conference "Quality Management, Transport and Information Security, Information Technologies" (1T&QM&1S), 2019.
22. OpenCV URL: https://opencv.org/ (дата обращения: 15.09.2019).
DESIGNING A SUBSYSTEM OF FACE DETECTION AND DATABASE INTERFACE IN THE HARDWARE-SOFTWARE COMPLEX OF BIOMETRIC IDENTIFICATION BASED ON NEURAL NETWORK FACE RECOGNITION
Vyacheslav I. Voronov, Moscow Technical University of Communications and Informatics, Moscow, Russia, vorvi@mail.ru Alexey D. Bykov, Moscow Technical University of Communications and Informatics, Moscow, Russia, 79778742616@yandex.ru Lilia I. Voronova, Moscow Technical University of Communications and Informatics, Moscow, Russia, voronova.lilia@yandex.ru Abstract
The task of biometric identification of a person is extremely urgent and can be solved in many ways. It is possible by a number of static and dynamic characteristics such as: papillary finger pattern, hand geometry, iris, face geometry (2D and 3D), vein pattern, handwriting, silhouette, gait, voice. Given the extreme growth in the number of available digital video and photo cameras in public places, a serious improvement in the quality of the data received, reducing the cost of receiving, processing and transmitting them, have received an impetus to develop methods for identifying people by video and photo images. At the same time, the vast majority of methods focus on facial recognition. The largest companies in the world are developing their own software solutions that implement facial recognition functionality in photos and video stream, and offer the market ready-made competitive solutions. All these solutions use their own set of methods and algorithms, while the use of neural networks has become a de facto industry standard, because the methods provide the fastest and most accurate results. Despite the complexity of hardware-software implementation of biometric identification systems based on face recognition, the relevant market is very promising - according to Bloomberg estimates its volume will grow to 7.76 billion U.S. dollars by 2022. In Moscow Technical University of Communications and Informatics (MTUCI) at the Department of Intelligent Systems in Control and Automation (ISCA) in the framework of scientific grant № 3-2/2019-2-B the development of a prototype of hardware-software complex for biometric identification (HSC BI) with the use of modern methods of computer vision and neural network methods of face recognition with the possibility of subsequent integration into the security system of the university is underway. The article deals with the subsystems of face detection, file manager and server database included in the projected HSC BI.
Keywords: biometric identification, face recognition, neural network recognition, hardware-software complex, Viola-Jones method, centroid tracking method, Haar features, hardware-software architecture.
References
1. Face recognition technology - a new era in video analytics, video surveillance and access control systems. Intems URL: https://securityrussia.com/blog/face-recognition.html (date of address: 30.10.2020).
2. Face recognition. DATA-systems URL: https://www.hardbroker.ru/pages/recognition (date of address: 30.01.2020).
3. Face recognition system for the 2018 FIFA World Cup helped to detain more than 180 people. DATA-SYSTEM URL: https://www.vedomosti.ru/poli-tics/news/20l8/07/26/776624-sistema-raspoznavaniya-na-chm-20l8 (contact date: 30.01.2020).
4. A facial recognition system will be introduced in Moscow. New newspaper URL: https://www.novayagazeta.ru/news/20l9/09/06/l55035-v-moskve-vnedryat-sistemu-raspoznavaniya-lits-na-massovyh-meropriyatiyah (date of address: 30.01.2020).
5. Facial Recognition Market worth $7.0 billion by 2024. Markets and Markets URL: https://www.marketsandmarkets.com/PressReleases/facial-recogni-tion.asp (circulation date: 30.01.2020).
6. Maximenko V.N., Voloshina T.S. (2018). Facial recognition system analysis by the neural network algorithm. Economics and quality of communication systems. No. 4. (in Russian)
7. Ivan'ko D.V. (2016). Facial recognition system modeling with mnemonic description. Computer tools in education. (in Russian)
8. MEGVII-Your AIoT Solutions Expert URL: https://www.megvii.com/en/ (address date: 30.01.2020).
9. VisionLabs URL: https://visionlabs.ai/ru/ (date of address: 30.01.2020).
10. NTechLab URL: https://ntechlab.ru/ (access date: 30.01.2020).
11. Facial recognition: top 7 trends (tech, vendors, markets, use cases and latest news). Gemalto URL: https://www.gemalto.com/govt/biometrics/facial-recognition (access date: 30.01.2020).
12. Word. Video surveillance systems, facial recognition, photofixation of traffic violations, audio registration URL: https://vocord.ru/ (date of address: 30.01.2020).
13. Tatarenkov D.A. (2015). Analysis of the face detection methods on the image. Young scientist. No. 4.
14. Neetu Saini, Sukhwinder Kaur, Hari Singh. (2013). A Review: Face Detection Methods And Algorithms. International Journal of Engineering Research & Technology. No. 6.
15. P. Viola and M.J. Jones. (2001). Rapid Object Detection using a Boosted Cascade of Simple Features. Proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR 2001).
16. P. Viola and M.J. Jones. (2004). Robust real-time face detection. International Journal of Computer Vision, vol. 57, no. 2, pp. 137-154.
17. Fransis Faux, Franck Luthon. (2012). Theory of evidence for face detection and tracking. International Journal of Approximate Reasoning. No. 53.
18. Xin Zhang, Thomas Gonnot, Jafar Saniie. (2017). Real-Time Face Detection and Recognition in Complex Background. Journal of Signal and Information Processing. No. 8.
19. Yue Zhou, Hai Tao. (2003). A Background Layer Model for Object Tracking through Occlusion. Proceedings of the Ninth IEEE International Conference on Computer Vision.
20. E.V. Zaitseva, A.L. Stepanova (2013). Classification of modern methods of object tracking and nteligent video surveillance systems. Mountain information-analytical bulletin (scientific and technical journal).
21. V.I. Voronov, L.I. Voronova, A.D. Bykov, I.A. Zharov. (2019). Software Complex of Biometric Identification Based on Neural Network Face Recognition. International Conference "Quality Management, Transport and Information Security, Information Technologies" (IT&QM&IS).
22. OpenCV URL: https://opencv.org/ (accessed on 15.09.2019).
Information about author:
Vyacheslav I. Voronov, docent, ISCA, Cand. of Sc, Moscow Technical University of Communications and Informatics, Moscow, Russia Alexey D. Bykov, graduate student, Moscow Technical University of Communications and Informatics, Moscow, Russia
Lilia I. Voronova, Head of the Department of ISCA, Full Professor, Doctor of Sc., Moscow Technical University of Communications and Informatics, Moscow, Russia
