CC BY
272|—[ Д ТКузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация
7"Г~ГТ_ Т Л Т методов обнаружения и распознавания лица на изображении // Научный результат. I Г.|") У I I Г) I гЛ I Информационные технологии. - Т.4, №1,2019
RESEARCH RESULT!
ИНФОРМАЦИОННО-ТЕЛЕКОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ INFORMATION TECHNOLOGIES AND TELECOMMUNICATION
УДК 004.75
DOI: 10.18413/2518-1092-2019-4-1-0-6
Кузнецов Д.А.1 Никольский П.Г.1 Рачков Д.С.1 Кузнецов А.В.1 Хахамов А.П.2
КЛАССИФИКАЦИЯ МЕТОДОВ ОБНАРУЖЕНИЯ И РАСПОЗНАВАНИЯ ЛИЦА НА ИЗОБРАЖЕНИИ
1) Федеральное государственное казённое военное образовательное учреждение высшего образования «Академия Федеральной службы охраны Российской Федерации», ул. Приборостроительная, д. 35, г. Орёл, 302034, Россия 2) ФГБОУ ВО «ОГУ имени И.С. Тургенева», ул. Комсомольская, д. 95, г. Орел, 302026, Россия
e-mail: [email protected], [email protected], [email protected], [email protected], [email protected] Аннотация
Концепция интеллектуального зала совещаний подразумевает реализацию подсистемы контроля и управления доступом. В число функций, выполняемых этой подсистемой, входят идентификация и аутентификация пользователей. Одним из способов осуществления этих процедур является проведение обнаружения и распознавания лиц на изображениях, полученных с помощью установленных видеокамер. Другой сферой применения методов обнаружения и распознавания лиц является сенсорная плоскость интеллектуального зала совещаний, где указанные методы используются для идентификации участников, а также их автоматического учета. Задача обнаружения лица является первым шагом в процессе решения задачи распознавания лица. Следующим этапом процесса идентификации пользователя после обнаружения лица является непосредственно его распознавание. Оно производится путем сравнения вычисленных признаков с заложенными в базу данных эталонами. Многообразие различных алгоритмов обнаружения и распознавания лица обуславливает необходимость выбора оптимальных методов с точки зрения скорости обнаружения, точности распознавания и простоты реализации.
Ключевые слова: интеллектуальное пространство; зал; обнаружение лица; аутентификация; автоматизация; распознавание; контроль доступа.
UDC 004.75
Kuznetsov D.A.1 Nikolsky P.G.1 Rachkov D.S.1 Kuznetsov A.V.1 Khakhamov A.P.2
CLASSIFICATION OF DETECTION AND RECOGNITION METHODS OF THE PERSON ON THE IMAGE
1) Federal state military educational institution of higher professional education "Academy of the Federal security service of the
Russian Federation", 35 Priborostroitelnaya St, Orel, 302034, Russia
2) Federal state budgetary institution of higher education "Orel state University" named after I.S. Turgenev,
95 Komsomolskaya St, Orel, 302026, Russia
e-mail: [email protected], [email protected], [email protected], [email protected], [email protected]
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
Annotation
The concept of the intellectual hall of meetings means implementation of a subsystem of control and access control. The number of the functions which are carried out by this subsystem includes identification and authentication of users. One of ways of implementation of these procedures is carrying out detection and facial recognition on the images received by means of the installed video cameras. Other scope of methods of detection and facial recognition is the touch plane of the intellectual hall of meetings where the specified methods are used for identification of participants and also their automatic accounting. The problem of detection of the person is the first step in the course of a solution of a problem of recognition of the person. The following process step of user identification after detection of the person is directly its recognition. It is made by comparison of the calculated signs with the standards put in the database. The variety of different algorithms of detection and recognition of the person causes need of the choice of optimum methods in terms of the speed of detection, accuracy of recognition and simplicity of implementation.
Keywords: intellectual space; room; detection of the person; authentication; automation; recognition; access control.
ВВЕДЕНИЕ
Реализация подсистемы контроля и управления доступом в концепции интеллектуального зала совещаний [1] предусматривает многофакторную аутентификацию пользователей, одной из составляющих которой является идентификация человека по лицу. Важную роль играет применение методов обнаружения и распознавания лиц в сенсорной плоскости системы сопровождения совещания для идентификации участников совещания. В связи с этим стоит задача выбора оптимальных с точки зрения точности и простоты реализации методов обнаружения и распознавания лица на изображении.
ОСНОВНАЯ ЧАСТЬ
Методы обнаружения и распознавания лица на изображении
Задача обнаружения лица является первым шагом в процессе решения задачи распознавания лица. Также информация о присутствии и количестве лиц на изображении необходима для автоматического учета участников совещания. Многообразие методов обнаружения лица представлено на рисунке 1.
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
Рис. 1. Классификация методов обнаружения лица Fig. 1. Classification of face detection methods
Вторым этапом процесса идентификации пользователя после обнаружения лица является непосредственно его распознавание. Оно производится путем сравнения вычисленных признаков с заложенными в базу данных эталонами. Основным отличием всех методов распознавания лица будет вычисление признаков и сравнение между собой (рис.2).
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
Методы распознавания лица
Рис. 2. Классификация методов распознавания лица Fig. 2. Classification of facial recognition methods
Краткая характеристика методов из предложенной классификации представлена в таблице.
Таблица
Методы обнаружения и распознавания лица на изображении
Table
Methods of person detection and recognition on the image
№ п/п Название метода Особенности применения Область применения Источник
1 Метод детектирования с помощью трехмерных форм Использует шаблон в виде пар отношений яркостей в двух областях. Все изображение сравнивается с заданным шаблоном с различным масштабом Обнаружение лиц [2]
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
№ п/п Название метода Особенности применения Область применения Источник
2 Метод распределения опорных точек Выделяет форму переменных объектов в пределах учебного набора. Использует корреляцию для нахождения лица Разработка эффективных систем классификации [3]
Подвергает изображения сильному
уменьшению для сглаживания помех и
3 Метод сильного уменьшения изображения уменьшения вычислительных операций. Обнаруживает область Обнаружение [4]
равномерного распределения яркости, лиц
после чего проверяет наличие резко отличающихся по яркости областей внутри
4 Метод построения гистограмм Строит горизонтальную и вертикальную гистограммы изображения для определения областей с наличием лица Обнаружение лиц [5]
Метод обнаружения лица в сложных сценах Ищет правильные геометрические
5 расположения черт лица с помощью гауссовского производного фильтра с множеством различных масштабов и Обнаружение лиц [6]
ориентаций
6 Метод группировки признаков Использует вторую производную гауссовского фильтра для необходимых областей. С помощью порогового фильтра происходит Обнаружение [3]
группировка краев вокруг каждой лиц
области, а затем оценка с помощью байесовской сети для комбинирования признаков
7 Метод главных компонент Производит сжатие информации с целью сохранения наиболее важной информации Обнаружение и распознавание лиц [7]
Получает модель изображения лица с
Факторный анализ некоторым числом параметров, с Обнаружение и
8 помощью которой производится оценка близости тестового изображения к изображению лица распознавание лиц [8]
Выбирает проекцию пространства
9 Линейный дискриминантный анализ изображений на пространство признаков так, чтобы минимизировать внутриклассовое и максимизировать Обнаружение и распознавание лиц [9]
межклассовое расстояние в пространстве признаков
10 Метод смеси многомерных нормальных распределений Строится модель из нескольких кластеров изображений лиц и «не-лиц». Расстояния до этих кластеров Обнаружение и распознавание [10]
передаются нейронной сети для лиц
вынесения решения о наличии лица
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
№ п/п Название метода Особенности применения Область применения Источник
11 Активные модели внешнего вида Задает изменения формы лица и его характерных черт. Для обнаружения лица находятся параметры, которые задают изображение наиболее близкое к наблюдаемому. Степень близости внешнего вида модели к наблюдаемому изображению дает возможность оценить, есть ли лицо на изображении Анализ рентгеновских снимков и обнаружение и распознавание лиц [11]
12 Скрытые марковские модели Преобразует изображение в сигнал. Вероятность появления лица на изображении оценивается как вероятность генерации сигнала, соответствующего вектору признаков Обнаружение и распознавание лиц [12]
13 Метод опорных векторов Производит поиск гиперплоскости в признаковом пространстве, отделяющий класс изображений лиц от изображений «не-лиц». Далее происходит линейное разделение классов с помощью проецирования векторов-признаков Обнаружение и распознавание лиц [13]
14 Нейронные сети Получение классификатора, моделирующего сложную функцию распределения изображений лиц Обнаружение и распознавание лиц [14]
15 Алгоритм Виолы-Джонса Изображение сканируется окном поиска, а затем применяется классификатор по каждому положению с помощью признаков Хаара [15] Поиск изображений в реальном времени [15]
16 Метод сравнения на графах Эластичное сопоставление графов, описывающих изображения лиц. Лица представляются в виде графов со взвешенными вершинами ребрами. Обнаружение и распознавание лиц [2]
17 Активные модели формы Распознавание производится на основе сравнения контуров лица, извлекаемых для линий головы, ушей, губ, носа, бровей и глаз. Контуры представлены ключевыми позициями, между которыми положения точек вычисляются интерполированием Обнаружение и распознавание лиц [16]
18 Метод информативных областей Определение информативных областей изображения, используемых для вычисления признаков. По обучающим наборам сохраняются позиции и признаки лиц с соответствующими метками классов. При сравнении решение принимается по наиболее совпадающему признаку Обнаружение и распознавание лиц [17]
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
№ п/п Название метода Особенности применения Область применения Источник
19 Морфинговые модели Для каждого класса объектов (лица или другого необходимого объекта) строится морфинговая модель, позволяющая сравнить новое изображение из этого класса объектов. Распознавание лиц, верификация объектов [18]
20 Методы основанные на геометрических характеристиках Выделение набора ключевых точек (областей) лица и последующее выделение набора признаков Криминалистика [19]
21 Сравнение эталонов Выделение областей лица на изображении и сравнение этих областей двух различных изображений методом попиксельного сравнения Обнаружение и распознавание лиц [2]
22 Общие дискриминантные векторы Каждое изображение является точкой в пространстве некоторой размерности. У каждого человека в выборке есть несколько фотографий. Строится разбиение этого пространства на области, принадлежащие разным людям Обнаружение и распознавание лиц [20]
ЗАКЛЮЧЕНИЕ
На сегодняшний день существует множество эффективных алгоритмов обнаружения и распознавания лиц на изображениях. Предложенная классификация методов обнаружения и распознавания лиц отражает основные особенности и принципы работы каждого метода, что позволит более точно определить необходимость использования того или иного метода при реализации конкретных задач. Подсистема контроля и управления доступом в концепции интеллектуального зала совещаний подразумевает многофакторную аутентификацию пользователей, одной из составляющих которой является идентификация человека по лицу. В соответствии с предложенной классификацией в данной подсистеме принято решение использовать метод Виолы-Джонса для обнаружения лица, а также метод активных моделей внешнего вида для распознавания лица.
Работа выполнена при финансовой поддержке фонда РФФИ (проект № 18-07-00380).
Список литературы
1. Кузнецов Д.А. Предпосылки создания интеллектуального зала совещаний / Кузнецов Д.А., Офицеров А.И., Кузнецов А.В., Чистяков С.В., Басов О.О. // Научный результат. Информационные технологии. 2018. Том 3. Вып. 2. С. 44-50.
2. Тропченко А.Ю. Методы вторичной обработки и распознавания изображений / Тропченко А.Ю., Тропченко А.А. // Университет ИТМО, 2015. С. 215.
3. Татаренков Д.А. Анализ методов обнаружения лиц на изображении / Татаренков Д.А. // Молодой ученый. 2015. С. 270-276.
4. Рахманкулов В.З. Обработка и распознавание изображений промышленных деталей // Рахманкулов В.З., Ахрем А.А., Герасимов В.В., Лебедев В В. // Труды ИСА РАН. 2005. С. 99-129.
5. Валюх А.А. Алгоритм поиска изображений на основе гистограмм. / Валюх А.А., Тонкошкур Ю.О. // [Электронный ресурс]. - Режим доступа: http://ea.donntu.org:8080/Ыtstream/Ш456789/Ш66/1/Валюх0/o20А.А..pdf (дата обращения: 10.01.2019)
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
6. Алкилар-Гонзалез П.М. Автоматизированное обнаружение объектов на зашумленном изображении / Алкилар-Гонзалез П.М., Карнаухов В.Н., Кобер В.И. // Информационные процессы. 2014. Том 14. Вып 1. С. 1-8.
7. Померанцев А. Метод главных компонент / Померанцев А. // Российское хемометрическое общество. [Электронный ресурс]. -Режим доступа: http://rcs.chemometrics.ru/Tutorials/pca (дата обращения: 10.01.2019).
8. Харман Г. Современный факторный анализ / Харман Г. // М.: Статистика. 1972. С. 489.
9. Тимошенко Д.М. Методы автоматической идентификации личности по изображениям лиц, полученным в неконтролируемых условиях / Тимошенко Д.М. // Автореферат дис.кан.наук. Петрозаводск. 2014.С. 16.
10. Воронцов К.В. Лекции по статистическим алгоритмам классификации / Воронцов К.В. // ФУПМ МФТИ. 2005.
11. Кутес Т.Ф. Активные модели внешнего вида / Ф. Кутес, Г.Дж. Эдвардс, К.Дж. Тейлор // Конференция IEEE по анализу образов и компьютерной разведке. 2001. С. 681-685.
12. Двойной И.Р. Сравнительный анализ структур скрытых марковских моделей, используемых в задаче установления личности человека по изображению лица / Двойной И.Р., Сальников. И.И. // [Электронный ресурс] Современные проблемы науки и образования. 2013. URL: www.scienceeducation.ru/113-10751 (дата обращения: 10.01.2019).
13.Иванов Ю.С. Алгоритмы распознавания подвижных объектов для интеллектуальных систем охранного видеонаблюдения / Иванов Ю.С. // Автореферат дис. кан. наук. Комсомольск-на-Амуре. 2014. С. 159.
14. Бураков М.В. Нейронные сети и нейроконтроллеры / Бураков М.В. // Учебное пособие. СПб.: ГУАП. 2013. С. 284.
15. Виола Р. Быстрое обнаружение объекта, используя усиленный каскад простых признаков / P. Виола, М.Д. Джонс // Конференция по компьютерному зрению и распознаванию образов. 2001.
16. Кутес Т.Ф. Сравнение активных моделей формы с активными моделями внешнего вида / Т.Ф. Кутес, Г.Дж. Эдвардс, К.Дж. Тейлор // Конференция: британские слушания по компьютерному зрению. 1999. С. 10.
17. Мурашов Д.М. Метод локализации информативных областей с текстурой специального вида / Мурашов Д.М., Мурашов Ф.Д. // «Машинное обучение и анализ данных. 2018. С. 122-135.
18. Зенин А.В. Анализ методов распознавания образов / Зенин А.В. // Молодой ученый. 2017. С. 125-130.
19.Якименко Ю.И. Методы автоматической идентификации лиц / Якименко Ю.И., Дзюба В.Г. // Четвертая международная студенческая конференция «Свет молодым-молодым свету». 2004. С. 85-90.
20. Ким. Дж. Факторный дискриминантный и кластерный анализ / Ким. Дж., Мьюллер Ч.У., Клекка У.Р. // Финансы и статистика. 1989. С. 215.
References
1. Kuznetsov D. A. Prerequisites of creation of the intellectual hall Meetings / Kuznetsov D.A., Ofitserov A.I., Kuznetsov A.V., Chistyakov S.V., Basov O.O. //Scientific result. Information technologies. 2018. Volume 3. Issue 2. P. 44-50.
2. Tropchenko A.Yu. Methods of secondary processing and images recognition / Tropchenko A.Yu., Tropchenko A.A. // ITMO university, 2015. P. 215.
3. Tatarenkov D.A. The analysis of methods of detection of persons on Image / Tatarenkov D.A. // Young scientist. 2015. P. 270-276.
4. Rakhmankulov V.Z. Processing and recognition of images of industrial details // Rakhmankulov V.Z., Akhr A.A., Gerasimov V.V., Lebedev V.V.//Works IZA RAHN. 2005. P. 99-129.
5. Valyukh A.A. An algorithm of search of images on the basis of histograms. / Valyukh A.A., Tonkoshkur Yu.O. // [Electronic resource]. - the access Mode: http://ea.donntu.org:8080/bitstream/123456789/12866/1/Banrox%20A.A..pdf (date of the address: 10.01.2019).
6. Alkilar-Gonzalez P.M. The automated detection of objects on the noisy image. / Alkilar-Gonzalez P.M., Karnaukhov V.N., Kober V.I. // Information processes. 2014. Volume 14. Vyp 1. P. 1-8.
Кузнецов Д.А., Никольский П.Г., Рачков Д.С., Кузнецов А.В., Хахамов А.П. Классификация методов обнаружения и распознавания лица на изображении // Научный результат. Информационные технологии. - Т.4, №1,2019
7. Pomerantsev A. Method main component. / Pomerantsev A. // Russian hemometrichesky society. [Electronic resource]. - the access Mode: http://rcs.chemometrics.ru/Tutorials/pca (date of the address: 10.01.2019).
8. Harman G. Modern factorial analysis / Harman G. // M.: Statistics. 1972. P. 489.
9. Tymoshenko D.M. Methods of automatic identification of the personality according to the images of persons received in uncontrollable conditions / Tymoshenko D.M.//Abstract thesis. cand. of sciences. Petrozavodsk. 2014. P. 16.
10.Vorontsov K.V. Lectures on statistical algorithms of classification / Vorontsov K.V. // FUPM MIPT.
2005.
11. T.F. cutis. Active models of appearance / F. Kutes, G. J. Edwards, K. J. Taylor // IEEE Conference on the analysis of images and computer vision. 2001. P. 681-685.
12. Double I.R. The comparative analysis of structures of the hidden Markov models used in a problem of identification of the person of the image of the person / Double I.R., Sealing glands. I.I. // [Electronic resource] Modern problems of science and education. 2013. URL: www.scienceeducation.ru/113-10751 (date of the address: 10.01.2019).
13. Ivanov Yu.S. Algorithms of recognition of mobile objects for the intellectual systems of security video surveillance. / Ivanov Yu.S. // Abstract yew. canal of sciences. Komsomolsk-on-Amur. 2014. P. 159.
14. Burakov M.V. Neural networks and Neurocontrollers / Beets M. B. // Manual. SPb.: GUAP. 2013. P. 284.
15. Viol of River. Fast detection of an object, using the strengthened cascade of simple signs. / P. Viola, M.D. Jones // Conference on computer sight and recognition of images. 2001.
16. T.F. cutis. Comparison of active models of a form with active models of appearance / T.F. Kutes, G.J. Edwards, K. J. Taylor // Conference: the British hearings on computer sight. 1999. P. 10.
17. Murashov D.M. A method of localization of informative areas with texture of a special look / Murashov D.M., Murashov F.D. // Machine learning and analysis of data. 2018. Page 122-135.
18.Zenin A.V. Analysis of methods of recognition of images. / Zenin A.V. // Young scientist. 2017. P. 125-130.
19.Yakimenko Yu.I. Methods of automatic identification of persons. / Yakimenko Yu.I., Dzyuba V.G. // the Fourth international student's conference "Light to Young People Young People to Light". 2004. Page 85-90.
20. Kim. J. Factorial discriminant and cluster analysis. / Kim. J., Myyuller Ch.U., Klekka U.R. // Finance and statistics. 1989. P. 215.
Кузнецов Денис Андреевич, студент Академии Федеральной службы охраны Российской Федерации Никольский Павел Геннадьевич, студент Академии Федеральной службы охраны Российской Федерации Рачков Даниил Сергеевич, студент Академии Федеральной службы охраны Российской Федерации Кузнецов Андрей Викторович, кандидат технических наук, сотрудник Академии Федеральной службы охраны Российской Федерации
Хахамов Антон Павлович, студент кафедры «Электроника, вычислительная техника и информационная безопасность»
Kuznetsov Denis Andreevich, student Academy of the Federal security service of the Russian Federation Nikolsky Pavel Gennadyevich, student Academy of the Federal security service of the Russian Federation Rachkov Daniil Sergeevich, student Academy of the Federal security service of the Russian Federation Kuznetsov Andrey Viktorovich, candidate of technical sciences, Academy of the Federal security service of the Russian Federation
Khakhamov Anton Pavlovich, student Department of Electronics, computer engineering and information security
