CC BY
122
УДК 004.93, 004.8 DOI: 10.14529/cmse210404
СИСТЕМА УЧЕТА ПОСЕЩАЕМОСТИ СТУДЕНТОВ НА ОСНОВЕ РАСПОЗНАВАНИЯ ЛИЦ
© 2021 Е.В. Иванова, А.Ю. Струева
Южно-Уральский государственный университет (454 080 Челябинск, пр. им. В. И. Ленина, д. 76)
E-mail: elena.ivanova@susu.ru, nastasy822@gmail.com Поступила в редакцию: 26.09.2021
В настоящее время одним из значимых факторов для повышения качества подготовки специалистов является учет посещаемости студентов. Данный процесс может быть автоматизирован. В статье предлагается подход к построению системы учета посещаемости студентов на основе технологии распознавания лиц, которая позволяет идентифицировать множество людей одновременно без прямого контакта с ними и без использования дорогостоящего оборудования. Данный подход основан на сверточных нейронных сетях RetinaFace и ResNet, выбранных на основе обзора современных методов распознавания лиц, представленного в статье. Архитектура нашей системы учета посещаемости дополнена процедурами предобработки изображений, которые по предложенной нами методике, основанной на мере BREN, проверяют качество изображения и при необходимости применяют к изображению алгоритмы для уменьшения шума, повышения резкости, увеличения яркости и выравнивания цветов. Представлены результаты вычислительных экспериментов, показавшие более высокую эффективность предложенного подхода по сравнению с аналогами.
Ключевые слова: распознавание лиц, система учета посещаемости, сверточная нейронная сеть, RetinaFace, FaceNet, предобработка изображений.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Иванова Е.В, Струева А.Ю. Система учета посещаемости студентов на основе распознавания лиц // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2021. Т. 10, № 4. С. 60-73. DOI: 10.14529/cmse210404.
Введение
Одной из актуальных задач современного высшего образования является повышение качества подготовки специалистов. Для решения данной задачи недостаточно совершенствования образовательного процесса. Одним из значимых факторов, влияющих на качество подготовки специалистов, является посещаемость обучающимися учебных занятий [1]. В настоящее время существуют различные способы автоматизации учета посещаемости, например, с помощью считывателей отпечатков пальцев, RFID-меток, QR-кодов, смартфонов и др. Однако эти методы требуют дорогостоящих устройств [18]. Система посещаемости, основанная на технологии распознавания лиц, может идентифицировать множество людей одновременно без прямого контакта с ними и без дорогостоящего оборудования [20].
Распознавание лиц состоит из трех этапов: обнаружение лиц (Face Detection), извлечение признаков (Features Extraction) и идентификация лиц (Face Recognition) [14].
На этапе обнаружения лиц происходит определение местоположения человеческих лиц на входном изображении. Помимо фотографий, на вход может подаваться также видеопоток, такие системы применяются для идентификации людей в режиме реального времени. Цель этого этапа — определить наличие лиц на входном изображении и вычислить координаты прямоугольников, описывающих эти лица.
60
Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
Е.В. Иванова, А.Ю. Струева
Основная задача этапа извлечения признаков — выявлять особенности лиц, обнаруженных на предыдущем этапе. Лицо представляется как набор векторов признаков (дескриптор лица), который описывает характерные особенности изображения лица, такие как рот, нос и глаза, с их геометрическим распределением.
На этапе идентификации лиц полученный набор векторов признаков каждого лица сравнивается с набором дескрипторов лиц, хранящихся в базе данных (Faces Database). Результатом данного этапа является сравнение лица с известным набором лиц с целью найти наиболее вероятное совпадение, либо с целью принять или отклонить какое-либо действие, например, запрос на доступ.
В данной работе мы описываем методы распознавания лиц, используемые для построения систем учета посещаемости, исследуем причины, влияющие на снижение точности распознавания, и предлагаем подход к построению системы учета посещаемости студентов, позволяющий улучшить точность распознавания.
Статья имеет следующую структуру. В разделе 1 представлен обзор методов распознавания лиц и систем учета посещаемости на основе распознавания лиц. Далее в разделе 2 представлена архитектура нашей системы учета посещаемости, изучаются проблемы снижения точности распознавания лиц и способы их преодоления. В разделе 3 представлены результаты вычислительных экспериментов. Заключение резюмирует результаты исследования.
1. Обзор связанных работ
1.1. Методы распознавания лиц
Системы учета посещаемости в вузе должны работать с большим количеством распознаваемых студентов, количество новых людей возрастает с каждым новым учебным годом. Для такой системы оптимальным вариантом является наличие базы данных, содержащей информацию для идентификации лиц. При этом алгоритмы распознавания лиц в самой системе и используемые нейронные сети не должны меняться и дообучаться, т.к. на это потребуется очень большое количество времени и ресурсов. Далее будем рассматривать методы распознавания лиц, пригодные для реализации систем такого вида.
Задача обнаружения лиц на фотографии или видеопотоке является первым этапом в процессе решения задачи распознавания лиц. Идеальным для обнаружения является лицо анфас, равномерно освещенное без жестких теней, не закрытое волосами и аксессуарами (очками, шарфом, головным убором) в хорошем разрешении.
В основе многих современных алгоритмов обнаружения объектов лежат идеи, предложенные П. Виолой и М. Джонсом в начале 2000х годов [26, 28]. Метод Виолы—Джонса основывается на извлечении из изображения черт лица функциями Хаара и использовании каскада слабых классификаторов для быстрого определения лица в скользящем по изображению окне. Метод Виолы—Джонса является одним из лучших по соотношению показателей эффективность распознавания/скорость работы, однако точность распознавания снижается при повороте головы и плохой освещенности.
Другой класс методов, основывается на сравнении каждого участка изображения с заданным шаблоном [15, 31]. Такие алгоритмы достаточно точны, но не подходят для задач реального времени, так как имеют очень низкую скорость работы.
Популярными системами на сегодняшний день являются системы, построенные на базе сверточных нейронных сетей (Convolutional Neural Network, CNN). Сверточная нейронная
2021, т. 10, № 4
61
Система учета посещаемости студентов на основе распознавания лиц
сеть способна обнаруживать лица при большом наклоне головы и плохом освещении, однако требуют много вычислительных ресурсов. Сверточные нейронные сети предоставляют исследователю широкий спектр настройки, позволяющей достигать высоких показателей точности при обнаружении объектов [11].
Извлечение признаков — следующий за обнаружением лиц этап распознавания лиц. Входными данными для него является фотография выделенного лица. Выходными данными является дескриптор лица, описывающий характерные черты лица человека. В работе [14] выделены три группы методов извлечения признаков: холистические (holistic), локальные (local) и гибридные (hybrid).
Холистические методы используют все лицо в качестве входных данных, а затем проецирует его в небольшое подпространство или в плоскость корреляции. Основная идея холистических методов — обработка лица целиком и представление его изображения в виде матрицы пикселей. Холистические методы являются относительно быстрыми и простыми. Но при работе с очень большими базами данных могут появиться проблемы с точностью, так как вычислений в ходе распознавания очень много. Одним из ярких представителей таких методов является метод главных компонент (Principal Component Method, РСА) [23].
Локальные методы основываются на распознавании отдельных черт лица, без учета лица в целом. Основная цель локальных методов — выявить отличительные черты лица [14]. Данные методы нацелены на описание отдельных участков лица (например, для носа, губ, лба, глаз, нижней части подбородка) либо координат черт лица (например, внутренний угол глаза, внешний угол глаза), совокупность которых является дескриптором.
Наиболее популярным локальным методом является метод построения гистограмм направленных градиентов (Histogram of Oriented Gradients, HOG) [6]. Основная идея метода заключается в том, что изображение может быть описано распределением градиентов интенсивности или направления краев. Как правило, построение этих гистограмм происходит путем разбиения изображения на ячейки, и присвоения каждой ячейке гистограммы направлений градиентов для пикселей внутри ячейки, их комбинация и является дескриптором.
Гибридный подход основан на совместном использовании локального и холистического подходов, чтобы использовать их преимущества, которые могут дать лучшую производительность для систем распознавания лиц.
Этап идентификации включает в себя сравнение полученного вектора с уже имеющимися в базе данных распознаваемых лиц. Сравнение может вестись разными способами, наиболее популярным и простым является сравнение дескрипторов по евклидовой метрике [9]. Чем меньше расстояние между дескрипторами, тем больше соответствующие дескрипторам лица похожи друг на друга.
1.2. Системы учета посещаемости
В настоящее время существуют различные подходы к решению задачи распознавая лиц. Такие системы имеют похожую архитектуру, но алгоритмы и методы для решения каждого из трех этапов распознавания лиц выбираются разные.
В работе [13] обнаружение лиц и извлечение признаков выполняются с помощью нейронной сети YOLOv3 [22] и сервиса для распознавания лиц Microsoft Azure face [16] соответственно, что позволило авторам приблизиться к точности распознавания 100%. Однако рассматриваемая система была написана для ограниченного количества людей в классе, а
62 Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
Е.В. Иванова, А.Ю. Струева
нейронные сети были обучены на 20 изображениях каждого распознаваемого. Системы, использующий такой подход не являются гибкими. Они требуют сбора данных для каждого студента и последующее обучение нейронной сети.
В работе [18] для обнаружения лиц на фотографии используется гистограмма направленных градиентов (HOG, Histogram of Oriented Gradients) [6], затем для извлечения дескриптора лиц используется переобученная сверочная нейронная сеть. Для последнего этапа идентификации используются метод опорных векторов (SVM, support vector machine) [5]. Точность распознавания данной системы составила 81%.
В работе [24] для обнаружения лиц и извлечения признаков используются модель MTCNN [32] и нейронная сеть ArcFace [7] соответственно. Для идентификации выбран метод опорных векторов SVM [5]. Достигнутая точность равна 89%. В данной системе применялась предобработка изображения: определение и выравнивание направления головы. В системах [18] и [24] для идентификации используется метод опорных векторов, являющийся более простым способом сравнения дескрипторов, чем нейронная сеть, однако так же требующий предварительного обучения. Использование подобных систем для больших и часто обновляемых баз данных распознаваемых лиц является затруднительным.
В работе [29] для этапа обнаружения лиц используются каскадные классификаторы на основе признаков Хаара, извлечение дескриптора осуществляется с помощью функции face_encoding из библиотеки dlib [8], полученные дескрипторы сравниваются с помощью евклидовой метрики. Для улучшения качества фотографии изображение переводилось в оттенки серого. Данная система имеет высокую скорость обработки и точность распознавания 83% для фотографий с фронтальными лицами при дневном свете и хорошем разрешении.
Другой подход используется в работе [17] и позволяет достигнуть 90% точности распознавания. Для этапа обнаружения лиц используется сверточная нейронная сеть, для извлечения дескриптора — метод главных компонент (Principal Component Method, РСА) [23]. Сравниваются дескрипторы с помощью вычисления косинусного расстояния Махалонобиса. Система имеет более высокую точность распознавания по сравнению с [29] благодаря использованию нейронной сети для обнаружени лиц и методам предобработки изображения, позволяющим нормализовать контраст, и уменьшить шум.
Системы [17, 29] схожи в отсутствии необходимости дополнительного обучения. Идентификация при таких подходах происходит путем извлечения вектора признака и сравнения его с уже имеющимися в базе данных.
На основе обзора аналогов можно выделить два вида систем для распознавания лиц. Первый — это системы с нейронными сетями или линейными классификаторами, заранее обученными на наборе лиц, которые в дальнейшем и будут распознаваться на других фотографиях или видеопотоке [13, 18, 24]. Второй — системы, нейронные сети которых обучены на стандартных наборах данных, а информация для идентификации лица берется из базы данных [17, 29]. Системы первого вида имеют более высокую точность распознавания. Системы второго вида менее точные, но позволяют быстро добавлять новых распознаваемых в базу данных без дообучения используемых нейронных сетей.
2. Реализация системы учета посещаемости
2.1. Архитектура системы
Общая архитектура системы представлена на рис. 1. Система включает в себя следующие основные модули: захват изображения, распознавание лиц и веб-интерфейс. Разра-
2021, т. 10, № 4
63
Система учета посещаемости студентов на основе распознавания лиц
батываемая нами система учета посещаемости состоит из трех модулей: модуль захвата изображения, модуль распознавания лиц и веб-интерфейс.
Рис. 1. Архитектура системы учета посещаемости
Модуль захвата изображения осуществляет подключение к веб-камере, расположенной в учебной аудитории, и получает от нее видеопоток. Захваченный с камеры видеопоток разбивается на кадры. Модуль распознавания лиц отвечает за осуществления всех этапов распознавания: обнаружение лиц, извлечение признаков и идентификация. По сравнению с общепринятой структурой распознавания лиц наша система дополнена этапами предобработки кадра и предобработки изображения лица, которые позволяют повысить точность распознавания. Модуль веб-интерфейса позволяет отобразить результат распознавания лиц на захваченном изображении в виде веб-страницы.
Работа системы кратко может быть описана следующим образом. Модуль захвата изображения каждый полученный кадр передает в модуль распознавания лиц. Модуль распознавания лиц имеет следующие основные процедуры: предобработки кадра, обнаружения лиц, предобработки изображения лица, извлечения признаков, идентификации. Вначале происходит предобработка кадра, что позволяет отфильтровать непригодные для распознавания фотографии и улучшить при возможности качество фотографии в целом (уменьшить шум, повысить резкость и др.). Далее к изображению применяется алгоритм обнаружения лиц. Каждое изображение выделенного лица снова проходит этап предобработки, после чего производится извлечение признаков лица. Такая двухэтапная проверка и улучшение качества изображения необходима, т.к. даже в случае хорошего качества кадра видеопотока качество изображения лиц на нем может быть недостаточным для распознавания. Например, кадр может быть высокого разрешения, но часть лиц на заднем плане могут быть очень маленькими и в результате извлеченная фотография такого лица будет иметь низкое разрешение, непригодное для распознавания. После извлечения признаков лица построенный дескриптор сравнивается с имеющимися в базе данных лиц для идентификации лица. Результат сравнения записывается в базу данных и предоставляется пользователю через веб-интерфейс.
В нашей работе для реализации системы учета посещаемости студентов мы использовали язык программирования Python совместно с библиотеками, обеспечивающими взаи-
64
Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
Е.В. Иванова, А.Ю. Струева
модействие с искусственными нейронными сетями, Keras [12], Tensorflow [25] и библиотеками, позволяющими проводить предобработку изображений, dlib [8], OpenCV [19]. Для этапа обнаружения лиц использовалась предварительно обученная сверточная нейронная сеть Retina Face [7]. Сеть Retina Face обучена на открытом наборе данных WIDER Face (hard) [30]. Этот набор данных содержит данные с плохим освещением лица на фотографии, небольшим размером лиц, лицами с разными поворотами головы и др. Все эти проблемы характерны для системы учета посещаемости. На этапе извлечения признаков мы используем сверточную нейронную сеть ResNet [10], которая является одним из лидеров в области создания дескрипторов. Дескриптор, который мы получаем, описывает такие точки лица как нос, глаза, уголки губ и др. Дескриптор может содержать около 50 таких ключевых точек. Чем больше точек, тем более точной будет идентификация человека. Для сравнения дескрипторов используется евклидова метрика.
2.2. Повышение точности распознавания лиц
Имеется набор факторов, влияющих на точность распознавания. В работах [13, 17, 18, 24, 29] выделяются следующие факторы, которые снижают точность распознавания:
- низкое разрешение, шумы и плохая освещенность фотографии лица (рис. 2а—в);
- окклюзия — заслонение лица чем-либо: светом (рис. 2г), аксессуарами (головные уборы, очки, шарфы, борода, яркий макияж и др., рис. 2д) и поворотом головы (само-окклюзия, рис. 2е);
- наклон головы (рис. 2ж);
- эмоциональные выражения лица (рис. 2з);
- различная внешность людей (пол, телосложение, этническая принадлежность и др.).
Наилучшую точность распознавания лиц можно получить при отсутствии указанных
проблемных факторов. Такое лицо далее будем называть эталонным (рис. 2и). Задача повышения точности распознавания сводится к задаче приближения фотографии лица к эталонному виду.
В настоящее время в области обработки изображений разработаны различные методы для улучшения качества изображения [4]. В нашей работе использовались следующие методы:
- размытие изображения для уменьшения шума (метод Medianblue из библиотеки OpenCV);
- повышение резкости изображения (применение нерезкой маскировки с использованием библиотеки OpenCV);
- преобразования гистограммы для увеличения яркости и выравнивания цветов (метод equalizeHist из библиотеки OpenCV).
Кроме этого каждое изображение лица приводится к единому размеру и подвергается нормализации, что необходимо для корректного сравнения дескрипторов лица. Нормализация представляет собой изменение параметров входных данных, чтобы они находились в пределах от 0 до 1.
Использование предварительной обработки для повышения качества требуется не всегда. Фотография может находиться в трех состояниях: непригодна для распознавания, требует предварительной обработки и подходит для распознавания. Таким образом, необходимо провести предварительную проверку качества полученной фотографии. Оценка качества изображения является количественной оценкой восприятия качества человеком и
2021, т. 10, № 4
65
Система учета посещаемости студентов на основе распознавания лиц
а) низкое разрешение
г) световая окклюзия
ж) наклон головы
д) окклюзия аксессуаром
в) плохая освещенность
е) самоокклюзия
з) эмоциональное .
и) эталонное лицо
выражение
Рис. 2. Факторы, влияющие на точность распознавания лиц
устанавливает пороговые значения между некачественной и качественной фотографией. В работе [2] проведен анализ мер сравнения качества и их эффективность.
В нашей работе использовалась мера BREN [21], которая выдает оценку качества в значениях от 0 до 255. Нами предложено разбить диапазон значений меры BREN на 5 интервалов (рис. 3), которые описывают качество фотографии: изображение пригодно для распознавания без предобработки, пригодно для распознавания после предобработки, не пригодно для распознавания. Численные значения этих интервалов определялись опытным путем. Для этого были собраны 20 разнообразных по качеству изображений, вычислена оценка качества мерой BREN, затем путем визуального сравнения качества изображения и его численной оценки были определены границы интервалов.
0 10
пригодно после предобработки
не пригодно для распознавания
пригодно после предобработки
90 160 200 255
пригодно для не пригодно для
распознавания распознавания
Рис. 3. Разбиение шкалы значений меры BREN для проверки качества изображения
66
Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
Е.В. Иванова, А.Ю. Струева
Другие проблемы — это фотографии с окклюзией, с эмоциональным выражением лица и различным типом внешности. Эти проблемы значительно снижают общую точность распознавания [23]. Для решения каждого вида описанных проблем необходимы специфические подходы. Например, проблема распознавания лиц под разными углами может быть решена с помощью алгоритмов выравнивания лиц. Проблема распознавания человека с разными выражениями лица может быть решена с помощью алгоритма определения типа эмоций и получения «нейтрального» выражения лица. Большинство методов извлечения признаков нацелено на преодоление только одного вида проблемных факторов, например, только поворота/наклона головы или только окклюзии. Методы глубокого обучения, такие как сверточные нейронные сети состоят из нескольких уровней, каждый из которых может преодолевать один проблемный фактор, но все вместе могут решать комплекс проблем, снижающих точность распознавания [27]. В данной работе эти алгоритмы не рассматривались.
3. Вычислительные эксперименты
Для проверки эффективности разработанной системы учета посещаемости [3] нами были проведены вычислительные эксперименты. Под эффективностью понимаем точность распознавания лиц при наличии проблемных факторов (см. раздел 2.2). Для проведения вычислительных экспериментов была подготовлена база данных лиц, включающая фотографии и ФИО студентов одной группы (всего 25 человек). Были сделаны 80 фотографий группы при различных проблемных факторах. На каждой фотографии представлены от 3-х до 20-ти студентов из базы данных лиц. Фотографии были сгруппированы по наличию в них проблемных факторов, всего 9 групп. Для каждой из 80 фотографий вручную подсчитывалось количество присутствующих лиц (Nfaces) и на основе выдачи системы учета посещаемости определялось количество верно распознанных лиц (Ntruefaces)• Точность распознавания лиц на одной фотографии была рассчитана по формуле:
accuracy = ^/ue7aces х юо%. (1)
^ faces
Таблица 1. Вычислительные эксперименты
№ Низкое разре- шение, шумы Плохая осве- щен- ность Окклю- зии Эмоцио- нальное выра- жение Само- окклю- зия Наклон головы Точность (%)
1 - - - - - - 100
2 — — + + - - 86
3 + — — — - - 81
4 + + + + — - 75
5 + + — — — — 70
6 + — + + + + 66
7 + + — — + + 61
8 — — — — + + 60
9 + + + + + + 58
2021, т. 10, № 4
67
Система учета посещаемости студентов на основе распознавания лиц
Результаты экспериментов представлены в табл. 1. В колонке «Точность» приведено среднее арифметическое точности по всем фотографиям в группе с указанными проблемными факторами.
Для эталонных лиц система выдает точность 100%. При наклоне и повороте головы или эмоциональном выражении лица, точность снижается на 15-25%. Стоит отметить, что система имеет низкую точность при плохой освещенности и низком разрешении фотографии лица. При таких условиях точность снижается еще на 10%. Точность, которую мы получили для эталонных лиц, в среднем выше, чем у аналогичных систем [29] и [17] более чем на 10%.
Заключение
В настоящее время учет посещаемости студентов является значимым фактором для повышения качества подготовки специалистов. Для автоматизации этого процесс хорошо подходит технология распознавания лиц. Мы рассмотрели современные методы для каждого этапа распознавания лиц: обнаружение лиц на фотографии, извлечение признаков и идентификация. Рассмотрели существующие системы учета посещаемости. Выделили два вида систем: системы, требующие дообучения при изменении базы данных распознаваемых лиц, и системы, предвартельно обученные на стандартных базах данных лиц, не требующие дообучения. В нашей работе предложена архитектура системы учета посещаемости, не требующая дообучения при изменении базы данных лиц. Система состоит из трех основных модулей захвата изображения, распознавания лиц и веб-интерфейса. Свою системы мы дополнили процедурами предобработки изображения, которые, использую нашу методику, основанную на мере BREN, позволяют классифицировать качество изображения по трем классам: не пригодные для распознавания, пригодные для распознавания после предобработки и пригодные для распознавания. После классификации качества изображение может быть отброшено, если не пригодно для распознавания, подвергнуться предобработке (уменьшение шума, повышение резкости, увеличение яркости и выравнивание цветов) либо останется без изменений, если классифицировано как пригодное для распознавания. Система была реализована. Для проверки точности распознавания были проведены вычислительные эксперименты, подтверждающие эффективность нашего метода распознавания лиц по сравнению с аналогами.
Исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований (грант № 20-07-00140) и Министерства науки и высшего образования РФ (государственное задание FENU-2020-0022).
Литература
1. Зарубин В.И., Бибалова С.А. Посещаемость занятий в вузе как фактор эффективности подготовки современных специалистов / / Вестник Майкопского государственного технологического университета. 2017. № 2. С. 3-6.
2. Старовойтов В.В., Старовойтов В.Ф. Сравнительный анализ безэталонных мер оценки качества цифровых изображений / / Системный анализ и прикладная информатика. 2017. № 1. С. 24-32. DOI: 10.21122/2309-4923-2017-1-24-32.
3. Струева А.Ю., Иванова Е.В. Свидетельство о регистрации программы для ЭВМ «Библиотека подпрограмм для распознавания лиц в системах контроля деятельности персонала» № RU 2021669594 от 01 декабря 2021 г., правообладатель: ФГАОУ ВО «ЮУрГУ
68
Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
Е.В. Иванова, А.Ю. Струева
(НИУ)».
4. Фурашев Д.А., Фаворская М.Н. Методы улучшения качества изображений // Актуальные проблемы авиации и космонавтики. 2010. Т. 1, № 6. С. 383-384.
5. Cortes С., Vapnik V. Support-vector networks // Machine Learning. 1995. No. 20. P. 273-297. DOI: 10.1007/BF00994018.
6. Dalai N., Triggs B. Histograms of oriented gradients for human detection // 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR’05, San Diego, CA, USA, June 20-25, 2005. P. 1-8. DOI: 10.1109/CVPR.2005.177.
7. Deng J., Zafeririou S. Arcface for disguised face recognition // 17th IEEE/CVF International Conference on Computer Vision Workshop, ICCVW 2019, Seoul, October 27-28, 2019. P. 485-493. DOI: 10.1109/ICCVW.2019.00061.
8. Dlib C++ Library. Documentation. URL: http://dlib.net/ (дата обращения: 21.08.2021).
9. Indyk P., Wagner T. Near-optimal (euclidean) metric compression // Proceedings of the Twenty-Eighth Annual ACM-SIAM Symposium on Discrete Algorithms, SODA’17, Barcelona, Spain, January 16-19, 2017. P. 710-723. DOI: 10.1137/1.9781611974782.45.
10. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016. P. 770-778. DOI: 10.1109/CVPR.2016.90.
11. Kalinovsky I., Spitsyn V. Review and Testing of Frontal Face Detectors // Computer Optics. 2016. Vol. 40, no. 1. P. 99-111. DOI: 10.18287/2412-6179-2016-40-1-99-111.
12. Keras. Documentation. URL: https://keras.io/guides/ (дата обращения: 21.08.2021).
13. Khan S., Akram A., Usman N. Real Time Automatic Attendance System for Face Recognition Using Face API and OpenCV // Wireless Personal Communications. 2020. Vol. 113. P. 469-480. DOI: 10.1007/sll277-020-07224-2.
14. Kortli Y., Jridi M., Atri M. Face Recognition Systems: A Survey // Sensors. 2020. Vol. 20, no. 2. P. 1-36. DOI: 10.3390/s20020342.
15. Li H., Lin Z., Brandt J., Shen X., Hua G. Efficient boosted exemplar-based face detection // IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, June 23-28, 2014. P. 1843-1850. DOI: 10.1109/CVPR.2014.238.
16. Microsoft Azure face. Documentation. URL: https://docs.microsoft.com/en-
us/azure/cognitive-services/face/ (дата обращения: 01.09.2021)
17. Mothwa L., Tapamo J.-R., Mapayi T. Conceptual Model of the Smart Attendance Monitoring System Using Computer Vision // The 14th International Conference on Signal Image Technology & Internet Based Systems, SITIS 2019, Las Palmas de Gran Canaria, Spain, November 26-29, 2018. P. 229-234. DOI: 10.1109/SITIS.2018.00042.
18. Nurkhamid N., Setialana P., Jati H., Wardani R. Intelligent Attendance System with Face Recognition using the Deep Convolutional Neural Network Method //Journal of Physics: Conference Series. 2021. Vol. 1737, no. 1. P. 1-9. DOI: 10.1088/1742-6596/1737/1/012031.
19. OpenCV. Documentation. URL: https://docs.opencv.org/ (дата обращения: 01.09.2021).
20. Patel S., Kumar R. Face Recognition based smart attendance system using IOT // International Journal of Computer Sciences and Engineering. 2018. Vol. 6, no. 5. P. 871-877. DOI: 10.26438/ijcse/v6i5.871877.
2021, t. 10, № 4
69
Система учета посещаемости студентов на основе распознавания лиц
21. Pertuz S., Puig D., Garcia M.A. Analysis of focus measure operators for shape-from-focus // Pattern Recognition. 2013. Vol. 46, no. 5. P. 1415-1432. DOI: 10.1016/j.patcog.2012.11.0117.
22. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement // CoRR. 2018.
Vol. abs/1804.02767. URL: http://arxiv.org/abs/1804.02767
23. Samal D.B., Starovoitov V.V. A geometric approach to face recognition // Proceedings of the IEEE-EURASIP Workshop on Nonlinear Signal and Image Processing, NSIP’99, Antalya, Turkey, June 20-23, 1999. P. 1-5.
24. Son N.T., Anh B.N., Ban T.Q. et al. Implementing CCTV-Based Attendance Taking Support System Using Deep Face Recognition: A Case Study at FPT Polytechnic College // Symmetry. 2020. Vol. 12, no. 307. DOI: 10.3390/syml2020307.
25. TensorFlow. URL: https://www.tensorflow.org/ (дата обращения: 01.09.2021).
26. Viola P., Jones M.J. Robust Real-Time Face Detection // International Journal of Computer Vision. 2004. Vol. 57, no. 2. P. 137-154. DOI: 10.1023/B:VISI.0000013087.49260.fb.
27. Wang M., Deng W. Deep Face Recognition: A Survey // Neurocomputing. 2021. Vol. 429. P. 215-244. DOI: 10.1016/j.neucom.2020.10.081.
28. Winarno E., Hadikurniawati W., Nirwanto A.A. Multi-View Faces Detection Using Viola-Jones Method // Journal of Physics Conf. Series. 2018. Vol. 1114, no. 1. DOI: 10.1088/1742-6596/1114/1/012068.
29. Wu H., Cao Y., Wei H., Tian Z. Face Recognition Based on Haar Like and Euclidean Distance // Journal of Physics: Conference Series. 2021. Vol. 1813. P. 1-7. DOI: 10.1088/1742-6596/1813/1/012036.
30. Yang S., Luo P., Loy C.C., Tang X. WIDER FACE: A Face Detection Benchmark // 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016. P. 5525-5533. DOI: 10.1109/CVPR.2016.596.
31. Zhu X., Ramanan D. Face detection, pose estimation, and landmark localization in the wild // IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, June 16-21, 2012. P. 2879-2886. DOI: 10.1109/CVPR.2012.6248014.
32. Zhang K., Zhang Z., Li Z., Qiao Y. Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks // IEEE Signal Processing Letters. 2016. Vol. 3, no. 10. P. 1499-1503. DOI: 10.1109/LSP.2016.2603342.
Иванова Елена Владимировна, к.ф.-м.н., доцент, кафедра системного программирования, Южно-Уральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация)
Струева Анастасия Юрьевна, студент, кафедра системного программирования, Южно-Уральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация)
70
Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
Е.В. Иванова, А.Ю. Струева
DOI: 10.14529/ cmse210404
THE STUDENT ATTENDANCE CONTROL SYSTEM BASED ON FACE RECOGNITION
© 2021 E.V. Ivanova, A.Yu. Strueva
South Ural State University (pr. Lenina 76, Chelyabinsk, 454080 Russia)
E-mail: elena.ivanova@susu.ru, nastasy822@gmail.com Received: 26.09.2021
Currently, one of the significant factors for improving the quality of training of specialists is the control of student attendance. This process can be automated. The paper suggests an approach to building a student attendance control system based on face recognition technology, which allows you to identify many people at the same time without direct contact with them and without using expensive equipment. This approach is based on the convolutional neural networks RetinaFace and ResNet, selected based on the review of modern methods of facial recognition presented in the paper. The architecture of our attendance control system is complemented by image preprocessing procedures, which, according to our proposed method based on the BREN measure, check the image quality and, if necessary, apply algorithms to the image to reduce noise, sharpen, increase brightness and align colors. The results of computational experiments are presented, which have shown a higher efficiency of the proposed approach compared with analogues.
Keywords: face recognition, attendance control system, convolutional neural network, RetinaFace, FaceNet, image preprocessing.
FOR CITATION
Ivanova E.V., Strueva A.Yu. The Student Attendance Control System Based on Face Recognition. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering. 2021. Vol. 10, no. 4. P. 60-73. (in Russian) DOI: 10.14529/cmse210404.
This paper is distributed under the terms of the Creative Commons Attribution-Non Commercial 4-0 License which permits non-commercial use, reproduction and distribution of the work without further permission provided the original work is properly cited.
References
1. Zarubin V.I., Bibalova S.A. Attendance of classes at the university as a factor of the effectiveness of training modern specialists. Bulletin of the Maikop State Technological University. 2017. No. 2. P. 3-6. (in Russian)
2. Starovoitov V.V., Starovoitov V.F. Comparative analysis of standardfree measures for assessing the quality of digital images. System Analysis and Applied Informatic. 2017. No. 1, P. 24-32. (in Russian) DOI: 10.21122/2309-4923-2017-1-24-32.
3. Strueva A.Yu., Ivanova E.V. Certificate of registration of a computer program “Library of routines for face recognition in personnel activity control systems” № RU 2021669594, 01.12.2021, copyright holder: FSAEIHE SUSU (NRU). (in Russian)
4. Furashev D.A., Favorskaya M.Y. Methods for improving the quality of images. Actual problems of aviation and astronautics. 2010. Vol. 1, no. 6. P. 383-384. (in Russian)
5. Cortes C., Vapnik V. Support-vector networks. Machine Learning. 1995. No. 20. P. 273-297. DOI: 10.1007/BF00994018.
6. Dalai N., Triggs B. Histograms of oriented gradients for human detection. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR’05, San
2021, t. 10, № 4
71
Система учета посещаемости студентов на основе распознавания лиц
Diego, СА, USA, June 20-25, 2005. Р. 1-8. DOI: 10.1109/CVPR.2005.177.
7. Deng J., Zafeririou S. Arcface for disguised face recognition. 17th IEEE/CVF International Conference on Computer Vision Workshop, ICCVW 2019, Seoul, October 27-28, 2019. P. 485-493. DOI: 10.1109/ICCVW.2019.00061.
8. Dlib C++ Library. Documentation. URL: http://dlib.net/ (accessed: 21.08.2021).
9. Indyk P., Wagner T. Near-optimal (euclidean) metric compression. Proceedings of the Twenty-Eighth Annual ACM-SIAM Symposium on Discrete Algorithms, SODA’17, Barcelona, Spain, January 16-19, 2017. P. 710-723. DOI: 10.1137/1.9781611974782.45.
10. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016. P. 770-778. DOI: 10.1109/CVPR.2016.90
11. Kalinovsky I., Spitsyn V. Review and Testing of Frontal Face Detectors. Computer Optics. 2016. Vol. 40, no. 1. P. 99-111. DOI: 10.18287/2412-6179-2016-40-1-99-111.
12. Keras. Documentation. URL: https://keras.io/guides/ (accessed: 21.08.2021).
13. Khan S., Akram A., Usman N. Real Time Automatic Attendance System for Face Recognition Using Face API and OpenCV. Wireless Personal Communications. 2020. Vol. 113. P. 469-480. DOI: 10.1007/sll277-020-07224-2.
14. Kortli Y., Jridi M., Atri M. Face Recognition Systems: A Survey. Sensors. 2020. Vol. 20, no. 2. P. 1-36. DOI: 10.3390/s20020342.
15. Li H., Lin Z., Brandt J., Shen X., Hua G. Efficient boosted exemplar-based face detection. IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, June 23-28, 2014. P. 1843-1850. DOI: 10.1109/CVPR.2014.238.
16. Microsoft Azure face. Documentation. URL: https://docs.microsoft.com/en-
us/azure/cognitive-services/face/ (accessed: 01.09.2021).
17. Mothwa L., Tapamo J.-R., Mapayi T. Conceptual Model of the Smart Attendance Monitoring System Using Computer Vision. The 14th International Conference on Signal Image Technology & Internet Based Systems, SITIS 2019, Las Palmas de Gran Canaria, Spain, November 26-29, 2018. P. 229-234. DOI: 10.1109/SITIS.2018.00042.
18. Nurkhamid N., Setialana P., Jati H., Wardani R. Intelligent Attendance System with Face Recognition using the Deep Convolutional Neural Network Method. Journal of Physics: Conference Series. 2021. Vol. 1737, no. 1. P. 1-9. DOI: 10.1088/1742-6596/1737/1/012031.
19. OpenCV. Documentation. URL: https://docs.opencv.org/ (accessed: 01.09.2021).
20. Patel S., Kumar R. Face Recognition based smart attendance system using IO. International Journal of Computer Sciences and Engineering. 2018. Vol. 6, no. 5. P. 871-877. DOI: 10.26438/ijcse/v6i5.871877.
21. Pertuz S., Puig D., Garcia M.A. Analysis of focus measure operators for shape-from-focus. Pattern Recognition. 2013. Vol. 46. no. 5. P. 1415-1432. DOI: 10.1016/j.patcog.2012.11.0117.
22. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. CoRR. 2018.
Vol. abs/1804.02767. URL: http://arxiv.org/abs/1804.02767
23. Samal D.B., Starovoitov V.V. A geometric approach to face recognition. Proceedings of the IEEE-EURASIP Workshop on Nonlinear Signal and Image Processing, NSIP’99, Antalya, Turkey, June 20-23, 1999. P. 1-5.
72
Вестник ЮУрГУ. Серия «Вычислительная математика и информатика»
Е.В. Иванова, А.Ю. Струева
24. Son N.T., Anh B.N., Ban T.Q. et al. Implementing CCTV-Based Attendance Taking Support System Using Deep Face Recognition: A Case Study at FPT Polytechnic College. Symmetry. 2020. Vol. 12, no. 307. DOI: 10.3390/syml2020307.
25. TensorFlow. URL: https://www.tensorllow.org/ (accessed: 01.09.2021).
26. Viola P., Jones M.J. Robust Real-Time Face Detection. International Journal of Computer Vision. 2004. Vol. 57, no. 2. P. 137-154. DOI: 10.1023/B:VISI.0000013087.49260.fb.
27. Wang M., Deng W. Deep Face Recognition: A Survey. Neurocomputing. 2021. Vol. 429. P. 215-244. DOI: 10.1016/j.neucom.2020.10.081.
28. Winarno E., Hadikurniawati W., Nirwanto A.A. Multi-View Faces Detection Using Viola-Jones Method. Journal of Physics Conf. Series. 2018. Vol. 1114, no. 1. DOI: 10.1088/1742-6596/1114/1/012068.
29. Wu H., Cao Y., Wei H., Tian Z. Face Recognition Based on Haar Like and Euclidean Distance. Journal of Physics: Conference Series. 2021. Vol. 1813. P. 1-7. DOI: 10.1088/1742-6596/1813/1/012036.
30. Yang S., Luo P., Loy C.C., Tang X. WIDER FACE: A Face Detection Benchmark. 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016. P. 5525-5533. DOI: 10.1109/CVPR.2016.596.
31. Zhu X., Ramanan D. Face detection, pose estimation, and landmark localization in the wild. IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, June 16-21, 2012. P. 2879-2886. DOI: 10.1109/CVPR.2012.6248014.
32. Zhang K., Zhang Z., Li Z., Qiao Y. Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks. IEEE Signal Processing Letters. 2016. Vol. 3, no. 10. P. 1499-1503. DOI: 10.1109/LSP.2016.2603342.
2021, t. 10, № 4
73
