CC BY
30
УНИВЕРСИТЕТ итмо
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ март-апрель 2022 Том 22 № 2 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS March-April 2022 Vol. 22 No 2 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ. МЕХАНИКИ И йПТИКИ
doi: 10.17586/2226-1494-2022-22-2-279-286 УДК 004.93
Методы выделения локальных признаков лица на изображении при аутентификации человека по термограмме
Никита Игоревич Белов1 Максим Андреевич Ермак2, Евгений Александрович Дубинич3, Александр Юрьевич Кузнецов4
ООО «Газпромнефть-ЦР», Санкт-Петербург, 196084, Российская Федерация 3>4 Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
1 шkit.belov@gmail.comи, https://orcid.org/0000-0003-0644-1547
2 max7ermak@gmail.com, https://orcid.org/0000-0002-4794-1540
3 Dzys95@mail.ru, https://orcid.org/0000-0002-7421-9895
4 alkuznetcov@itmo.ru, https://orcid.org/0000-0002-5702-3786
Аннотация
Предмет исследования. Представлено исследование методов выделения локальных признаков на изображении применительно к задаче аутентификации человека по термограмме лица. Сформированы выборки фотоизображений и изображений лиц в дальнем инфракрасном диапазоне. Новизна исследования состоит в особенностях выборки изображений в реальных условиях, оказывающих влияние на качество аутентификации, таких как мимика, ношение очков или медицинской маски, нанесение грима/косметики, различная освещенность и температурные условия окружающей среды, повороты головы. Методы. Основа исследуемых методов заключается в построении вектора признаков изображения при сокращении размерности и выделении границ. Подобные методы решают задачи выделения признаков на изображениях, при аутентификации по 2D-изображению лица и при использовании компьютерного зрения. Применены классические методы выделения локальных признаков изображения: метод локально-бинарных шаблонов, вейвлеты Габора, масштабно-инвариантная трансформация признаков, локальный дескриптор Вебера. В качестве классификаторов для векторов признаков изображений приняты базовые методы машинного обучения: метод опорных векторов и простейший персептрон. Основные результаты. Обучение и тестирование методов выполнено на наборе, состоящем из 632 тысяч изображений лиц 158 человек. В качестве метрики для оценки качества сопоставления выбранных методов использована точность. В результате для метода локально-бинарных признаков наиболее высокие значения точности соответствуют: термограммам лиц — 0,57 (для метода обучения опорных векторов) и 0,58 (для простейшего персептрона), фотоизображениям — 0,71 и 0,73 соответственно. Использование метода масштабно-инвариантной трансформации признаков показало схожие результаты: для термограмм лиц — 0,58 и 0,55, для фотоизображений — 0,72 и 0,74. Применение вейвлеты Габора и локального дескриптора Вебера показало низкие значения точности в задаче аутентификации для обоих типов изображений. Практическая значимость. Результаты работы могут найти применения в системах контроля и управления доступом для повышения отказоустойчивости аутентификации лиц. Использование рассмотренных методов эффективно в задачах обработки термограмм для аутентификации человека по так называемым «вторичным» признакам, например, по рисунку его вен и сосудов на лице, в случаях изменения мимики и внешности. Ключевые слова
компьютерное зрение, алгоритм распознавания лиц, локально-бинарные шаблоны, фильтры Габора, масштабно-инвариантная трансформация признаков, локальный дескриптор Вебера, термограмма лица, классификация текстур, аутентификация по термограмме лица
Ссылка для цитирования: Белов Н.И., Ермак М.А., Дубинич Е.А., Кузнецов А.Ю. Методы выделения локальных признаков лица на изображении при аутентификации человека по термограмме // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 2. С. 279-286. doi: 10.17586/2226-1494-2022-22-2-279-286
© Белов Н.И., Ермак М.А., Дубинич Е.А., Кузнецов А.Ю., 2022
Methods of local features extraction in person authentication task
by face thermographic image
Nikita I. Belov1«, Maxim A. Ermak2, Evgeny A. Dubinich3, Alexander Y. Kuznetsov4
Gazpromneft-CR, Saint Petersburg, 196084, Russian Federation 3>4 ITMO University, Saint Petersburg, 197101, Russian Federation
1 nikit.belov@gmail.com«, https://orcid.org/0000-0003-0644-1547
2 max7ermak@gmail.com, https://orcid.org/0000-0002-4794-1540
3 Dzys95@mail.ru, https://orcid.org/0000-0002-7421-9895
4 alkuznetcov@itmo.ru, https://orcid.org/0000-0002-5702-3786
Abstract
The paper presents a methods of image local features extraction research in relation to people authentication problem by face thermogram. As a part of the study, there were formed two datasets for methods training and testing: photographic images and face images in the long-wavelength infrared specter (LWIR) with various factors. The novelty of this study is due to the approach to collecting datasets to verify the accuracy of authentication methods. The dataset was collected with more realistic conditions that affect the quality of authentication, such as changing facial expressions, wearing glasses, medical masks, applying make-up/cosmetics, changing the lighting and temperature conditions of the environment, rotating the head. The methods core is based on the idea of constructing a vector of image features while reducing the dimension and highlighting the boundaries. Likewise, the methods of this group cope well with extracting features task on images and are widely used in the tasks of authentication by 2D face image, as well as in other computer vision tasks. In this paper, four classical methods of local feature extraction are considered: the method of locally binary templates, Gabor wavelets, scale-invariant feature transformation, and Weber's local descriptor. The classifiers for the feature vectors comparison in this research are SVM and the simplest Perceptron — the basic methods of machine learning. As part of the study, a comparative analysis of each method was carried out in relation to the collected datasets. The methods were trained and tested on a collected face dataset of over 632,000 images of 152 people. As a result of the comparative analysis, it can be concluded that the method of local binary features demonstrates the best result among the considered methods for both types of data: for face thermograms (for SVM — 0,57, for Perceptron — 0,58), for photographic images (for SVM — 0,71, for Perceptron — 0,73). Furthermore, the SIFT method showed similar results: for face thermograms (for SVM — 0,58, for Perceptron — 0,55), for photographic images (for SVM — 0,72, for Perceptron — 0,74). Gabor filters and Weber local descriptor application demonstrate a low accuracy rate in the authentication task by both types of data. The results of the work can be used in access control and management systems to increase the fault tolerance of person authentication. The appliance of the considered methods are effective in the tasks such as processing thermograms for authentication a person by so-called "secondary" signs, for example, by the veins and vessels on face patterns, in cases of facial expressions and appearance changes. Keywords
computer vision, facial recognition algorithm, locally binary patterns, Gabor filters, scale-invariant features transform, local Weber descriptor, computer vision, edge extraction, face thermographic image authentication For citation: Belov N.I., Ermak M.A., Dubinich E.A., Kuznetsov A.Y. Methods of local features extraction in person authentication task by face thermographic image. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2022, vol. 22, no. 2, pp. 279-286 (in Russian). doi: 10.17586/2226-1494-2022-22-2-279-286
Введение
На сегодняшний день алгоритмы распознавания лиц получили широкое применение [1] в различных системах: от мобильных устройств до использования в платежных системах. Существует множество методов, успешно применяющихся для задачи установления личности. Однако вместе с этим растет и количество способов обмана алгоритмов аутентификации на основе изображения лица человека. В связи с этим необходимо рассмотреть иные способы аутентификации по изображению лиц. Одним из таких способов может стать система на основе анализа термографических снимков в дальнем инфракрасном диапазоне (Long-Wavelength Infrared Specter, LWIR).
Снимки в LWIR — уникальны для каждого человека. Используя аппаратуру с высоким разрешением для получения термографических снимков, можно наблюдать сети вен и сосудов на лице человека [2].
По данной тематике существует ряд работ зарубежных исследователей, в которых представлена оценка методов выделения локальных признаков для термо-
грамм: метода локально-бинарных шаблонов (Local Binary Pattern, LBP), вейвлеты Габора, масштабно-инвариантной трансформации признаков (Scale Invariant Feature Transform, SIFT), локального дескриптора Вебера (Weber Local Descriptor, WLD) [3, 4].
Полученные результаты оценок не подходят для применения к выборкам обучения и тестирования моделей по количеству термограмм и по качественным характеристикам.
Это связано с тем, что данные работы не имеют практической применимости в реальных условиях, когда внешность людей может изменяться, как и условия окружающей среды (смена времен года, времени суток и др.). Также использовано малое количество персон в выборке, что снижает вариативность уникальных признаков и искусственно повышает качество работы алгоритмов аутентификации. Стоит отметить, что в настоящей работе собранная выборка состоит из двух типов изображений: снимков лиц людей и термограмм в LWIR-диапазоне. В табл. 1 представлено сравнение наборов данных, хранящихся в открытых источниках термографических снимков и использующихся в работах [3, 4].
Таблица 1. Сравнительная характеристика наборов данных из открытых источников и собранного набора данных Table 1. Comparative characteristics of open-source datasets and collected data
Набор данных
Условия Equinox database [5, 6] RGB-DT face dataset [7] NIST database [8] University of Notre Dame [9] Собранные данные
Количество изображений 14 560 45 900 25 000 2293 632 000
Количество людей в наборе данных 91 51 91 82 158
Тип изображений LWIR LWIR Фото и LWIR LWIR Фото и LWIR
Движение головы 3 позиции + - - +
Выражение лица (улыбка, грусть, спокойствие) + + + + +
Изменение внешности (грим/косметика) - - - - +
Изменение внешности (усы/борода) - - - - +
Изменение освещения + - - - +
Изменение температуры окружающей среды - - - - +
Изменение внешности (очки) + + + + +
Изменение внешности (ношение медицинской маски) - - - - +
Примечание. Символ «+» обозначает, что в соответствующем наборе данных присутствуют примеры с соответствующей составляющей, например, присутствуют примеры с изображениями человека в очках. Знак «-» соответственно указывает на отсутствие в наборе данных примеров с соответствующим условием.
Цель данной работы — исследование классических методов выделения локальных признаков на изображении в задаче идентификации человека применительно к снимкам лица в LWIR-диапазоне (8-14 мкм) с изменением условий снятия снимка. А также выполнение сравнения качества выделения признаков на 2Б-изображении в видимом спектре и термограммах лиц.
Метод локально-бинарных шаблонов
Алгоритм локальных бинарных шаблонов (ЪВР) — один из самых известных алгоритмов выделения общих текстур из изображения с помощью пороговых значений окрестных пикселов [10]. Использование текстур изображений и дальнейшая их свертка в одномерные гистограммы идеально подходит для дальнейшего распознавания лиц.
Первым шагом в работе алгоритма является его обучение. На вход подается изображение и преобразуется таким образом, что у каждого пиксела рассматриваются его окрестности. Есть несколько способов определения окрестности: определить круг радиусом Я и рассмотреть Р точек на данном круге; рассмотреть ближайшие к центру пикселы и получить квадрат п х п пикселов. Число пикселов п выбирается эмпирическим путем, где п = 3, 5, ... . Для настоящей работы [10] выбрана окружность радиусом Я = 1, с количеством точек Р = 8.
Получим значение центрального пиксела, которое используется в качестве порогового значения для преобразования ближайших окрестностей в 0 или 1:
Р-1
^РД^ Ус) = X 8('Р - ¡аХ
Р=0
где ¡Р и 1с — значения уровня градации серого центрального пиксела и Р окрестных пикселов с радиусом
Я; с — центральный пиксел; х и у — координаты пиксела по оси абсцисс и ординат; хс и ус — координаты центрального пиксела по оси абсцисс и ординат.
Представим функцию g(x) в виде:
(1, если х > 0
g(x) = А ^ А
10, если х < 0.
Преобразуем все значения 0 или 1, полученные на первом шаге, в одно число в двоичной форме и переведем его в десятичную систему счисления. Полученное значение — новое значение рассматриваемого центрового пиксела. Наглядно процесс преобразования приведен на рис. 1, где показаны окрестности пиксела со значением 4 (выделено серым цветом), которые затем переводятся в последовательность 0 или 1, их сумма в десятичном представлении равна 23.
После проведения преобразований всех пикселов в исходном изображении получим текстурированное представление лица, где 0 означает, что явной текстуры в соседствующих пикселах не обнаружено, а 255 — максимальное содержание в этой области текстур на соседствующих пикселах. Данный результат дает представление о текстуре изображения. На рис. 2 приведен пример преобразования, где виден овал лица, место, где начинаются волосы, глаза, рот и т. д. Другими словами, выделяются локальные признаки, необходимые для последующего процесса аутентификации.
После преобразования и получения промежуточного изображения применена процедура выделения гистограммы. Изображение разделено сеткой на равные части, и каждая из них записывается как одномерный вектор. Далее все части соединяются в один вектор. В процессе преобразования может возникнуть ситуация, когда некоторые участки лица более важны, чем остальные (например, глаза). В таком случае необхо-
4 + 2 + 2 = 23
Рис. 1. Графическое представление шагов локально-бинарного преобразования: выделение бинарной матрицы 3 х 3 пиксела, где средний пиксел — пороговое значение (a); перевод окрестностей полученной матрицы в десятичное число (b); сохранение полученного числа в выходной матрице, с той же шириной и высотой (с)
Fig. 1. Graphical representation of the steps of a locally binary transformation: the allocation of a binary matrix of 3 by 3 pixels, where the threshold value is the average pixel (a); the translation of the surroundings of the resulting matrix into a decimal number (b); the storage of the resulting number in the output matrix, with the same width and height (c)
димо задать вес данным участкам. Результатом работы алгоритма является одномерный вектор.
Примененные трансформации методом локально-бинарного преобразования на подготовленных тренировочных данных сохраняются в базу данных и используются в дальнейшем для их сопоставления с новыми векторами.
Когда на вход подается новое лицо, изображение преобразовывается с помощью одного из методов, вы-
деляется гистограмма, которая в дальнейшем сопоставляется с векторными представлениями, хранящимися в базе данных. Для сопоставления применены методы классификации или методы сравнения расстояний между векторами [4]. В настоящей работе для сопоставления векторов использовано два классификатора: метод опорных векторов (Support Vector Machine, SVM) и простейший персептрон (Perceptron).
Вейвлеты Габора
Применение фильтров или вейвлетов Габора (Gabor Filters) получило широкое распространение в системах компьютерного зрения. Данный алгоритм с помощью набора функций выделяет структуру и извлекает взаимную информацию из изображения для дальнейшего его использования как набора признаков [11].
В случае изображения находит применение двухмерный фильтр Габора, содержащий в своем ядре гауссову функцию, моделируемую синусоидальной плоской волной. Сам фильтр имеет две ортогональные друг другу составляющие: действительную и мнимую:
exp = -
g(x, y, X, 0, у, G, Y) = x'2 + fy'2 2g2
cos(2rc— + \|/l,
g(x, y, X, 0, у, G, Y) =
/ x'2 + y2/2\ / x' exp =
где X — длина волны; 0 — ориентация нормали к параллельным плоскостям функции Габора; у — фаза смещения; с — коэффициент функции Гаусса; у — пространственное отношение сторон; х' = .хcos(0) + + лят(0) и у' = -лят(0) + .^(0).
Для свертки изображения в вектор признаков с помощью фильтра Габора обычно используют заранее подготовленный набор фильтров, различающийся масштабом и ориентацией [12]. Исходное изображение Д., у) сворачивается набором фильтров gu у(х, у) (в настоящей работе использован набор из 40 фильтров) в
Рис. 2. Пример применения локально-бинарного преобразования фотографии: исходное изображение (a); гистограмма,
полученная в результате преобразования (b)
Fig. 2. An example of using a locally binary photo transformation: the original image (a); the histogram obtained during the local
binary transformation (b)
комплексное значение Gu г(х, у) и делится на действительную и мнимую части.
У) = 1(х У^и,г(х У),
^Ах у) = М^А У)],
Ou,v(x, У) = Im[G (х, У)].
Результаты фильтрации разделяются на значения А^х У) и фазу 0u,v(x, У).
(х, У) = ^Е2,у(х, у) + 02,у(х, у) ,
п , ч I Ои,у(х,У)\
9иА у) = |
где индексы и и V — обозначения примененного фильтра по частоте и направлению соответственно.
Отметим, что в результате фильтрации фазовая характеристика зависима от взаимного положения пикселов на изображении и дает кардинально отличающиеся значения даже при небольшом их изменении. На величину значения Аи ^х, у), положение пикселов влияет не существенно. Данную величину используют при выделении признаков лица методом фильтра Габора.
Метод масштабно-инвариантной трансформации признаков
Основой работы метода масштабно-инвариантной трансформации признаков (Scale Invariant Feature Transform, SIFT) является выделение и описания локальных признаков в изображениях для дальнейшего распознавания каких-либо объектов (в нашем случае лиц).
Первый шаг данного алгоритма — процесс выявления экстремумов масштабного пространства. Для этого выполняется расчет ключевых точек:
O(x, y, с) = L(x, y, kp) - L(x, y, k-c),
где L(x, y, kfi) — свертка исходного изображения через гауссову функцию [13] с шагом k;c:
L(x, y, с) = G(x, y, c)I(x, y),
где I(x, y) — исходное изображение, а Гауссиан имеет вид:
G(x,y, с)=wexT^J.
После расчета разности гауссианов при следующих шагах применяется описанный Линденбергом расчет экстремумов в заданном пространстве по масштабу Лапласиана [13]. Иначе говоря, определяются точки, которые являются локальными минимумами или максимумами в масштабном пространстве с учетом положения и масштаба. Далее выбранные точки проверяются на нестабильность. На этом этапе оценивается значение O(x, y, с) в каждой ключевой точке кандидата. Если это значение ниже определенного порога, то структура имеет низкую контрастность (и, следовательно, чувствительна к шуму), и ключевая точка будет удалена.
Для каждой ключевой точки с использованием локальных направлений градиентов изображений рас-
считывается и выбирается ориентация. Вычисляется вектор дескриптор, который рассчитывается как набор гистограмм в окрестности 16 х 16 пикселов. Каждая гистограмма содержит 8 областей при размере гистограммы 4 х 4. В результате размерность такого признакового вектора для каждой ключевой точки составляет 128 пикселов. Полученный набор признаков используется для дальнейшего сопоставления.
Локальный дескриптор Вебера
Локальный дескриптор Вебера (Weber Local Descriptor, WLD) [8]. Данный метод похож на алгоритм локальных бинарных шаблонов. Отличие методов в добавлении градиентов ориентации для получения большей информации из изображения.
Согласно закону Вебера, для выделения текстуры изображения стоит рассматривать два соотношения — дифференциальное возбуждение и ориентацию. Рассмотрим метод получения дифференциального возбуждения. Для этого на исходное изображение применяются два фильтра, которые представлены на рис. 3 под номерами A и B. После применения фильтров получим величины Va и Vb, из которых вычислим дифференциальное возбуждение:
е /Ч /v Чх-х<-
q = arctanl — | = arctan| Ь \
\vB
i=0
где хс — центральный пиксел; х ^ — I -и пиксел, соседствующий с хс; р — количество пикселов, соседствующих с центральным пикселом.
Дифференциальное возбуждение может быть как положительным (т. е. центральный пиксел темнее, чем его соседи), так и отрицательным — центральный пиксел светлее своих соседей.
Перейдем к расчету ориентации градиента, используя фильтры С и D, получим значения вертикальных vc и горизонтальных vD фильтров и рассчитаем ориентацию:
ы
0(хс) = arctan — .
После получения двух векторов признаков изображения преобразуем их в один. Результат используем для сопоставления.
Результаты исследования
Для проведения экспериментов собран датасет для обучения и тестирования моделей. Набор данных со-
Рис. 3. Фильтры для расчета дифференциального возбуждения и ориентации Fig. 3. Filters for calculating differential excitation and orientation
Рис. 4. Примеры термограмм лиц: в профиль в медицинской маске (a); в профиль, с температурой окружающей среды -5 °С (b); етева с температурой окружающей среды +20 °С (с)
Fig. 4. Example of thermograms dataset: face thermogram in profile with medical mask wearing (a); face thermogram in profile, with an environment temperature of -5 °С (b); face thermogram on the left with an environment temperature of +20 °С (с)
стоит из 632 тысяч изображений лиц 158 человек и такого же количества изображений в LWIR-диапазоне. Изображения собраны с соблюдением следующих требований: изменение выражения лица; вращение головы на 360°; изменение температурного режима окружающей среды; изменение внешности с помощью грима/ косметики или носимых вещей (очки, медицинская маска); изменение освещения.
Примеры двух типов выборок изображений представлены на рис. 4 и 5.
На рис. 6 приведена общая схема процесса решения задачи распознавания лица. Первостепенно трениро-
Рис. 5. Пример 2D-изображений лиц человека: снизу (a); в очках с левого бока (b); в очках с левой нижней стороны (с)
Fig. 5. An example of faces images: face image from bottom side (a); face image from the left side with glasses wearing (b); face image from bottom left side with glasses wearing (с)
вочные наборы данных предобрабатываются, затем метод выделения признаков обучается переводить изображение лица в вектор. Для каждого изображения из набора с целью тестирования выставляется пара — другое изображение. После предобработки изображений из набора для тестирования полученные данные преобразуются с помощью каждого из методов выделения локальных признаков изображения в векторное представление и передаются на вход предобученному классификатору. Результатом работы алгоритма является ответ в виде значения 1 или 0, соответственно для сопоставленного или не сопоставленного снимка.
При аутентификации лиц в качестве классификатора для обоих типов выборок данных применены два простых метода классификации [14]: Perceptron и SVM. В качестве метрики оценки качества сопоставления для выбранных методов использована точность (Accuracy).
Рис. 6. Блок-схема алгоритма обучения и тестирования методов локального выделения признаков изображений Fig. 6. Diagram of the testing and training algorithm methods
Таблица 2. Сравнение результатов работы алгоритмов распознавания лиц — значение метрики Accuracy Table 2. Facial recognition algorithms results comparison - Accuracy metric result
Метод выделения признаков Вид изображения лица
фотография термограмма
SVM Perceptron SVM Perceptron
LBP 0,71 0,73 0,57 0,58
Gabor Filters 0,52 0,55 0,46 0,46
SIFT 0,72 0,74 0,58 0,55
WLD 0,66 0,64 0,54 0,51
В табл. 2 представлены результаты проведения сравнительного анализа между методами выделения признаков изображения.
В результате проведенного эксперимента сделаем вывод, что все методы показывают похожие результаты качества сопоставления за исключением Gabor Filters для обоих типов выборок изображений. Методы LBP и SIFT отличаются качеством выделения признаков лица на изображении и имеют похожие результаты. Отметим, что метод LBP показывает лучшие результаты относительно остальных методов для изображений, содержащих как фотографию, так и термограмму лица человека, при сопоставлении векторов признаков. Заметим, что все алгоритмы лучше справляются с выделением признаков на фотоизображении лица человека.
Заключение
В работе выполнено сравнение четырех методов выделения локальных признаков на изображении для двух типов данных: термограммы лиц и изображения лиц. В качестве классификаторов использованы две
базовые модели машинного обучения, применяемые для задач классификации - простейший персептрон и метод опорных векторов.
Полученные результаты показали, что в задаче аутентификации по термограмме и фотоизображению лица человека метод выделения локальных признаков показывает наилучший результат. Метод масштабно-инвариантной трансформации признаков продемонстрировал немного худшие по качеству результаты, в отличие от метода выделения локальных признаков для термографических снимков.
В дальнейшем планируется рассмотреть также методы, использующие целостные преобразования изображений (такие как Principal Component Analysis, Latent Dirichlet allocation и др.), для выявления их достоинств и недостатков применительно к задаче аутентификации человека по термограмме лица. Вместе с тем планируется рассмотрение передовых методов, применяемых в задачах распознавания лиц, таких как сложные нейросетевые архитектуры с использованием операции свертки и архитектуры на основе сиамских нейронных сетей.
Литература
1. Zhao W., Chellappa R., Phillips P. J., Rosenfeld A. Face recognition: a literature survey // ACM Computing Surveys. 2003. V. 35. N 4. P. 399-458. https://doi.org/10.1145/954339.954342
2. Cutler R. Face recognition using infrared images and eigenfaces. 1999 [Электронный ресурс]. URL: https://www.researchgate.net/ publication/2375350_Face_Recognition_Using_Infrared_Images_ and_Eigenfaces (дата обращения: 21.12.2021).
3. Kristo M., Ivasic-Kos M. An overview of thermal face recognition methods // Proc. of the 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). 2018. P. 1098-1103. https://doi.org/10.23919/ MIPRO.2018.8400200
4. Hermosilla G., Ruiz-del-Solar J., Verschae R., Correa M. A comparative study of thermal face recognition methods in unconstrained environments // Pattern Recognition. 2012. V. 45. N 7. P. 2445-2459. https://doi.org/10.1016/j.patcog.2012.01.001
5. Akhloufi M.A., Bendada A. Infrared face recognition using texture descriptors // Proceedings of SPIE. 2010. V. 7661. P. 766109. https:// doi.org/10.1117/12.849764
6. Méndez H., Martín C.S., Kittler J., Plasencia Y., García-Reyes E. Face recognition with LWIR imagery using local binary patterns // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2009. V. 5558. P. 327-336. https://doi.org/10.1007/978-3-642-01793-3_34
7. Simón M.O., Corneanu C., Nasrollahi K., Nikisins O., Escalera S., Escalera S., Sun Y., Li H., Sun Z., Moeslund T.B., Greitans M. Improved RGB-D-T based face recognition // IET Biometrics. 2016. V. 5. N 4. P. 297-303. https://doi.org/10.1049/iet-bmt.2015.0057
8. Bebis G., Gyaourova A., Singh S., Pavlidis I. Face recognition by fusing thermal infrared and visible imagery // Image and Vision Computing. 2006. V. 24. N 7. P. 727-742. https://doi.org/10.1016/j. imavis.2006.01.017
9. Palm R.B. Prediction as a candidate for learning deep hierarchical models of data. 2012 [Электронный ресурс]. URL: https://www2. imm.dtu.dk/pubdb/pubs/6284-full.html (дата обращения: 05.01.2022).
10. Ojala T., Pietikainen M., Harwood D. A comparative study of texture measures with classification based on feature distributions // Pattern Recognition. 1996. V. 29. N 1. P. 51-59. https://doi.org/10.1016/0031-3203(95)00067-4
11. Okajima K. Two-dimensional Gabor-type receptive field as derived by mutual information maximization // Neural Networks. 1998. V. 11. N 3. P. 441-447. https://doi.org/10.1016/S0893-6080(98)00007-0
References
1. Zhao W., Chellappa R., Phillips P. J., Rosenfeld A. Face recognition: a literature survey. ACM Computing Surveys, 2003, vol. 35, no. 4, pp. 399-458. https://doi.org/10.1145/954339.954342
2. Cutler R. Face recognition using infrared images and eigenfaces, 1999. Available at: https://www.researchgate.net/ publication/2375350_Face_Recognition_Using_Infrared_Images_ and_Eigenfaces (accessed: 21.12.2021).
3. Kristo M., Ivasic-Kos M. An overview of thermal face recognition methods. Proc. of the 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2018, pp. 1098-1103. https://doi.org/10.23919/ MIPR0.2018.8400200
4. Hermosilla G., Ruiz-del-Solar J., Verschae R., Correa M. A comparative study of thermal face recognition methods in unconstrained environments. Pattern Recognition, 2012, vol. 45, no. 7, pp. 2445-2459. https://doi.org/10.1016/j.patcog.2012.01.001
5. Akhloufi M.A., Bendada A. Infrared face recognition using texture descriptors. Proceedings of SPIE, 2010, vol. 7661, pp. 766109. https://doi.org/10.1117/12.849764
6. Méndez H., Martín C.S., Kittler J., Plasencia Y., García-Reyes E. Face recognition with LWIR imagery using local binary patterns. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2009, vol. 5558, pp. 327-336. https://doi.org/10.1007/978-3-642-01793-3_34
7. Simón M.O., Corneanu C., Nasrollahi K., Nikisins O., Escalera S., Escalera S., Sun Y., Li H., Sun Z., Moeslund T.B., Greitans M. Improved RGB-D-T based face recognition. IET Biometrics, 2016, vol. 5, no. 4, pp. 297-303. https://doi.org/10.1049/iet-bmt.2015.0057
8. Bebis G., Gyaourova A., Singh S., Pavlidis I. Face recognition by fusing thermal infrared and visible imagery. Image and Vision Computing, 2006, vol. 24, no. 7, pp. 727-742. https://doi. org/10.1016/j.imavis.2006.01.017
9. Palm R.B. Prediction as a candidate for learning deep hierarchical models of data, 2012. Available at: https://www2.imm.dtu.dk/pubdb/ pubs/6284-full.html (accessed: 05.01.2022).
10. Ojala T., Pietikainen M., Harwood D. A comparative study of texture measures with classification based on feature distributions. Pattern Recognition, 1996, vol. 29, no. 1, pp. 51-59. https://doi. org/10.1016/0031-3203(95)00067-4
11. Okajima K. Two-dimensional Gabor-type receptive field as derived by mutual information maximization. Neural Networks, 1998, vol. 11, no. 3, pp. 441-447. https://doi.org/10.1016/S0893-6080(98)00007-0
12. Kyrki V., Kamarainen J.-K., Kalviainen H. Simple Gabor feature space for invariant object recognition // Pattern Recognition Letters. 2004. V. 25. N 3. P. 311-318. https://doi.org/10.1016/j. patrec.2003.10.008
13. Lee D.D., Seung H.S. Algorithms for non-negative matrix factorization // Advances in Neural Information Processing Systems. 2001. V. 13. P. 556-562.
14. Bolme D.S., Beveridge J.R., Teixeira M., Draper B.A. The CSU face identification evaluation system: Its purpose, features, and structure // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2003. V. 2626. P. 304-311. https://doi.org/10.1007/3-540-36592-3_29
12. Kyrki V., Kamarainen J.-K., Kalviainen H. Simple Gabor feature space for invariant object recognition. Pattern Recognition Letters, 2004, vol. 25, no. 3, pp. 311-318. https://doi.org/10.1016/j. patrec.2003.10.008
13. Lee D.D., Seung H.S. Algorithms for non-negative matrix factorization. Advances in Neural Information Processing Systems, 2001, vol. 13, pp. 556-562.
14. Bolme D.S., Beveridge J.R., Teixeira M., Draper B.A. The CSU face identification evaluation system: Its purpose, features, and structure. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2003, vol. 2626, pp. 304-311. https://doi.org/10.1007/3-540-36592-3 29
Авторы
Белов Никита Игоревич — главный специалист, ООО «Газпромнефть-ЦР», Санкт-Петербург, 196084, Российская Федерация, https://orcid.org/0000-0003-0644-1547, nikit.belov@gmail. com
Ермак Максим Андреевич — ведущий специалист, ООО «Газпромнефть-ЦР», Санкт-Петербург, 196084, Российская Федерация, https://orcid.org/0000-0002-4794-1540, max7ermak@gmail. com
Дубинич Евгений Александрович — инженер, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, https:// orcid.org/0000-0002-7421-9895, Dzys95@mail.ru Кузнецов Александр Юрьевич — кандидат технических наук, доцент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, S3 57195326635, https://orcid.org/0000-0002-5702-3786, alkuznetcov@itmo.ru
Authors
Nikita I. Belov — Chief Specialist, Gazpromneft-CR, Saint Petersburg, 196084, Russian Federation, https://orcid.org/0000-0003-0644-1547, nikit. belov@gmail.com
Maxim A. Ermak — Leading Specialist, Gazpromneft-CR, Saint Petersburg, 196084, Russian Federation, https://orcid.org/0000-0002-4794-1540, max7ermak@gmail.com
Evgeny A. Dubinich — Engineer, ITMO University, Saint Petersburg, 197101, Russian Federation, https://orcid.org/0000-0002-7421-9895, Dzys95@mail.ru
Alexander Y. Kuznetsov — PhD, Associate Professor, ITMO University, 197101, Saint Petersburg, Russian Federation, gg 57195326635, https:// orcid.org/0000-0002-5702-3786, alkuznetcov@itmo.ru
Статья поступила в редакцию 25.01.2022 Одобрена после рецензирования 19.02.2022 Принята к печати 25.03.2022
Received 25.01.2022
Approved after reviewing 19.02.2022
Accepted 25.03.2022
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
