CC BY
189
Обзорная статья
УДК 004.032.26+004.056.53+004.93
ББК 32.813.5
Ч 25
DOI: 10.53598/2410-3225-2022-1-296-92-112
Аналитический обзор методов идентификации личности на основе биометрических характеристик
(Рецензирована)
Вера Аркадьевна Частикова1, Анна Андреевна Титова2, Диана Олеговна Войлова
1 2' 3 Кубанский государственный технологический университет, Краснодар, Россия
1 chastikova_ya@mail.ru
2 annieti@mail.ru
3 diana.voylova@mail.ru
Аннотация. Представлен обзор различных методов биометрической идентификации. Рассмотрена задача распознавания личности по физиологическим и поведенческим характеристикам. Результаты анализа показали, что метод идентификации лица по термограмме является наиболее актуальным в данный момент. При голосовой идентификации распространенными методами извлечения признаков являются методы вычисления кепстральных коэффициентов: мел-частотных и на основе линейного предсказания. Было выявлено, что сочетание нескольких типов измерений позволяет повысить уровень безопасности, надежность и эффективность работы систем идентификации. Мультимодальная биометрическая система увеличивает объем и разнообразие входной информации. Поскольку сверточные нейронные сети демонстрируют наиболее высокие результаты в задачах детектирования, сегментации и классификации объектов, в данной работе также предложен подход идентификации личности на основе сетей данного типа.
Ключевые слова: машинное обучение, нейронная сеть, глубокое обучение, сверточная нейронная сеть, бимодальная биометрия, мультимодальные системы, идентификация по изображению лица, идентификация по голосу
Review Article
Analytical review of personal identification methods based on biometric characteristics
12 3
Vera A. Chastikova , Anna A. Titova , Diana O. Voylova
1 2' 3 Kuban State University of Technology, Krasnodar, Russia
1 chastikova_va@mail.ru
2 annieti@mail.ru
3 diana.voylova@mail.ru
Abstract. This work presents an overview of various methods of biometric identification. The authors consider the problem of personality recognition by physiological and behavioral characteristics. The results of the analysis show that the method of identifying a person by a thermogram is the most relevant at a particular moment. In voice-based identification, common methods for extracting features are methods for calculating cepstral coefficients: mel-frequency and based on linear prediction. It has been found that the combination of several types of measurements can improve the security, reliability and efficiency of identification systems. The multimodal biometric system increases the volume and variety of input information. Since convolutional neuronal networks demonstrate the highest results in the tasks of detection, segmentation and classification of objects, this paper also proposes an approach to identifying a person based on networks of this type.
Keywords: machine learning, neuronal network, deep learning, convolutional neuronal network, bimodal biometrics, multimodal systems, facial identification, voice-based identification
Введение
В современном мире достоверное распознание и подтверждение личности стали важными и привычными атрибутами. Поэтому все чаще мы слышим об использовании различных методов биометрии в той или иной сфере деятельности.
Решение этих задач реализует биометрическая система [1]. В свою очередь, биометрическая система представляет собой автоматизированную систему, решающую две связанные между собой задачи: 1) получение биометрических данных от конечных пользователей и 2) дальнейшее использование этих данных.
Биометрическая система идентификации личности реализует следующие функции:
- сравнение биометрических данных с одним или большим количеством эталонов, хранящихся в базе биометрической системы;
- разработка количественной оценки соответствия сравниваемых биометрических данных;
- определение результата идентификации и решение о том, была ли достигнута идентификация;
- принятие решения о повторении, прекращении или изменении процесса идентификации.
Основная часть
1. Сравнительный анализ биометрических идентификаторов
Методы идентификации личности по ее биометрическим характеристикам и средства реализации этих методов в совокупности образуют биометрические технологии, использующие уникальные физиологические или поведенческие характеристики человека. Различают следующие биометрические параметры:
а) физиологические характеристики: отпечатки пальцев, сетчатка глаза, венозная система, форма лица и т.д.;
б) поведенческие характеристики: почерк и динамика подписи, голос и ритм речи, скорость и особенности работы на клавиатуре компьютера, походка и др.
Теоретически любая физиологическая или поведенческая характеристика человека может быть использована для создания личного идентификатора, обладающего следующими свойствами: универсальность, уникальность и постоянство.
Одним из преимуществ использования биометрических идентификаторов является невозможность потерять, забыть, угадать или легко подделать. Они являются «чем-то, чем вы являетесь».
Для определения эффективности любой биометрической системы применяются качественные характеристики.
В анализе будут использоваться следующие коэффициенты, являющиеся ключевыми при оценке методов биометрической идентификации [2] (см. табл. 1):
- FAR - коэффициент ложного допуска (англ. - False Acceptance Rate) - вероятность ложной идентификации пользователя, которого нет в базе данных;
- FRR - коэффициент ложного отказа (англ. - False Rejection Rate) - вероятность отказа в идентификации пользователю в базе данных.
Рассмотрим каждый из методов распознания личности:
1. По отпечатку пальцев. Данный метод построен на уникальности узоров на пальцах у каждого человека. Санкционированный доступ к какому-либо объекту или ресурсу обеспечивается касанием пальца сканирующего устройства.
2. По рисунку вен. Основой этого метода является венозный рисунок, обладающий уникальностью для каждого человека. Его преимуществом является высоконадежная аутентификация, которая достигается из-за того, что вены находятся под кожей, следовательно, их практически невозможно подделать.
Таблица 1
Качественные характеристики биометрических систем Table 1. Qualitative characteristics of biometric systems
Метод биометрической и ден ти ф икацни Коэффициент ложного допуска. FAR Коэффициент ложного отказа, FR_R
Отпечаток пальца 0,001% 0,6%
Распознавание лица 2В 0,1% 2,5%
Распознавание лица ЗБ 0.0005% 0,1%
Радужная оболочка глаза 0.00001% 0,016%
Сетчатка глаза 0,0001% 0,4%
Рисунок вен 0.0008% 0.01%
3. По форме лица. Этот метод идентификации заключается в создании двух- или трехмерного образа лица человека, то есть специализированная программа идентифицирует человека по расположению на его лице носа, губ, глаз, бровей и расстоянию между ними.
4. По сетчатке глаза. В методе используется узор кровеносных сосудов, расположенных на поверхности глазного дна (сетчатке), достигаемый путем просвечивания кровеносных сосудов на задней стенке глаза мягким лазерным лучом. Преимущество этого метода в том, что сетчатка остается неизменной от рождения до смерти.
5. По радужной оболочке глаза. Основой этого метода является узор на радужной оболочке глаза, получаемый при помощи камеры, которая способна фиксировать изображение глаза с достаточным разрешением. По нему и создается цифровой код, служащий для идентификации человека.
6. По подписи. Распознание личности в данном методе осуществляется по характеристикам уникального почерка человека. Данный метод удобен тем, что от пользователя системы требуется лишь делать то, что и всегда. Система, анализируя отклонения от нормального поведения, может предположить, что пользователь не тот, за кого себя выдает.
7. По голосу. Идентификация личности происходит по статистическим и частотным характеристикам голоса человека.
8. По походке. В данном методе система анализирует походку отдельных людей, используя датчики, искусственный интеллект и видеонаблюдение.
При выборе биометрического метода идентификации следует учитывать следующие основные факторы: точность, простота использования, источники ошибок, долговременная стабильность и приемлемость для пользователей. Сравнительный анализ некоторых видов биометрии представлен в таблице 2.
Таблица 2
Сравнительный анализ биометрических параметров Table 2. Comparative analysis of biometric parameters
Характеристики Сетчатка Отпечатки пальцев Радужная оболочка Геометрия руки Подпись Лицо Голос
Точность Очень высокая Высокая Очень высокая Высокая Высокая Высокая Высокая
Простота использования Низкая Высокая Средняя Высокая Высокая Средняя Высокая
Источники ошибок Очки Сухость, загрязнение, возраст Освещение Травма руки, возраст Изменение подписи Освещение, возраст, очки, волосы Шум, простуда
Долговременная стабильность Высокая Высокая Высокая Средняя Средняя Средняя Средняя
Приемлемость для пользователей Средняя Средняя Средняя Средняя Высокая Средняя Высокая
2. Мультимодальные биометрические системы
Мультимодальные биометрические системы являются в настоящее время наиболее востребованными, так как в своей работе используют не менее двух различных источников информации для идентификации личности (физиологический и поведенческий).
Они решают проблему универсальности, поскольку имеют большое количество идентификаторов. Идентификация по нескольким характеристикам также предотвращает проблему спуфинга, так как она связана с несколькими модальностями, поэтому злоумышленнику будет трудно подделать сразу несколько идентификаторов авторизованного пользователя.
Типовая структура мультимодальной биометрической системы представлена на рисунке 1.
Рис. 1. Типовая структура мультимодальной биометрической системы [3] Fig. 1. Typical structure of a multimodal biometric system [3]
В канале распознавания лиц реализованы следующие шаги: предварительная обработка исходного изображения и обнаружение лиц на изображении (ПО/Д); извлечение характеристик выбранного изображения (ЭП); отбор функций и/или уменьшение размера пространства признаков (СП/РРПП); регистрация пользователей и обучение пользовательской базы системы; классификация заданного изображения лица (К).
В канале распознавания голоса реализуются аналогичные этапы с учетом характера исходных данных [4]. Результаты обоих классификаторов обрабатываются в блоке принятия решений (БПР), формирующем заключительный результат.
Среди биометрических технологий идентификации человека особый интерес представляют технологии, основанные на геометрии лица и голосе. В этом случае людей можно идентифицировать и наблюдать «на расстоянии». Эти технологии сравнивают изображения лица и голоса с соответствующими стандартами, хранящимися в памяти систем распознавания лиц и систем распознавания речи.
3. Основные принципы биометрической технологии идентификации по лицу
В биометрических технологиях идентификация личности по лицу - процедура, предназначенная для однозначного определения личности на основе характеристик лица при сравнении их с лицами-эталонами.
Любая система может быть построена на основе трех принципов, характеризующих собственно процесс распознавания:
1) перечисление членов класса (когда каждый исходный класс идентифицируется списком содержащихся в нем изображений - членов класса);
2) общность свойств (когда каждый класс исходных данных характеризуется не-
которыми общими свойствами, присущими всем его членам);
3) кластеризация (когда в исходном пространстве данных обнаруживается склонность к кластеризации).
В настоящее время идентификация по лицу достигла значительного прогресса. Технологию распознавания лиц составляет любое устройство с цифровой фотографической технологией и современное программное обеспечение, основанное на обработке изображений и вычислении сложных математических алгоритмов.
Системы распознавания лиц захватывают входящее изображение с устройства камеры в двухмерном или трехмерном виде в зависимости от характеристик устройства.
Двухмерная (2Б) технология распознавания лиц основана на плоских двумерных изображениях. Алгоритмы распознавания лиц используют: антропометрические параметры лица, графы - модели лиц или эластичные 2Б-модели лиц, а также изображения с лицами, представленные некоторым набором физических или математических признаков. Рейтинг популярности алгоритмов распознавания лиц рассматривается в таблице 3.
Таблица 3
Сравнительный анализ методов биометрической идентификации по лицу
Table 3. Comparative analysis of biometric identification methods by face
Метод биометрической и дентиф икацни Коэффициента ложного допуска, FAR Коэффициента ложного отказа, FRR
Распознавание лица 2D 0.1% 2.5%
Распознавание лица 3D 0,0005% 0.1%
Основным преимуществом 2В-распознавания лиц является наличие готовых баз данных эталонных лиц и готовой инфраструктуры. Однако недостатком являются более высокие коэффициенты ошибок FAR и FRR по сравнению с 3D распознаванием лиц.
3D распознавание (Three-dimensional Face Recognition - англ.) обычно выполняется после реконструированных трехмерных изображений. Технология 3D распознавания лиц имеет более качественные характеристики. Хотя, очевидно, она тоже не идеальна.
Существуют различные технологии 3D-сканирования. Это могут быть лазерные сканеры с оценкой расстояния от сканера до элементов поверхности объекта, специальные сканеры со структурированной подсветкой поверхности объекта и математической обработкой интерференционных кривых или сканеры, обрабатывающие синхронные стереопары изображений лица фотограмметрическим методом.
4. Методы идентификации лица по внешним признакам
Существует два преобладающих подхода к проблеме распознавания лиц: геометрический (на основе признаков) и фотометрический (на основе вида). Поскольку интерес исследователей к распознаванию лиц продолжался, было разработано множество различных алгоритмов, три из которых хорошо изучены в литературе по распознаванию лиц.
Геометрический метод заключается в том, что сначала определяются основные геометрические черты лица, такие как глаза, нос и рот, а затем лица классифицируются на основе различных геометрических расстояний и углов между чертами (см. рис. 2).
— "1 —
tЛ J 1 JÖuJ
._11_ ■ 1 1 м I_ ■ Ш
ШШ т ^г
,а3 -JJ
Рис. 2. Пример использования геометрического метода [5] Fig. 2. Example of using the geometric method [5]
Проблема этого метода заключается в создании соответствующего набора правил. Если правила являются слишком общими или слишком подробными, система получает много ложных срабатываний. Однако это работает не для всех цветов кожи и зависит от условий освещения, которые могут изменить точный оттенок кожи человека на снимке.
Фотометрический метод используется для восстановления формы объекта по ряду изображений, сделанных при различных условиях освещения. Форма восстановленного объекта определяется картой градиента, состоящей из массива нормалей поверхности.
4.1. Метод идентификации по термограмме
Распознавание лиц имеет фундаментальное значение для компьютерного зрения. Большинство существующих работ по распознаванию лиц основаны на видимых изображениях [6]. Тем не менее существуют некоторые проблемы, которые полностью не решены:
- внешность лица на видимых изображениях может меняться в зависимости от освещения. Например, когда источник света находится на правой стороне лица, эта сторона лица выглядит ярче, чем левая сторона видимого изображения, и наоборот. Алгоритму распознавания лиц не так просто одновременно находить области лица с разным распределением яркости;
- внешний вид лица на видимых изображениях иногда становится неправильным из-за пигментов макияжа. Например, актеры иногда носят сильный макияж, из-за которого лица выглядят совершенно нечеловеческими. В этой ситуации распознавание лиц по видимым изображениям в принципе невозможно;
- трудно отличить напечатанные лица от реальных на видимых изображениях практически всеми алгоритмами распознавания лиц.
Распределение температуры лица человека, как правило, постоянное и выше, чем у фото. Это преимущество решает следующую проблему: распечатанные лица можно отличить от реальных на тепловизионных изображениях. Также лица со странными пигментами макияжа легче обнаружить на тепловых изображениях, чем на видимых изображениях, так как пигменты для макияжа не влияют на распределение температуры лица [7].
Тепловизионные камеры чувствительны только к излучению теплового ИК-диапазона, но не чувствительны к видимому свету. Это означает, что независимо от того, как мы меняем условия окружающего освещения, внешний вид лица остается неизменным на тепловых изображениях. Это преимущество решает проблему резкого изменения внешнего вида лица при различных условиях освещения на видимых изображениях.
Использование тепловизионных камер для обнаружения лиц может обеспечить лучшую защиту конфиденциальности. Распознавать личности людей по тепловизион-ным изображениям сложнее [8, 9]. Причина в том, что на тепловизионных изображениях из-за схожего распределения температуры лица человеческие лица кажутся гораздо более похожими, чем на видимых изображениях.
Тем самым возможно получение информации из исходной термограммы лица различными методами, например, на основе вейвлет-преобразования, в частности До-беши и Хаара. Вейвлет-преобразование Хаара является одним из ключевых преобразований, основанных на использовании кусочно-постоянных функций, предоставляемых через конечные интервалы, что значительно упрощает обработку мультиплексированных данных.
Вариант реализации - использование вейвлет-преобразования Добеши в цветовой гамме, а альтернатива - использование вейвлет-преобразования Добеши и Хаара после контурного анализа изображения [10].
Для выполнения вейвлет-преобразования Добеши в цветовом диапазоне используется цветное изображение, полученное непосредственно с тепловизора. Можно применять стандартные инструменты обработки изображений для улучшения качества и устранения шума (см. рис. 3).
Рис. 3. Вейвлет-разложение методом Добеши [11] Fig. 3. Wavelet decomposition by the Daubechies method [11]
Для реализации следующих методов вейвлет-преобразования необходимо сначала выбрать границы или контуры. Границы объектов на картинке значительно сокращают объем обрабатываемых данных, сохраняя при этом важную информацию об объектах на картинке, их форме, размере, количестве.
Для нахождения оптимального метода выделения контура воспользуемся операторами Робертса (см. рис. 4), Канни (см. рис. 5) и Собеля.
Выделение контуров оператором Ро Бе prca
Рис. 4. Выделение контуров оператором Робертса [12] Fig. 4. Selection of contours by the Roberts operator [12]
Рис.5. Выделение контуров оператором Кэнни [13] Fig. 5. Selection of contours by the Canny operator [13]
Оператор Робертса выполняет простое и быстрое вычисление 2-0 пространственного градиента на изображении. Таким образом он выделяет области с высокой пространственной частотой, которые часто соответствуют краям. В наиболее распространенном использовании входные данные для оператора представляют собой изо-
бражение в градациях серого, как и выходные данные. Значения пикселей в каждой точке выходных данных представляют предполагаемую абсолютную величину пространственного градиента входного изображения в этой точке.
Оператор Кэнни был разработан, чтобы быть оптимальным детектором границ. Он принимает в качестве входных данных изображение в градациях серого и создает в качестве выходных данных изображение, показывающее положения отслеживаемых разрывов интенсивности.
Оператор Собеля выполняет измерение 2-0 пространственного градиента на изображении и таким образом выделяет области с высокой пространственной частотой, соответствующие краям. Обычно он используется для нахождения приблизительной абсолютной величины градиента в каждой точке входного изображения в градациях серого (см. рис. 6).
Выделение контуров оператором Собеля
Рис. 6. Выделение контуров оператором Собеля [14] Fig. 6. Selection of contours by the Sobel operator [14]
Основная причина использования оператора Робертса заключается в том, что он очень быстро вычисляется. Необходимо проверить только четыре входных пикселя, чтобы определить значение каждого выходного пикселя, и в расчетах используются только вычитания и сложения. Кроме того, нет никаких параметров для установки. Его основные недостатки заключаются в том, что, поскольку он использует такое маленькое ядро, он очень чувствителен к шуму. Он также дает очень слабую реакцию на исходные края, если только они не очень острые.
Эффект оператора Кэнни определяется тремя параметрами - шириной ядра Гаусса, используемого на этапе сглаживания, и верхним и нижним порогами, используемыми трекером. Увеличение ширины ядра Гаусса снижает чувствительность детектора к шуму за счет потери некоторых мелких деталей изображения.
Одна из проблем с базовым оператором Кэнни связана с Y-переходами, то есть с местами, где встречаются три гребня на изображении величины градиента. Такие соединения могут возникать, когда край частично закрыт другим объектом. Трекер будет рассматривать два гребня как один отрезок линии, а третий как линию, которая приближается к этому отрезку, но не совсем соединяется с ним [15].
Оператор Собеля вычисляется медленнее, чем оператор Робертса, но его более крупное ядро свертки сглаживает входное изображение в большей степени и, таким образом, делает оператор менее чувствительным к шуму [16].
После выделения контуров следует вейвлет-преобразование. Для вейвлет-преобразования используем вейвлеты Добеши и Хаара.
Оба вейвлета можно использовать для анализа границ изображения, но вейвлет Добеши (см. рис. 7) больше подходит для исследования цветных изображений, а встроенная функция вейвлета Хаара (см. рис. 8) работает в обратном порядке - идеально подходит для контурных изображений.
Рис. 7. Вейвлет-разложение методом Добеши Fig. 7. Wavelet decomposition by the Daubechies method
FIe i™ hint Twts Lärdw Hsp
К'. MpH
I Ш%
V/ ^щ/
dV- л/
50 IDD 15П ЯЮ
Щ-' Щ
\ щ,
ш&ш
Veil cal deta il со er. of lerel 1
Г А
<щу
X.-'s1
iTijgn дв1ваоп |—
щ ш щяш ВХЯЯ I
Ö 2И7
ё г4?' М 7 ' £ ■-■^¿y'i^F1 ■'w&V
DsiHTipEicnälsffilS;
Ceuler i 5 _Л_
Dia ISizEl _ИП-И (legi;
ItoeH isif v Le,iel ? v
taalrZE
äasbcs Compress
Histograms De-noise
СесшвоаСопй М: 2 v
We« по® i Square V
Cpe [atiirs Я1 i El ecedrnaip
Cdcnrap pint-: v Nb C4is ' I I ' ftriqllfcliiss ■ +
Рис. 8. Вейвлет-разложение методом Хаара Fig. 8. Wavelet decomposition by the Haar method
4.2. Скрытая марковская модель
Когда мы не можем наблюдать само состояние, а только результат некоторой функции вероятности (наблюдения) состояний, мы используем CMM. CMM - это статистическая марковская модель, в которой моделируемая система предполагается марковским процессом с ненаблюдаемыми (скрытыми) состояниями [17-19]. Элементами модели являются: множество скрытых состояний, множество наблюдаемых состояний,
матрица переходных вероятностей и начальная вероятность состояний. На сегодняшний день не найдено ни одного примера коммерческого применения СММ для распознавания лиц.
4.3. Активные модели внешнего вида
Активные модели внешнего вида (ААМ) - один из самых популярных и хорошо зарекомендовавших себя методов моделирования и сегментации деформируемых объектов в компьютерном зрении. ААМ представляют собой генеративные параметрические модели формы и внешнего вида, которые можно подгонять к изображениям для восстановления набора параметров модели, которые лучше всего описывают конкретный экземпляр моделируемого объекта [20, 21].
Подбор ААМ - это задача нелинейной оптимизации, которая требует минимизации (максимизации) меры глобальной ошибки (сходства) между входным изображением и моделью внешнего вида. Было предложено несколько подходов для определения и решения предыдущей задачи оптимизации. В целом их можно разделить на две разные группы:
- на основе регрессии;
- на основе оптимизации.
Активная модель формы имеет два типа параметров: параметры, связанные с формой, и модели статистических пиксельных изображений или параметры, связанные с текстурой. Перед использованием необходим тренировочный набор помеченных изображений, где метки отмечены на каждом образце лица, чтобы обозначить основные черты. Каждая метка имеет уникальный номер и определяет, какую характерную точку должна искать модель при адаптации к новому изображению.
Процедура обучения ААМ начинается с нормализации формы помеченных изображений, чтобы компенсировать различия в масштабе, перекосе и смещении. Для этого используется так называемый обобщенный Прокрустов анализ, представленный на рисунке 9.
Рис. 9. Координаты точек формы лица до и после нормализации Fig. 9. Coordinates of face shape points before and after normalization
Необходимо выбрать главные компоненты, используя метод PCA, из полного набора нормализованных точек (см. рис. 10).
Рис. 10. Модели формы AAM Fig. 10. AAM shape models
Модель формы ААМ состоит из линейной комбинации смещений si относительно сеток триангуляции s0 (см. рис. 11).
Затем из пикселей внутри треугольника, образованного точками формы, фор-
мируется матрица, каждый столбец которой содержит значения пикселей этой текстуры (оттенки серого, цветовое пространство RGB или др.). Для многоканальных текстур формируется вектор пикселей для каждого канала отдельно, а затем объединяется. Модель AAM считается обученной, когда найдены основные компоненты матрицы текстуры.
Рис. 11. Обученная модель ААМ Fig. 11. Trained AAM model
Модель формы AAM состоит из линейной комбинации базовых видов A0, определяемых пикселями в базовой сетке s0, и смещения от Ai до A0.
ААМ позволяет моделировать изображения объектов, подвергающихся как жестким, так и нежестким деформациям. AAM состоит из набора параметров, некоторые из которых представляют форму лица, а другие определяют текстуру. Трансформация обычно понимается как геометрическое преобразование конститутивной формы смещения, вращения и масштабирования. При решении задачи локализации лиц на изображениях находятся те параметры ААМ (положение, форма, текстура), которые максимально точно представляют синтезированное изображение к наблюдаемому. AAM определяет, присутствует ли лицо или нет, основываясь на том, насколько оно близко к улучшенному изображению.
Однако в процессе обработки лица часто возникает проблема распознавания закрытых изображений лица, таких как маски, прически, солнцезащитные очки и шляпы. Это сильно мешает правильному распознаванию человеческих лиц.
Системы распознавания лиц должны решить проблему закрытых изображений лица. Такие предметы, как шляпы, шарфы и солнцезащитные очки, очень распространены. Иногда большая область закрытия изображения лица серьезно разрушает информацию исходного изображения, что приводит к сбою распознавания больших изображений. В рамках работы предстоит решить данную проблему.
5. Основные принципы биометрической идентификации по голосу
Метод идентификация по голосу человека основан на анализе уникальных характеристик речи, обусловленных анатомическими особенностями, такими как размер и форма горла и рта, строение голосовых связок, и приобретенными привычками, такими как громкость, акцент, скорость речи. Основными причинами внедрения систем, основанных на биометрической идентификации по голосу, являются практика встраи-
вания микрофонов в компьютерные системы и периферийные устройства, а также повсеместное распространение телефонных сетей. В практической деятельности ни одна из систем идентификации, в том числе и голосовая, не гарантируют стопроцентную идентификацию личности.
Качество голосовой биометрии описывается всегда следующими параметрами:
- коэффициент ошибочного отказа в доступе (FRR);
- коэффициент ложной идентификации (FAR);
- уровень ошибок, при котором FAR и FRR равны (EER).
Коэффициент ошибочного отказа в доступе (FRR) - это процент клиентов, которые не пройдут проверку по собственному голосу.
Коэффициент ложной идентификации (FAR) - это процент злоумышленников, которые могут пройти проверку.
EER - вероятность ошибок системы, при которых коэффициент ошибочного отказа в доступе равен коэффициенту ложной идентификации.
В наиболее безопасных системах подразумевается низкий уровень FAR, это говорит о том, что малое количество злоумышленников смогут пройти процесс идентификации личности по голосу, а также реальные пользователи не всегда могут пройти данный процесс. В менее безопасных системах присутствует низкий уровень FRR, это говорит о том, что в данных системах проверку подлинности проходит меньшее количество злоумышленников и одновременно блокируется меньше реальных пользователей (рис. 12).
6. Методы извлечения признаков при идентификации личности по голосу
Идентификация по голосу представляет собой процесс определения личности по образцу голоса путем сравнения образца с шаблонами, которые хранятся в базе.
Работа систем распознавания содержит два основных этапа: регистрация пользователей в системе и сам процесс распознавания и идентификации личности. Регистрация пользователей проходит путем записи голоса пользователей. Образец голоса обрабатывается с целью извлечения признаков, которые могут быть использованы для распознавания. На основе извлеченных признаков строятся шаблоны голосов. Шаблон представляет собой некую структуру, позволяющую при данных признаках оценить степень подобия либо сразу принять решение.
Во время процесса идентификации происходит извлечение признаков из предъявленного образца, которые затем сравниваются с шаблонами зарегистрированных в системе пользователей.
Умевыппюлш Клиент 1
ВШЕИ-КН J —
Порог принятия решения
Рис. 12. Качество голосовой биометрии Fig. 12. Quality of voice biometrics
-
вероятность
На рисунке 13 представлены основные этапы обработки речи при текстонезави-симой идентификации личности.
Рис. 13. Система идентификации личности Fig. 13. Identity identification system
Основным этапом в любой системе автоматического распознавания речи является извлечение функций, то есть идентификация компонентов аудиосигнала, которые хороши для идентификации лингвистического контента и отбрасывания всего остального, что несет информацию, такую как фоновый шум, эмоции и т.д.
Формирование вектора признаков осуществляется с использованием кепстраль-ных коэффициентов [22].
Для каждого фрагмента речевого сигнала рассчитываются значения мел-частотных кепстральных коэффициентов [22], которые формируют вектор признаков. Каждый вектор состоит из n вещественных коэффициентов, количество которых может находиться в пределах от 12 до 24.
6.1. Метод мел-кепстральных коэффициентов
Частотные кепстральные коэффициенты Mel - это функция, широко используемая в автоматическом распознавании речи.
Мел-кепстральные коэффициенты обладают повышенной помехоустойчивостью и позволяют принимать достоверные решения на относительно коротких интервалах анализа речи. Основной идеей метода мел-кепстральных коэффициентов является максимальное приближение информации, поступающей на слуховой анализатор мозга человека.
Для распознавания речи в данном методе используют некую последовательность, которая представляет собой часть речевого сигнала. Данная последовательность вначале подвергается изменению по весовой функции, а затем преобразованию Фурье. Весовая функция имеет следующий вид:
.
Преобразование Фурье имеет следующий вид:
ff-i
.
№=11
Значения к соответствуют частотам fh =^krk= 0,,,, где Fa - частота сигнала.
Последовательность, полученную в процессе данных преобразований, разбивают на диапазоны по шкале Mel. Шкала Mel связывает воспринимаемую частоту или высоту тона чистого тона с его фактической измеренной частотой. Перевод в мел-частотный диапазон производится по формуле:
7. Классификация признаков при голосовой идентификации
Распознавание человека по его голосу является одной из форм биометрической аутентификации, позволяющей идентифицировать человека по сочетанию уникальной характеристики голоса, и относится к динамическим методам биометрии. Динамика распознания - это технология, которая может автоматически идентифицировать говорящего на основе формы речевого сигнала, отражающей физиологические и поведенческие характеристики речи.
Вторым этапом идентификации личности по голосу является классификация признаков, которая показывает числовые показатели качества голосовой идентификации [23].
7.1. Модель гауссовых смесей
Модель гауссовой смеси определяет распределение вероятностей по данным определенного вида - смеси гауссианов. Распределение гауссовой смеси представляет собой линейную суперпозицию т гауссовых компонентов.
Речевые функции представлены в виде векторов в п-мерном пространстве. Распределение этих векторов признаков представлено смесью гауссовых плотностей. Для п-мерного вектора признаков х плотности смеси для класса б с параметром модели определяется как:
Каждая функция гауссовой плотности /-" (-) характеризуется средним вектором и ковариационной матрицей 5] ?:
_ „„„с 1 1.
где 1 и I обозначают инверсию и определитель ковариационной матрицы
соответственно. В совокупности параметры класса 5 модели л обозначаются как А = (а -. X;?}, / — 1,2......-/{. Количество компонентов смеси выбирается эмпирически для заданного набора данных.
Параметры модели гауссовых смесей оцениваются с использованием алгоритма итерационной максимизации математического ожидания (ЕМ). На вход алгоритма подается последовательность, которая выполняет роль обучения, Х={;т], . . . , хТ }. Характеристика модели инициализируются начальными значениями, и затем на каждом шаге алгоритма происходит переоценка параметров.
Для определения начальных параметров используют алгоритм К-средних [24]. Параметры модели инициализируются следующим образом: множество обучающих векторов разбиваются на М кластеров, начальные значения ц\ совпадают с центрами кластеров, веса компонентов в свою очередь определяются долей векторов данного кластера среди общего количества обучающих векторов.
8. Рекуррентные нейронные сети
Рекуррентные нейронные сети (К№Ы) - это известные сети глубокого обучения, которые применяются к последовательным данным: прогнозирование временных рядов, распознавание речи, классификация настроений, машинный перевод, распознавание именованных сущностей и т.д. [25, 26].
КМК представляют собой частный случай нейронных сетей, где параметры модели, а также выполняемые операции одинаковы во всей архитектуре. ЯМК обрабатывает последовательные данные, принимая текущие входные данные и ранее получен-
т*) = - K)r(=i)_1{* - Ю)
ные входные данные. могут запоминать предыдущие входные данные благодаря
своей внутренней памяти (рис. 14) [19].
Рис. 14. Нейронная сеть нейронов, имеющих один слой скрытой памяти [27] Fig. 14. Neural network of neurons having one layer of hidden memory [27]
Рекуррентные нейронные сети позволяют моделировать зависящие от времени и последовательные задачи с данными, такие как прогнозирование фондового рынка, машинный перевод и генерация текста. Однако RNN трудно обучать из-за проблемы градиента.
RNN страдают от проблемы исчезающих градиентов. Градиенты несут информацию, используемую в RNN, и когда градиент становится слишком маленьким, обновления параметров становятся незначительными (рис. 15). Это затрудняет изучение длинных последовательностей данных [26].
Рис. 15. Проблема взрывающего градиента [28] Fig. 15. The exploding gradient problem [28]
При обучении нейронной сети, если наклон имеет тенденцию расти экспоненциально, а не затухать, это называется взрывающимся градиентом. Эта проблема возникает, когда накапливаются большие градиенты ошибок, что приводит к очень большим обновлениям весов модели нейронной сети во время процесса обучения.
Популярным методом решения этих задач является специфический тип RNN, который называется Long Short-Termmemory Method, или LSTM [29, 30].
Сети с длинной кратковременной памятью (LSTM) - это особый вид RNN, способный изучать долгосрочные зависимости, запоминая информацию в течение длительных периодов времени. LSTM разработаны, чтобы избежать проблемы долгосрочной зависимости. Запоминание информации в течение длительных периодов времени -это их поведение по умолчанию [31].
Все рекуррентные нейронные сети имеют вид цепочки повторяющихся модулей нейронной сети. LSTM также имеют эту цепную структуру, но повторяющийся модуль имеет другую структуру, в отличие от RNN. Вместо одного слоя нейронной сети в данной модели используются четыре, взаимодействующие совершенно особым образом (рис. 16).
Рис. 16. Повторяющийся модуль в LSTM [29] Fig. 16. Recurring module in LSTM [29]
RNN - инструмент, широко используемый в различных сферах для работы с последовательностями данных. Рекуррентные сети обеспечивают невероятные возможности запоминания. Они также имеют множество расширений, которые позволяют решать различные типы проблем, связанных с данными, особенно те, которые обсуждают временные ряды.
9. Сверточные нейросети
Сверточная нейронная сеть (CNN) - сетевая архитектура для глубокого обучения, которая учится непосредственно на данных, устраняя необходимость ручного извлечения функций. CNN особенно полезны для поиска шаблонов в изображениях для распознавания объектов и лиц. Они также могут быть весьма эффективными для классификации данных, не связанных с изображением, таких как аудио, временные ряды, речь и сигнальные данные.
CNN сильно отличаются от других алгоритмов распознавания образов тем, что CNN сочетают в себе как извлечение признаков, так и классификацию. Сверточная нейронная сеть состоит из пяти различных слоев: входного слоя, слоя свертки, слоя объединения, полностью связанного слоя и выходного слоя (рис. 17).
Рис. 17. Принципиальная схема архитектуры базовой сверточной нейронной сети (CNN) [32] Fig. 17. Schematic diagram of the architecture of the basic convolutional neural network (CNN) [32]
Эти слои делятся на две части: выделение признаков и классификация. Выделение признаков состоит из входного слоя, слоя свертки и слоя объединения, в то время как классификация состоит из полностью связанного слоя и выходного слоя. Входной слой задает фиксированный размер входных изображений, который при необходимости изменяется. Затем изображение свертывается с несколькими изученными ядрами с ис-
пользованием общих весов по слою свертки. Далее слой объединения уменьшает размер изображения, пытаясь сохранить содержащуюся информацию. Классификация объединяет извлеченные признаки в полностью связанных слоях [32].
Большинство введений в CNN подчеркивают компьютерное зрение, сверточные нейросети достигают самых современных результатов в области звука так же долго. Они обычно используются для распознавания речи и другой работы по поиску аудиоинформации, вытесняя более старые подходы за последние несколько лет. До появления нейронных сетей в области звука преобразование речи в текст обычно выполнялось с использованием скрытой марковской модели наряду с ручным извлечением аудиофайлов.
10. Трансформеры
Трансформеры - новый тип нейросетей, который направлен на решение последовательностей с быстрой обработкой дальнодействующих зависимостей. В настоящее время это самая продвинутая техника в области обработки естественной речи (NLP). В отличие от рекуррентных нейронных сетей, трансформеры не обрабатывают последовательности по порядку.
Основными компонентами трансформеров являются энкодер и декодер (рис. 18).
Энкодер преобразовывает входные данные и конвертирует их в вектор. Декодер расшифровывает их в виде новой последовательности слов на другом языке - смотря для каких целей создавалась нейросеть.
Output Probabilities
Inputs Outputs
(shifted right)
Рис. 18. Архитектура транформеров [33] Fig. 18. Architecture of transformers [33]
Языковая модель BERT, разработанная компанией Google, является одним из самых ярких примеров архитектуры Transformer в NLP (рис. 19) [34].
BERT - это двунаправленная модель, предназначенная для решения NLP-задач, таких как определение эмоциональной окраски текста, классификация текстов, вопросно-ответные системы, построение выводов по тексту и т.д.
Рис. 19. Структура BERT [35] Fig. 19. BERT structure [35]
Основными NLP-задачами является анализ текста, включая извлечение данных, информационный поиск, анализ высказываний, генерирование текстов, машинный перевод, синтез речи, аннотирование и упрощение текстовой информации. Главной целью применения NLP-технологий является не только распознавание живого языка средствами искусственного интеллекта, но и возможность адекватного с ним взаимодействия.
Модель BERT (двунаправленная нейронная сеть-кодировщик) используется для предварительного глубокого обучения последовательностей путем совмещения левого и правого контекстов во всех слоях. Это позволяет настраивать предварительно обученную модель BERT с помощью одного дополнительного выходного слоя и получать наиболее актуальные результаты для широкого спектра задач.
Выводы
Идентификация по лицу представляется одним из наиболее социально допустимых биометрических методов. Эта технология достаточно легко интегрируется в другие существующие системы, так как фотографии являются основным идентификационным форматом для водительских прав, паспортов и иных удостоверений личности.
Идентификация по голосу в прошлом уступала место таким биометрическим методам, как идентификация по отпечаткам пальцев, радужной оболочке и сетчатке глаза и др. Однако новые алгоритмы и высокая производительность компьютера по обработке данных позволили существенно повысить точность распознавания личности по голосу.
Сочетание нескольких типов измерений позволяет повысить уровень безопасности, надежность и эффективность работы систем идентификации. Мультимодальная биометрическая система увеличивает объем и разнообразие входной информации, которую система берет от пользователей для аутентификации.
Совмещение голосовой и лицевой биометрии является естественным развитием биометрических технологий из-за широкого распространения соответствующих «бимодальных» устройств.
Примечания
1. Кухарев Г. А. Биометрические системы: методы и средства идентификации личности человека. Санкт-Петербург: Политехника. 2020. 240 с.
2. Li Stan. Z., Jain Anil. K. Encyclopedia of Biometrics. Second Edition. Springer Science+Business Media, 2015. DOI: 10.1007/978-1-4899-7488-4
3. Ross Arun A., Jain Anil K., Nandakumar Karthik. Handbook of Multibiometrics // International Series on Biometrics. 2006. Vol. 6. 186 p.
4. Система идентификации дикторов по голосу / И.Н. Белых, А.И. Капустин, А.В. Козлов [и др.] // Информатика и ее применение: журнал ИПИ РАН. 2012. Т. 6, вып. 1. С. 91-98.
5. Татаренков Д. А. Анализ методов обнаружения лиц на изображении // Молодой ученый: ежемесячный научный журнал. 2015. № 4 (84). С. 270-276.
6. Частикова В.А., Васильев Е.Д., Бабич Д.В. Нейросетевая методика идентификации лиц в видеопотоке в условиях ограниченности данных // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2019. № 3 (246). С. 85-90. URL: http://vestnik.adygnet.ru
7. Макарова Е.Ю., Гудков К.В. Моделирование биометрической системы идентификации личности по термограмме лица с использованием UML // Современная техника и технологии. 2016. Вып. 7. С. 25-32.
8. Prokoski F.K. Disguise detection and identification using infrared imagery // The Proceedings of SPIE, Optics, and Images in Law Enforcement II / ed. ву A.S. Hecht. Arlington, 1982. May. P. 27-31.
9. Prokoski F.J., Riedel R.B., Coffin J.S. Identification of individuals by means of facial thermography // Security Technology. 1992: Crime Countermeasures, Proceedings. Institute of Electrical and Electronics Engineers (IEEE): International Carnahan Conference. 1992. P. 120-125.
10. Подход к корректировке математических моделей АЦП интегрирующего типа / В. А. Юрма-нов, К.Ю. Пискаев, А.В. Куц, М.Л. Куц // Современные информационные технологии. 2012. Вып. 16. С. 25-31.
11. Обработка информации в системе идентификации по термограмме лица / М.Ю. Михеев, К.В. Гудков, Т.Н. Астахова, Е.Ю. Макарова. URL: https://cyberleninka.ru/article/n7obrabotka-informatsii-v-sisteme-identifikatsii-po-termogramme-litsa (дата обращения: 07.02.2022).
12. Алгоритм коррекции развертывающей функции сигма-дельта аналого-цифрового преобразователя при реализации знакопеременных весовых функций / В.А. Юрманов, К.Ю. Пискаев, А.М. Иоффе, В.А. Никулкин // Современные информационные технологии. 2013. Вып. 18. С. 50-55.
13. Canny J. A Computational Approach to Edge Detection // Transactions on Pattern Analysis and Machine Intelligence. 1986. Vol. PAMI-8, No. 6. P. 679-698.
14. Алгоритмы выделения контуров на изображении. URL: https://habrahabr.ru/post/114452/ (дата обращения: 01.02.2022).
15. Детектор границ Канни. URL: https://habrahabr.ru/post/114589/ (дата обращения: 01.02.2022).
16. Инфракрасная детекция лица и система распознавания / М.Е. Базакос, В. Морелла, Э. Джонсон, Я. Ма: Пат. 7469060 США. Патентообладатель Ханивел Интернешонал инк. No 10/987,368; за-явл.12.11.2004. опубл. 23.12.2008. 43 с.
17. Поиск лиц на основе скрытых марковских моделей. URL: https://habr.com/ru/post/109956/ (дата обращения: 02.02.2022).
18. Гультяева Т.А., Попов А.А. Распознавание лиц с использованием одномерных скрытых марковских моделей // Молодежь и современные информационные технологии: сборник трудов III Всерос. науч.-практ. конф. студентов. Томск: ТПУ, 2005. С. 53-55.
19. Ara V. Nefian, Monson H. Hayes. Face Detection and Recognition Using Hidden Markovs Models: International Conference on Image Processing // Proceedings. 1998. Vol. 1. P. 141-145.
20. Активные модели внешнего вида. URL: https://habr.com/ru/post/155759/ (дата обращения: 05.02.2022).
21. Joan Alabort-i-Medina, Stefanos Zafeiriou. A Unified Framework for Compositional Fitting of Active Appearance Models // International Journal of Computer Vision. 2017. Vol. 121, No. 1. P. 26-64.
22. Матвеев Ю.Н. Технологии биометрической идентификации личности по голосу и другим модальностям // Вестник Московского государственного технического университета им. Н.Э. Баумана. Сер.: Приборостроение. Специальный выпуск. Биометрические технологии. 2012. № 3 (3). С. 46-61.
23. Рабинер Л.Р., Шафер Р.В. Цифровая обработка речевых сигналов: пер. с англ. Москва: Радио и связь, 1981. 496 с.
24. Садыхов Р.Х., Ракуш В.В. Модели гауссовых смесей для верификации диктора по произвольной речи // Доклады БГУИР. Минск, 2003. № 4. С. 95-103.
25. Частикова В.А., Жерлицын С. А., Воля Я.И. Нейросетевой подход к решению задачи построения фоторобота по словесному описанию // Известия Волгоградского государственного технического университета. 2018. № 8 (218). С. 63-67.
26. Частикова В. А., Малыхина М.П., Петров В.Я. Подход к разработке программного комплекса распознавания вредоносного программного обеспечения с использованием сверточных нейронных сетей // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2020. № 2 (261). С. 47-52. URL: http://vestnik.adygnet.ru
27. Рекуррентные нейронные сети | К науке о данных. URL: https://towardsdatascience.com/recurrent-neural-networks-b7719b362c65 (дата обращения: 13.02.2022).
28. Учебник по рекуррентной нейронной сети (RNN): типы и примеры. URL: https://www.simplilearn.com/tutorials/deep-learning utorial/rnn#what_is_a_recurrent_neural_network_rnn (дата обращения: 14.02.2022).
29. Chastikova V.A., Sotnikov V.V. Method of analyzing computer traffic based on recurrent neural networks // High-Tech and Innovations in Research and Manufacturing, HIRM 2019: Journal of Physics: Con-
ference Series. International Conference, 2019. С. 012133.
30. Нейросетевая технология обнаружения аномального сетевого трафика / В.А. Частикова, С.А. Жерлицын, Я.И. Воля, В.В. Сотников // Прикаспийский журнал: управление и высокие технологии. 2020. № 1 (49). С. 20-32.
31. Понимание сетей LSTM. URL: https://colah.github.io/posts/2015-08-Understanding-LSTMs/ (дата обращения: 12.02.2022).
32. Phung V.H., Rhee E.J. A High-Accuracy Model Average Ensemble of Convolutional Neural Networks for Classification of Cloud Image Patches on Small Datasets // Applied Sciences. 2019. No. 9 (21). 4500 p.
33. Attention Is All You Need / Ashish Vaswani, Noam Shazeer, Niki Parmar [et al.]; com. Illia Polo-sukhin // arXiv:1706.03762v5 [cs.CL] 6 Dec 2017.
34. Mohd Sanad Zaki Rizvi Demystifying BERT: The Groundbreaking NLP Framework. URL: https://medium.com/analytics-vidhya/demystifying-bert-the-groundbreaking-nlp-framework8e3142b3d366 (дата обращения: 14.02.2022).
35. Частикова В.А., Козачёк К.В., Гуляй В.Г. Методы обработки естественного языка в решении задач обнаружения атак социальной инженерии // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2021. № 4 (291). С. 95-108. URL: http://vestnik.adygnet.ru
References
1. Kukharev G.A. Biometric systems: methods and means of identifying a person's identity. St. Petersburg: Polytechnic. 2020. 240 p.
2. Li Stan. Z., Jain Anil. K. Encyclopedia of Biometrics. Second Edition. Springer Science+Business Media, 2015. DOI: 10.1007/978-1-4899-7488-4
3. Ross Arun A., Jain Anil K., Nandakumar Karthik. Handbook of Multibiometrics // International Series on Biometrics. 2006. Vol. 6. 186 p.
4. Speaker identification system by voice / I.N. Belykh, A.I. Kapustin, A.V. Kozlov, A.I. Lokhanova, Yu.N. Matveev, T.S. Pekhovsky, K.K. Simonchik, A.K. Shulipa // Journal of IPI RAS: Informatics and Its Application. 2012. Vol. 6, Iss. 1. P. 91-98.
5. Tatarenkov D.A. Analysis of methods for detecting faces in an image // Monthly Scientific Journal: Young Scientist. 2015. No. 4 (84). P. 270-276.
6. Chastikova V.A., Vasilyev E.D., Babich D.V. Methods of identification of persons in the video stream in conditions of limited data // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2019. Iss. 3 (246). P. 85-90. URL: http://vestnik.adygnet.ru
7. Makarova E.Yu., Gudkov K.V. Modeling of a biometric identification system based on a thermogram of a person using the UML language // Modern Technology and Technologies. 2016. Iss. 7. P. 25-32.
8. Prokoski F.K. Disguise detection and identification using infrared imagery // The Proceedings of SPIE, Optics, and Images in Law Enforcement II / ed. ву A.S. Hecht. Arlington, 1982. May. P. 27-31.
9. Prokoski F.J., Riedel R.B., Coffin J.S. Identification of individuals by means of facial thermography // Security Technology. 1992: Crime Countermeasures, Proceedings. Institute of Electrical and Electronics Engineers (IEEE): International Carnahan Conference. 1992. P. 120-125.
10. Approach to the correction of mathematical models of integrating ADC / V.A. Yurmanov, K.Yu. Piskaev, A.V. Kuts, M.L. Kuts // Modern Information Technologies. 2012. Iss. 16. P. 25-31.
11. Processing of information in the identification system by the thermogram of a person / M.Yu. Mik-heev, K.V. Gudkov, T.N. Astakhova, E.Yu. Makarova URL: https://cyberleninka.ru/article/n/obrabotka-informatsii-v-sisteme-identifikatsii-po-termogramme-litsa (access date: 07.02.2022).
12. Algorithm of correction of the sigma-delta scanning function of an analog-to-digital converter in the implementation of alternating weight functions / V.A. Yurmanov, K.Yu. Piskaev, A.M. Ioffe, V.A. Nikulkin // Modern Information Technologies. 2013. Iss. 18. P. 50-55.
13. Canny J. A Computational Approach to Edge Detection // Transactions on Pattern Analysis and Machine Intelligence. 1986. Vol. PAMI-8, No. 6. P. 679-698.
14. Algorithms for contour selection in the image. URL: https://habrahabr.ru/post/114452/ (access date: 01.02.2022).
15. Canny boundary detector. URL: https://habrahabr.ru/post/114589/ (access date: 01.02.2022).
16. Infrared face detection and recognition system / M. E. Bazakos, V. Morella, E. Johnson, Ya. Ma: Pat. 7469060 USA. Patent holder of Honeywell International Inc. No. 10/987,368; application.12.11.2004. publ. 23.12.2008. 43 p.
17. Face search based on hidden Markov models. URL: https://habr.com/ru/post/109956/ (access date: 02.02.2022).
18. Gultyaeva T.A., Popov A.A. Face recognition using one-dimensional hidden Markovs models // Youth and modern information technologies: proceedings, volume 3rd of the Russian Scientific and Practical Conference of students. Tomsk: TPU, 2005. P. 53-55.
19. Ara V. Nefian, Monson H. Hayes. Face Detection and Recognition Using Hidden Markovs Models: International Conference on Image Processing // Proceedings. 1998. Vol. 1. P. 141-145.
20. Active appearance models. URL: https://habr.com/ru/post/155759/ (access date: 05.02.2022).
21. Joan Alabort-i-Medina, Stefanos Zafeiriou. A Unified Framework for Compositional Fitting of Ac-
tive Appearance Models // International Journal of Computer Vision. 2017. Vol. 121, No. 1. P. 26-64.
22. Matveev Yu.N. Technologies of biometric identification of personality by voice and other modalities // Bulletin of the Bauman Moscow State Technical University. Ser.: Instrumentation. Special Issue. Biometric Technologies. 2012. No. 3 (3). P. 46-61.
23. Rabiner L.R., Shafer R.V. Digital processing of speech signals / Translated from English Moscow: Radio and Communications, 1981. 496 p.
24. Sadykhov R.H., Rakush V.V. Models of Gaussian mixtures for speaker verification in arbitrary speech // Reports of BSUIR. No. 4. Minsk, 2003. P. 95-103.
25. Chastikova V.A., Zherlitsyn S.A, Volya Ya.I. Neural network approach to the identikit compilation problem through verbal description // Proceedings of Volgograd State Technical University. 2018. No. 8 (218). P. 63-67.
26. Chastikova V.A., Malykhina M.P., Petrov V.Ya. Approach to the development of a malware detection software package using convolutional neural networks // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2020. Iss. 2 (261). P. 47-52. URL: http://vestnik.adygnet.ru
27. Recurrent neural networks | To the science of data. URL: https://towardsdatascience.com/recurrent-neural-networks-b7719b362c65 (access date: 13.02.2022).
28. Tutorial on Recurrent Neural Network (RNN): Types and Examples. URL: https://www.simplilearn.com/tutorials/deep-learning utorial/rnn#what_is_a_recurrent_neural_network_rnn (access date: 14.02.2022).
29. Chastikova V.A., Sotnikov V.V. Method of analyzing computer traffic based on recurrent neural networks // High-Tech and Innovations in Research and Manufacturing, HIRM 2019: Journal of Physics: Conference Series. International Conference, 2019. P. 012133.
30. Neural network technology for detecting anomalous network traffic / V.A. Chastikova, S.A. Zherlitsyn, Ya.I. Volya, V.V. Sotnikov // Caspian Journal: Control and High Technologies. 2020. No. 1 (49). P. 20-32.
31. Understanding LSTM networks. URL: https://colah.github.io/posts/2015-08-Understanding-LSTMs/ (access date: 12.02.2022).
32. Phung V.H., Rhee E.J. A High-Accuracy Model Average Ensemble of Convolutional Neural Networks for Classification of Cloud Image Patches on Small Datasets // Applied Sciences. 2019. No. 9 (21). 4500 p.
33. Attention Is All You Need / Ashish Vaswani, Noam Shazeer, Niki Parmar [et al.]; com. Illia Polo-sukhin // arXiv:1706.03762v5 [cs.CL] 6 Dec 2017.
34. Mohd Sanad Zaki Rizvi Demystifying BERT: The Groundbreaking NLP Framework. URL: https://medium.com/analytics-vidhya/demystifying-bert-the-groundbreaking-nlp-framework8e3142b3d366 (access date: 14.02.2022).
35. Chastikova V.A., Kozachek K.V., Gulyay V.G. Methods of natural language processing in solving problems of detecting social engineering attacks // The Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2021. Iss. 4 (291). P. 95-108. URL: http://vestnik.adygnet.ru
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflicts of interests.
Статья поступила в редакцию 13.02.2022; одобрена после рецензирования 12.03.2022; принята к публикации 14.03.2022.
The article was submitted 13.02.2022; approved after reviewing 12.03.2022; accepted for publication 14.03.2022.
© В.А. Частикова, А.А. Титова, Д.О. Войлова, 2022
