CC BY
10
М Инженерный вестник Дона, №4 (2023) ivdon.ru/ru/magazine/arcliive/n4y2023/8329
Исследование эффективности работы сиамских нейронных сетей для биометрической аутентификации по ЭКГ для сигналов с непериодическими нарушениями сердечного ритма
А.Д. Сидоркин
Московский государственный технический университет имени Н. Э. Баумана
Аннотация: Сигналы электрокардиограммы обладают уникальными характеристиками и структурой, которые трудно подделать. Это связано с тем, что электрическая активность сердца уникальна для каждого человека. Кроме того, основные биометрические параметры скрыты во время аутентификации по ЭКГ, что делает процесс более безопасным и защищенным от подделок. Целью данного исследования является оценка эффективности работы нейронных сетей для аутентификации по ЭКГ для сигналов с непериодическими нарушениями сердечного ритма. В качестве модели разработана сиамская нейронная сеть. Описаны этапы предварительной обработки ЭКГ-сигналов, взятых из базы данных МГГ-ВИ. Представленная в работе модель достигла следующих результатов: точность: 99,69%, чувствительность: 99,43%, специфичность: 99,94%. ROC-АиС: 99,69%. Результаты позволяют сделать вывод о том, что предложенная модель может эффективно проводить аутентификацию пользователей, которые имеют непериодические нарушения сердечного ритма при условии хотя бы небольшого числа зарегистрированных эталонов с нарушениями.
Ключевые слова: биометрическая аутентификация, ЭКГ, сиамская нейронная сеть, сверточная нейронная сеть, Евклидово расстояние, ROC-анализ.
Введение
Концепция биометрических систем аутентификации основана на использовании уникальных физиологических или поведенческих характеристик человека для проверки его личности. Традиционные методы биометрической аутентификации, такие, как распознавание лица, радужной оболочки глаза, отпечатков пальцев или записи голоса, имеют свои недостатки. Отпечатки пальцев и запись голоса очень неустойчивы к фальсификации [1]. Изображения лица или радужной оболочки глаза, полученные видеокамерами, могут быть повреждены из-за угла наблюдения, а также освещения, разрешения камеры и других параметров, что приводит к ошибкам и снижению точности. Поэтому в настоящее время внимание уделяется новым методам аутентификации, таким, как использование паттернов сердцебиения. Сигналы электрокардиограммы обладают
уникальными характеристиками и структурой, которые трудно подделать, потому что основные биометрические параметры скрыты во время аутентификации и могут быть получены только из физических измерений. Стоит отметить, что для аутентификации перспективно использовать и другие биометрические сигналы, например, ЭЭГ или ФКГ [2].
Аутентификация при помощи ЭКГ происходит путем сравнения двух записей электрокардиограммы - одной, полученной во время регистрации пользователя, и другой, полученной во время попытки аутентификации. В последнее время нейронные сети стали очень эффективным инструментом для сравнения двух сигналов в биометрической аутентификации по ЭКГ [3]. Они позволяют автоматически извлекать характеристики из ЭКГ-сигналов и использовать их для построения математических моделей, которые могут сравнивать и классифицировать сигналы. Такие модели могут использоваться для определения подлинности ЭКГ-сигнала и автоматической аутентификации пользователя.
Целью данного исследования является оценка эффективности работы сиамских нейронных сетей для аутентификации по ЭКГ для сигналов с непериодическими нарушениями сердечного ритма. На рис.1 изображены такие непериодические нарушения. Как можно видеть из рисунка, нормальный удар сердца (отмечен сменяется желудочковым
преждевременным сокращением (отмечено V) без какого-либо определенного периода. Оценка эффективности позволит дать ответ на следующий вопрос. Пропустит ли система биометрической аутентификации легитимного пользователя, у которого есть непериодические нарушения сердечного ритма?
и
Рис. 1. - Непериодические нарушения сердечного ритма
Литературный обзор
Автоматическое распознавание ритмов ЭКГ является классической задачей. В настоявшее время эта проблема не потеряла актуальности для здравоохранения и продолжаются поиски новых путей решения. Близкое качество распознавания дали два радикально разных подхода - подача в автоматический алгоритм большого количества традиционных показателей и использование нейронных сетей. В настоящее время искусственные нейронные сети широко используются при решении самых разнообразных задач особенно там, где обычные алгоритмические решения оказываются неэффективными или вовсе невозможными [4 - 6].
Для аутентификации эффективно использовать сиамские нейронные сети ^КЫ). SNN представляют собой нейронные сети, которые обучаются извлекать признаки из пары входных данных и возвращать значение сходства между ними. Это достигается путем обучения двух идентичных нейронных сетей, которые имеют общие веса и одинаковую архитектуру. Каждая из этих сетей принимает на вход ЭКГ сигнал, а затем извлекает признаки, преобразуя их в векторные представления. Далее эти векторные представления сравниваются с помощью функции расстояния, например, Евклидового расстояния, и возвращается значение сходства между входными данными.
В [7] применили сиамскую нейронную сеть для аутентификации пользователей на основе ЭКГ, снятых с помощью сенсоров специального
устройства, размещенных на пальцах. Эксперименты показали варьирование точности от 50 до 90% в зависимости от выбора порогового коэффициента.
В [8] авторы сравнивали точность модели сиамской нейронной сети для аутентификации по одному удару сердца и по множеству ударов. Результаты показали, что точность аутентификации возрастает, если подавать на вход нейронной сети запись, состоящую из нескольких ударов сердца. Однако обучение такой модели затруднительно из-за нехватки данных.
В [9] авторы предложили использование изображений сигнала ЭКГ, а не числовых значений, для обучения и развертывания модели. В качестве данных авторы использовали базу данных ECG-ID, содержащую 310 двадцатисекундных записей ЭКГ сигнала в I отведении, полученных от 90 добровольцев. Авторы добились чувствительности в 87% и точности в 86%.
Таким образом, использование сиамских нейронных сетей для аутентификации по ЭКГ является перспективным направлением исследований.
Предварительная обработка данных
Для исследования сигналы ЭКГ взяты из базы данных MIT-BIH [10], которая содержит как сигналы здоровых людей, так и сигналы людей, болеющих различными аритмиями, в том числе, и с непериодическими нарушениями сердечного ритма.
ЭКГ-записи из MIT-BIH подверглись следующей предварительной обработке. Прежде всего сигналы были переведены из файлового формата .dat в формат numpy массивов .npy при помощи библиотеки WFDB [11]. WFDB представляет собой инструмент, написанный на языке программирования Python, для чтения, записи и обработки сигналов и аннотаций. Далее все сигналы были нормализованы и представлены в рамках диапазона [0, 1] по оси Y. Затем произведена сегментация ЭКГ-записи
посредством алгоритма Христова [12], который хорошо себя зарекомендовал для разделения ЭКГ-записи по PQRST-комплексам.
Алгоритм Христова содержит следующие шаги. Сглаживание сигнала: исходный ЭКГ-сигнал сначала фильтруется с помощью медианного фильтра, а затем сглаживается с помощью скользящего среднего. Это помогает уменьшить шум в сигнале и улучшить качество сегментации. Вычисление первой производной: из сглаженного сигнала вычисляется первая производная, используя разницу между текущим и предыдущим отсчетом. Это позволяет выделить резкие изменения в сигнале, которые соответствуют началу и концу комплексов. Определение порогового значения: пороговое значение определяется, как процент от максимального значения первой производной. Этот порог используется для определения начала и конца каждого комплекса. Поиск начала и конца комплексов: алгоритм проходит по сигналу и находит первый отсчет, который превышает определенное пороговое значение. Этот отсчет считается началом комплекса. Затем алгоритм продолжает сканирование сигнала и находит первый отсчет, который становится меньше определенного порога. Этот отсчет считается концом комплекса. Уточнение начала и конца комплексов: для уточнения начала и конца комплексов производится поиск локального минимума первой производной вблизи найденных начала и конца. Это позволяет уточнить положение начала и конца каждого комплекса. Извлечение комплексов: наконец, каждый комплекс извлекается из сигнала, используя найденные начала и концы.
После сегментации каждый сигнал был дополнен своим последним значением до 512 точек в массиве (рис.2), поскольку далее используются сверточные нейронные сети, которые имеют фиксированное значение размера входных данных, задающееся при создании модели.
0 6 05
0 100 200 300 400 500
Рис. 2. - Дополнение ЭКГ-сигналов до фиксированного количества
точек
Создание обучающих, валидационных и тестовых данных
Для создания обучающих, валидационных и тестовых выборок ЭКГ сигналы были разбиты на пары. Целевое значение помечено 0, если сигналы от разных людей. 1, если оба сигнала от одного человека. Суммарно было создано 40 000 пар, из которых половина помечена 0, а половина 1.
Для деления пар на выборки была использована библиотека Scikit-^т. Деление осуществлено в пропорции 60:20:20 - 60% пар пошли на обучение модели, 20% на валидацию, 20% в качестве тестовых данных.
Архитектура модели
Для выделения векторов признаков использовались сверточные нейронные сети, поскольку они являются популярным и эффективным инструментом для работы с ЭКГ-сигналами [3]. Архитектура сети представлена на рис.3.
и
Рис. 3. - Архитектура сверточной нейронной сети Данная модель состоит из пяти блоков и полносвязного слоя. Каждый сверточный блок состоит из следующих слоев. Conv1D выполняет свертку одномерного входного сигнала с фильтром определенного размера и находит наиболее выразительные признаки сигнала. Batch Normalization - слой, который нормализует данные по каждой мини-выборке для более стабильной и быстрой обучаемости. Activation - слой, который применяет нелинейную функцию активации ReLu. Max Pooling 1D - слой, который уменьшает размерность признаковой карты вдвое, выбирая максимальное значение в каждом из окон размера pool size. Dropout - слой, который случайным образом выключает У часть нейронов данного блока для предотвращения переобучения.
Прямой проход по сети осуществляется следующим образом. На вход сети подается сигнал ЭКГ в виде вектора, который передается на первый
сверточный блок. Сверточный блок выполняет операцию свертки на входном векторе с фильтрами (filters), каждый из которых имеет размерность (kernel size). После этого применяются: нормализация данных по каждой мини-выборке, функция активации и уменьшение размерности признаковой карты. При этом 25% случайных нейронов блока являются неактивными. Выход первого блока передается на вход следующего блока, который выполняет те же операции. Процесс продолжается до тех пор, пока выход последнего блока не будет передан на полносвязный слой Fully connected layer. На этом слое выполняется операция умножения входного вектора на матрицу весов. Результатом этого умножения является вектор признаков ЭКГ-сигнала.
Выделение признаков параллельно производят две идентичные сверточные нейронные сети с одинаковыми весами для пары сигналов. Два вектора признаков сравниваются по Евклидовому расстоянию между собой. Результат подается на последний полносвязный слой с сигмоидальной функцией активации. Выход данной функции активации принимает значения от 0 до 1, включая концы. Таким образом, на выходе получается оценка схожести двух ЭКГ-сигналов. Описанное выше характеризует работу сиамской нейронной сети, которая применяется в данном исследовании (рис.4).
Рис. 4. - Архитектура сиамской нейронной сети
Обучение модели
В качестве алгоритма оптимизации параметров нейронной сети для обучения применялся алгоритм Adam. В качестве функции потерь использовалась бинарная кросс-энтропия.
Для обучения модели потребовалось 10 эпох (рис.5), далее сработала ранняя остановка, поскольку AUC не улучшался на протяжении 20 эпох, что было условием этой остановки.
На валидационной выборке было подобрано оптимальное значение порогового коэффициента для аутентификации. Предсказания модели были отсортированы по двум массивам. В один массив входили значения предсказаний для пар сигналов от разных людей, во второй для пар сигналов от одного человека. Эти значения предсказаний описывают схожесть двух
сигналов.
Рис. 5. - Динамика изменения значения AUC на протяжении обучения
модели
По полученным массивам можно построить два графика плотности распределения значений сходства (рис.6).
4 Сигналы от разных люден
О
о
1
Сигналы от одного человека
Рис. 6. - Плотности распределения значений сходства у различных пар
После построения этих кривых можно провести пороговую линию, которая разделяет области, соответствующие принятию решений о предоставлении или об отказе в доступе. Для правильного построения пороговой линии или, говоря другими словами, для оптимального выбора порогового коэффициента а отрезок его возможных значений был сужен до
[х1>х2] (рис,7), где значения хг и х2 были найдены следующим образом.
Значению х1 соответствует минимальное значение массива с предсказаниями
сходства для пар от одного человека. Значению х2 соответствует
максимальное значение массива с предсказаниями модели нейронной сети для пар от разных людей.
ЭКГ-сигналов
Рис. 7. - Отрезок возможных значений порогового коэффициента
Чтобы подобрать оптимальный порог, отрезок [хъ х2] был разбит с
небольшим шагом. Далее был посчитан ROC-AUC для каждого значения порога, исходя из разбиения отрезка. В результате был выбран порог, для которого площадь под кривой принимала максимальное значение.
Результаты
После выбора оптимального порога модель была оценена на тестовых парах сигналов. В данном исследовании получены следующие результаты, которые представлены в таблице 1.
Таблица №1
Результаты тестирования модели
Метрика Значение
Точность 0.9969
Чувствительность 0.9943
Специфичность 0.9994
Площадь под кривой (ROC-AUC) 0.9969
График площади под кривой приведен на рис.8. Матрица ошибок изображена на рис.9.
Рис. 8. - ROC-кривая представленной модели.
Рис. 9. - Матрица ошибок модели нейронной сети
Пример работы представленной в исследовании модели приведен на рис.10. В примере показана верная аутентификация двух разных ударов сердца от одного человека: желудочковое преждевременное сокращение (слева) и нормальный удар сердца (справа).
Первый сигнал ЭКГ от человека под индексом 290 Второй сигнал ЭКГ от человека под индексом 290
О 100 200 300 400 500 0 100 200 300 400 500
Вывод модели: Совпадение
Рис. 10. - Процедура аутентификации пользователя
Заключение
В результате данного исследования была разработана сиамская нейронная сеть и алгоритм для биометрической аутентификации на основе ЭКГ-паттернов. Сигналы в работе были взяты из базы данных MIT-BIH [3]. По итогам тестирования модели были получены следующие результаты. Точность: 99,69%. Чувствительность: 99,43%. Специфичность: 99,94%. ROC-AUC: 99, 69%. Таким образом, модель нейронной сети показала хорошие результаты аутентификации пользователей на основе их ЭКГ. Для людей, которые имеют непериодические нарушения сердечного ритма, модель способна давать верные предсказания. Однако стоит отметить, что для верной аутентификации таких пользователей, при регистрации эталонных образов необходимо записать хотя бы небольшое число паттернов с нарушениями сердечного ритма.
Литература
1. Hadid A., Evans N., Marcel S., Fierrez J. Biometrics systems under spoofing attack: an evaluation methodology and lessons learned // IEEE Signal Processing Magazine. 2015. Т.32. №5. С. 20-30.
2. Shahid H., Aymin A., Remete A.N., Aziz S.. Khan M.U. A Survey on AI-based ECG, PPG, and PCG Signals Based Biometric Authentication System // 2021 International Conference on Computing, Electronic and Electrical Engineering (ICE Cube). IEEE, 2021. С. 1-6.
3. Сидоркин А.Д., Панчехин Н.И., Десятов А.Г. Обзор существующих решений на основе методов машинного и глубокого обучения для задач аутентификации при помощи ЭКГ-паттернов // Международный журнал информационных технологий и энергоэффективности. 2022. T.7. №3(25-3). С. 073-085.
4. Цаунит А.Н. Перспективы развития и применения нейронных сетей // Молодой ученый. 2021. №23(365). С. 114-117.
5. Анохин М.Н., Березняк С.А., Бланко Л.М.Л. Организация пространственной группировки сигналов в ассоциативных процессах искусственных нейронных сетей // Инженерный вестник Дона, 2014, №1. URL: ivdon.ru/ru/magazine/archive/n1y2014/2230
6. Пучков Е.В. Сравнительный анализ алгоритмов обучения искусственной нейронной сети // Инженерный вестник Дона, 2013, №4. URL: ivdon.ru/ru/magazine/archive/n4y2013/2135
7. Mukwena A. The Deep Electrocardiogram Based Biometric Identification System. URL: github.com/axelmukwena/biometricECG (дата обращения: 01.03.2023).
8. Muhammad N.I., Chowdhury E.H., Khandakar A., Kiranyaz S., Rahman M.S., Tahir A., Qiblawey Y., Rahman T. EDITH: ECG biometrics aided by deep
learning for reliable individual authentication // IEEE Transactions on Emerging Topics in Computational Intelligence. 2021. Т.6. №4. pp. 928-940.
9. Ivanciu L., Ivanciu I.A. An ECG-based authentication system using Siamese neural networks // Journal of Medical and Biological Engineering. 2021. Т.41. №4. pp. 558-570.
10. Moody G., Mark R. MIT-BIH Arrhythmia Database, 2005. Version: 1.0.0. URL: physionet.org/content/mitdb/1.0.0/ (дата обращения: 01.03.2023)
11. Python waveform-database (WFDB) package documentation. Version: 4.1.0. URL: wfdb.readthedocs.io/en/latest/index.html (дата обращения: 01.03.2023).
12. Christov I.I. Real time electrocardiogram QRS detection using combined adaptive threshold // Biomedical engineering online. 2004. Т.3. №1. pp. 1-9.
References
1. Hadid, N. Evans, S. Marcel and J. Fierrez, IEEE Signal Processing Magazine. 2015. V.32. №5. pp. 20-30.
2. H. Shahid, A. Aymin, A. N. Remete, S. Aziz and M. U. Khan, A 2021 International Conference on Computing, Electronic and Electrical Engineering (ICE Cube). IEEE, 2021, pp. 1-6.
3. Sidorkin A.D., Panchekhin N.I., Desyatov A.G. Mezhdunarodnyy zhurnal informatsionnykh tekhnologiy i energoeffektivnosti. 2022. T.7. №3(25-3). pp. 7385.
4. Tsaunit A. N. Molodoy uchenyy. 2021. №23(365). pp. 114-117.
5. Anokhin M.N., Bereznyak S.A., Blanko L.M.L. Inzhenernyj vestnik Dona, 2014, №1. URL: ivdon.ru/ru/magazine/archive/n1y2014/2230
6. Puchkov E.V. Inzhenernyj vestnik Dona, 2013, №4. URL: ivdon.ru/ru/magazine/archive/n4y2013/2135
7. Mukwena A. The Deep Electrocardiogram Based Biometric Identification System. URL: github.com/axelmukwena/biometricECG (accessed: 01.03.2023).
8. Muhammad N.I., Chowdhury E.H., Khandakar A., Kiranyaz S., Rahman M.S., Tahir A., Qiblawey Y., Rahman T. IEEE Transactions on Emerging Topics in Computational Intelligence. 2021. V.6. №4. pp. 928-940.
9. Ivanciu L., Ivanciu I.A. Journal of Medical and Biological Engineering. 2021. V.41. №4. pp. 558-570.
10. Moody G., Mark R. MIT-BIH Arrhythmia Database, 2005. Version: 1.0.0. URL: physionet.org/content/mitdb/1.0.0/ (accessed: 01.03.2023).
11. Python waveform-database (WFDB) package documentation. Version: 4.1.0. URL: wfdb.readthedocs.io/en/latest/index.html (accessed: 01.03.2023).
12. Christov I. I. Biomedical engineering online. 2004. V.3. №1. pp. 1-9.
