CC BY
53
Метод идентификации личности по радужной оболочке глаза с использованием нейросетевого подхода на этапах сегментации и формирования признакового представления
Ю.Х. Ганеева1, Е.В. Мясников1,2 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34; 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151
Аннотация
Задача идентификации личности играет важную роль в обеспечении безопасности: информационной, общественной и др. В последнее время наиболее актуальными и перспективными являются биометрические методы идентификации личности. В статье представлено исследование метода идентификации личности по радужной оболочке глаза с использованием нейросетевого подхода на этапах сегментации и формирования признакового представления изображений. Представлено описание набора данных, используемого для реализации этапа сегментации с использованием сверточных нейронных сетей, а также предоставлен доступ к маскам сегментации всего набора данных. Предложен метод формирования признакового представления данных с использованием предварительно обученных сверточных нейронных сетей для решения задачи классификации радужной оболочки глаза. Проведен сравнительный анализ методов формирования признакового представления радужной оболочки глаза, включая классические подходы и нейросетевой подход. Проведен сравнительный анализ методов классификации, включая классические алгоритмы машинного обучения, а именно: метод опорных векторов, случайный лес, метод k-ближайших соседей. Результаты экспериментальных исследований показали высокое качество классификации при применении предложенного подхода.
Ключевые слова: радужная оболочка глаза, идентификация, сверточные нейронные сети, сегментация изображения, распознавание.
Цитирование: Ганеева, Ю.Х. Метод идентификации личности по радужной оболочке глаза с использованием нейросетевого подхода на этапах сегментации и формирования признакового представления / Ю.Х. Ганеева, Е.В. Мясников // Компьютерная оптика. - 2022. - Т. 46, № 2. -С. 308-316. - DOI: I0.18287/2412-6179-C0-I023.
Citation: Ganeeva YK, Myasnikov EV. Identifying persons from iris images using neural networks for image segmentation and feature extraction. Computer Optics 2022; 46(2): 308-316. DOI: 10.18287/2412-6179-C0-1023.
Введение
Задача идентификации личности по биометрическим данным является одной из наиболее актуальных задач в области информационной безопасности. Связано это с тем, что использование биометрических данных в качестве идентификационного материала позволяет сделать процесс идентификации более надежным. В последнее время широкое распространение получили методы идентификации по лицу [1, 2], геометрии руки [3, 4], отпечаткам пальцев [5, 6] и другим биометрическим данным.
Идентификация по радужной оболочке глаза - это одна из наиболее перспективных технологий идентификации личности.
Перспективность использования в качестве биометрического материала радужной оболочки глаза обуславливается следующими свойствами [7]:
1. Структура радужной оболочки глаза практически не подвержена изменению во времени.
2. Радужная оболочка глаза присутствует практически у каждого человека.
3. Радужная оболочка глаза является уникальным идентификатором, то есть вероятность совпадения радужных оболочек двух разных личностей крайне мала (~ 10 -78) [8].
4. Существуют методы извлечения и представления значимой признаковой информации радужной оболочки глаза, которые позволяют обеспечить дальнейшую процедуру идентификации с довольно хорошей точностью.
Традиционно, решая задачу идентификации личности по радужной оболочке глаза, выделяют следующие этапы: сегментация, нормализация, формирование признакового представления, классификация.
Этап сегментации - это один из самых важных этапов в задаче построения системы идентификации личности по радужной оболочке глаза. От качества работы данного этапа напрямую зависит точность работы всей системы в целом. Так как радужная оболочка представляет собой кольцевую область между зрачком и склерой, то во многих работах реализация этапа сегментации сводится к аппроксимации внут-
ренних и внешних границ радужной оболочки глаза окружностями. Для реализации этого этапа во многих работах используется преобразование Хафа для локализации окружностей [9 - 16], интегро-дифференциальный оператор Даугмана [17 - 19], метод на основе анализа граничных точек [20]. Однако такие подходы не позволяют локализовать некоторые шумы, возникающие вследствие перекрытия ресницами и веками, возникновения бликов. В связи с этим интерес исследователей был направлен на разработку метода сегментации, который обеспечит более высокий уровень качества.
Развитие нейросетевых технологий позволило по-другому посмотреть на решение многих задач. В том числе были проведены успешные попытки решения задачи сегментации радужной оболочки с использованием сверточных нейронных сетей [21 - 27].
Этап нормализации во многих работах реализуется с использованием нормализации Даугмана [11 - 17].
Для формирования признакового представления радужной оболочки использовались: фильтры Габора [10 -12, 28], фильтры лог-Габора [29], дискретное косинусное / синусоидальное преобразования [28, 30], вейвлет-преобразования [14, 28, 30] и другие. В некоторых работах за этапом формирования признакового представления следует этап снижения размерности [13, 15].
Для реализации этапа классификации в современных работах используются случайный лес [14], классификатор к- ближайших соседей [11], метод опор-
ных векторов [11, 12, 15], алгоритм классификации AdaBoost [30], дискриминантный анализ [29] и нейросетевой подход [11, 29].
В связи с тем, что в последнее время широкую популярность при решении задач из области компьютерного зрения получили нейросетевые методы глубокого обучения, актуальной задачей становится применение таких методов на различных этапах решения рассматриваемой проблемы и сравнение таких методов с существующими классическими подходами.
В настоящей статье представлен метод идентификации личности по радужной оболочке глаза, в котором на этапах сегментации и формирования признакового представления применяются нейронные сети.
Структура работы следующая. В параграфе 1 представлена схема метода идентификации личности и приведено описание каждого из этапов работы метода. Параграф 2 посвящен описанию методики проведения экспериментов. Также в нем представлены результаты проведенных экспериментальных исследований и подробно описан используемый набор данных. Работа завершается заключением и списком литературы.
1. Метод 1.1. Схема процедуры идентификации
Стандартная схема реализации процесса идентификации личности по радужной оболочке глаза представлена на рис. 1.
Рис. 1. Схематичное представление процедуры идентификации по радужной оболочке глаза (РОГ)
Для работы метода необходимо изображение радужной оболочки глаза человека, которое может быть получено, например, с использованием камеры в ИК-диапазоне.
Этап предобработки изображения предполагает конвертацию RGB-изображения в полутоновое с последующим масштабированием. Это необходимо в связи с тем, что алгоритм сегментации, как правило, работает с изображениями, приведенными к одному формату. Следует отметить, что использование полутонового изображения в задаче идентификации личности по радужной оболочке глаза обусловлено тем, что часто съемка радужной оболочки ведется в ИК-диапазоне и для унификации в случае обработки цветных изображений они конвертируются в полутоновые.
Этап сегментации является одним из основных этапов системы, так как от качества его работы зависит точность работы всей системы в целом. На вход
алгоритма сегментации поступает предобработанное изображение. Выходом является бинарная маска сегментации, в которой значение пикселя, равное 1, говорит о том, что пиксель принадлежит радужной оболочке глаза, а значение 0 - о том, что пиксель не принадлежит радужной оболочке глаза.
Этап нормализации, следующий за этапом сегментации, преобразует локализованную область радужной оболочки глаза к некоторому единому виду для того, чтобы характерные особенности радужной оболочки глаза имели одно и то же пространственное местоположение.
Нормализованное изображение является избыточным для того, чтобы подавать его на вход алгоритму классификации. В связи с этим необходимо добавление этапа формирования признакового представления данных. Результатом работы данного этапа будет вектор признаков, который уникальным образом описывает экземпляр конкретного класса.
Полученное векторное представление радужной оболочки глаза поступает на вход алгоритма классификации.
1.2. Этап сегментации изображения радужной оболочки глаза
Ранее в работе [31] нами был исследован метод сегментации радужной оболочки глаза с использованием сверточной нейронной сети архитектуры U-Net [32]. Для повышения качества существующих методов и достижения высоких показателей качества сегментации была проведена серия экспериментальных исследований, позволивших определить наилучшие значения гиперпараметров с учетом естественных ограничений, налагаемых методикой проведения эксперимента (шаг изменения, диапазон значений и т.п.) - скорости обучения (англ. learning rate) и размера мини-пакета (англ. batch size). После выбора наилучших гиперпараметров было проведено обучение нейронной сети в течение 100 эпох с использованием механизма аугментации.
Аугментация - это механизм расширения исходного набора данных путем добавления в него новых изображений, полученных с помощью осуществления геометрических, яркостных и других видов преобразований над изображениями исходного набора данных. Этот механизм призван бороться с распространенной проблемой переобучения при небольшом количестве данных, доступных для обучения.
В рамках экспериментальных исследований к тренировочному набору применялись геометрические преобразования (случайный поворот, случайное масштабирование, случайное кадрирование, горизонтальное и вертикальное отражение), яркостные преобразования (изменения яркости по каналу на случайное значение) и некоторые другие. Пример сегментации с использованием предложенного метода представлен на рис. 2.
От--01
0 200 0 200 0 200
Рис. 2. Пример сегментации радужной оболочки глаза: исходное изображение (левый столбец), истинная маска
сегментации (средний столбец), маска сегментации, полученная с использованием обученной нейронной сети (правый столбец)
В табл. 1 мы свели оценки качества сегментации, полученные известными методами [25, 27, 33 - 38] и предложенным методом [31]. В роли показателя качества выступала точность (accuracy) [34], которая
представляет собой отношение числа всех верно классифицированных пикселей к общему числу пикселей. При сравнении конкретных значений в указанной таблице следует учитывать возможные различия при проведении эксперимента: используемые при оценке маски истинной сегментации способы разбиения наборов и т.п. Именно по этой причине мы считаем важным предоставить свободный доступ к используемым нами для оценки качества маскам сегментации [44].
Табл. 1. Сравнение точности подходов к сегментации
Авторы подхода Точность, %
Pathak, M.P. и др. [25] 97,15
Pathak, M.P. и др. [27] 97,15
Hashim, A.T. и др. [33] 98,78
Chirchi, V. и др. [34] 87,00
Khan, T. и др. [35] 99,01
Jan, F. и др. [36] 98,21
Lin, M. и др. [37] 98,18
Wan, H.L. и др. [38] 97,83
Предложенный нейросетевой подход [31] 99,09
1.3. Этап нормализации радужной оболочки глаза
В рамках работы рассматривается два подхода к нормализации данных.
Первый подход к нормализации был предложен Даугманом в рамках работы [17]. Он помогает бороться с проблемой сужения / расширения зрачка. Суть подхода заключается в преобразовании локализованной текстуры РОГ из декартовой системы координат (ДСК) в полярную систему координат (ПСК).
В результате применения преобразования нормализованное изображение имеет форму прямоугольника и размер 40 х 240. Ширина изображения (240) соответствует изменению по угловой координате, а высота (40) - изменению по радиальной координате.
Второй подход заключается в последовательном выполнении следующих действий:
1. Кадрирование локализованной области РОГ по ее внешним границам.
2. Масштабирование изображения к размеру 224 х 224.
На рис. 3 приведен пример нормализации первым и вторым подходом.
1.4. Этап формирования признакового представления данных
В рамках работы применяются и сравниваются системы признаков, полученные с использованием: фильтров Габора [10 - 12, 28], лог-Габора [29], предварительно обученных для распознавания радужной оболочки глаза сверточных нейронных сетей из представленной ранее нами работы [39].
1.4.1. Фильтр Габора 2Б
Фильтр Габора в обработке изображений используют, как правило, для анализа текстуры, определения границ и извлечения признаков. Его применение
позволяет определить, присутствует ли на изображении в окрестности точки составляющая, соответствующая заданной частоте и направлению. На практике для повышения качества распознавания используют оптимальный, то есть показывающий лучшее качество распознавания набор фильтров Габора с варьирующимся значением направления.
Рис. 3. Исходное изображение (слева) и результат нормализации после применения преобразования (справа): а) преобразование Даугмана; б) кадрирование и масштабирование
В пространственной области фильтр Габора представляет собой гармоническую функцию, модулированную функцией Гаусса.
Пусть X - длина волны модулируемой гармонической функции, 6 - ориентация нормали к параллельным полосам функции Габора, у - фазовый сдвиг гармонической функции, ст - стандартное отклонение функции Гаусса, у - коэффициент сжатия, характеризующий эллиптичность функции Габора, тогда в пространственной области фильтр Габора строится по следующей формуле [40]:
8 (х, у; Х,6,у,ст, у) =
(
= ехр
х'2 +у2 у'2 ' 2ст2
ехр
-| 'I
После построения набора фильтров Габора для получения признакового представления данных проводится операция свертки нормализованного изображения радужной оболочки глаза с каждым фильтром набора. Для дальнейшей работы берется фазовая составляющая результата, которая для каждого значения кодируется следующим образом [40]:
1. Если действительная часть > 0 и мнимая часть > 0, то выход «11».
2. Если действительная часть > 0 и мнимая часть <0, то выход «10».
3. Если действительная часть <0 и мнимая часть > 0, то выход «01».
4. Если действительная часть <0 и мнимая часть < 0, то выход «00».
1.4.2. Фильтр лог-Габора
Основным недостатком фильтров Габора является ненулевое значение БС-отсчета (коэффициента пря-
мого преобразования Фурье с координатами (0, 0)). То есть отклик фильтра зависит от среднего значения сигнала. Этого недостатка лишен фильтр лог-Габора, который является модификацией фильтра Габора.
1.4.2.1. Фильтр лог-Габора Ю
В спектральной области двумерный фильтр лог-Габора определяется следующим образом [40]:
О (/) = ехр
где /0 - центральная частота фильтра,
ст - ширина полосы пропускания фильтра. Нормализованное изображение РОГ с использованием преобразования Фурье переводится в спектральную область, затем производится построчное умножение на частотную характеристику фильтра лог-Габора. Далее результат переводится в пространственную область с использованием обратного преобразования Фурье. Кодирование полученного представления выполняется аналогично кодированию при применении фильтра Габора.
1.4.2.2. Фильтр лог-Габора 2Б
В двумерном фильтре лог-Габора учитывается не только частотная компонента, но и компонента, отвечающая за направление.
В спектральной области двумерный фильтр лог-Габора определяется следующим образом [40]:
О (/,6) = ехр
'108 (/0"
2 Л
V V
ст,
1081 /
ехр
Чб-бр)2 Л
2ст2
/ /
где /0 - центральная частота фильтра,
ст/ - ширина полосы пропускания частотной составляющей, 60 - направление центра,
стб - ширина полосы пропускания составляющей направления.
Нормализованное изображение радужной оболочки глаза с использованием преобразования Фурье переводится в спектральную область, затем производится его свертка с двумерным фильтром лог-Габора. Далее результат переводится в пространственную область с использованием обратного преобразования Фурье. Кодирование полученного представления выполняется аналогично кодированию при применении фильтра Габора.
1.4.3. Предварительно обученная сверточная нейронная сеть для распознавания радужной оболочки глаза
Процедура получения признакового представления заключается в «отключении» последнего слоя в
обученной для распознавания радужной оболочки глаза модели, которая играет роль классификатора, и пропускании исходных данных через модифицированную нейронную сеть.
Для получения признакового представления из данных использовались модели, полученные в рамках исследования [39] и показавшие наилучшее значение качества распознавания для каждого из способов нормализации, описанных выше, а именно: при нормализации с использованием метода Даугмана используется модель архитектуры 1псер1юпУ3 [41], при нормализации, основанной на кадрировании с последующим масштабированием, - Беше№1121 [42].
1.5. Этап снижения размерности
Решение многих сложных задач с использованием алгоритмов машинного обучения сопровождается большим количеством признаков для каждого экземпляра из набора данных. Как правило, обработка исходного представления векторов признаков может потребовать достаточно много временных и вычислительных ресурсов, что для некоторых систем является неприемлемым. Также большая размерность векторов признаков может привести к усложнению процедуры нахождения хорошего решения задачи.
В связи с этим за этапом формирования признакового представления данных дополнительно введен этап снижения размерности. В рамках исследований в качестве алгоритма для снижения размерности используется метод главных компонент.
Метод главных компонент - один из самых популярных алгоритмов снижения размерности данных. Его суть заключается в нахождении линейного преобразования в подпространство меньшей размерности, максимизирующего дисперсию данных, с последующим проецированием данных в это подпространство.
1.6. Этап классификации
Для решения задачи классификации в настоящей работе используются и сравниваются три алгоритма машинного обучения, а именно: метод опорных векторов, случайный лес и метод к-ближайших соседей.
1.6.1. Метод опорных векторов
Метод опорных векторов — это один из самых популярных алгоритмов машинного обучения, который предназначен для решения задач классификации как линейно разделимых, так и нелинейно разделимых классов. Модель, полученная в результате использования алгоритма, описывается с использованием линейной функции wT х + Ь и предсказывает класс. Предсказание класса реализуется следующим образом: если значение линейной функции положительное, то предсказывается положительный класс, в противном случае - отрицательный.
Цель алгоритма заключается в нахождении гиперплоскости, которая бы оптимальным образом разде-
ляла экземпляры классов. При этом нахождение оптимального разделения состоит в максимизации зазора между гиперплоскостью и экземплярами класса.
Особенность данного алгоритма заключается в применимости так называемого трюка с ядром. Представленную выше модель можно переписать в следующем виде:
n
b +^a¡k (x, xW),
i=1
где k (x, x(l)) - ядро. В рамках исследований сравнивается качество классификации с использованием линейного, полиномиального, сигмоидального и радиального ядра.
1.6.2. Случайный лес
Случайный лес - это алгоритм машинного обучения, в реализации которого лежит подход, основанный на композиции деревьев решений. Известно, что недостатком деревьев решений является их высокая склонность к переобучению. Собственно, алгоритм случайный лес позволяет бороться с этой проблемой путем построения большого количества деревьев решений, которые хорошо работают над решением конкретной задачи и склонны к переобучению в разной степени. Случайность, заявленная в названии алгоритма, вносится на этапе построения деревьев решений.
1.6.3. Метод k-ближайших соседей
Метод k-ближайших соседей является одним из самых простых алгоритмов машинного обучения. Построение модели основано на запоминании обучающего набора. К настраиваемым параметрам алгоритма относятся количество соседей и метрика. При классификации алгоритм вычисляет расстояние до каждого из объектов обучающего набора с использованием заданной метрики, затем отбирается k ближайших объектов обучающего набора и с помощью так называемого голосования принимается решение о принадлежности экземпляра к определенному классу.
2. Эксперименты 2.1. Описание используемого набора данных
Для проведения экспериментальных исследований был выбран открытый набор данных MMU Iris Database [43]. В наборе данных содержится 450 изображений радужных оболочек глаза для 45 человек размером 320 х 240, сделанных на камеру ближнего ИК-диапазона. На каждого человека приходится 10 изображений: первые 5 соответствуют правому глазу, вторые 5 - левому глазу.
В связи с тем, что этап сегментации радужной оболочки глаза был реализован с использованием методов глубокого обучения, а именно обучались свер-точные нейронные сети, на вход которых подается исходное изображение глаза как входной экземпляр и
изображение маски истинной сегментации как истинный выход, то была выполнена ручная сегментация всего набора данных. Подготовленный набор масок сегментации можно найти в открытом доступе по ссылке [44].
На рис. 4 продемонстрированы экземпляры из набора данных, а также соответствующие им маски сегментации.
Г
Рис. 4. Пример изображений из набора данных MMU Iris
Database и подготовленные маски истинной сегментации
2.2. Порядок проведения экспериментальных исследований
В рамках исследования была проведена серия экспериментов, в результате которых были выполнены следующие задачи:
1. Был определен лучший способ нормализации данных.
2. Был выбран лучший метод признакового представления данных.
3. Был определен лучший размер векторов признаков, поступающих на вход алгоритмов машинного обучения, описанных выше.
4. Был определен лучший алгоритм для классификации.
Для проведения экспериментальных исследований использовался описанный выше набор данных. В качестве показателя качества работы алгоритма использовалась точность (accuracy), определяемая следующим образом:
1 N TP) + TN¡
Accuracy =— > -----,
N TPj + TNj + FPj + FN j
где TPj - количество истинно положительных исходов для j-го класса, TNj - количество истинно отрицательных исходов
для j-го класса, FPj - количество ложно положительных исходов
для j-го класса, FNj - количество ложно отрицательных исходов
для j-го класса, N - количество классов.
Для обучения и оценки качества работы моделей использовался механизм кросс-валидации. При его применении задавался единственный параметр, отвечающий за количество случайных разбиений исходной выборки. В рамках исследований набор данных разбивался на пять непересекающихся подмножеств.
В процессе работы алгоритма кросс-валидации каждое подмножество участвовало в тестировании точности ровно один раз. Таким образом, на каждой итерации кросс-валидации на обучение подавалось четыре подмножества (360 изображений), на тестирование - одно (90 изображений). Конечным результатом работы алгоритма была усредненная оценка точности.
Экспериментальные исследования выполнялись следующим образом:
1. Выполнялась нормализация изображения в зависимости от последующего способа формирования признакового представления данных.
2. Выполнялся расчет признакового представления данных с использованием всех исследуемых систем признаков.
3. Для каждого сформированного признакового представления выполнялся перебор размерностей формируемого пространства признаков (число главных компонент при снижении размерности).
4. Для каждого сформированного признакового представления в пространстве со сниженной размерностью выполнялось обучение и тестирование всех исследуемых классификаторов.
2.3. Результаты экспериментальных исследований
В качестве первого способа формирования признакового представления данных использовался двумерный фильтр Габора. После нормализации методом Даугмана и формирования признакового представления производился перебор числа главных компонент и обучение классификаторов.
Следующим исследуемым способом формирования признакового представления данных стали одномерный и двумерный фильтры лог-Габора. Все последующие шаги аналогичны таковым при использовании фильтра Габора. Результаты исследования указанных систем признаков приведены в табл. 2.
В рамках исследования нейросетевых способов формирования признакового представления данных была рассмотрена модифицированная предварительно обученная сверточная нейронная сеть архитектуры 1псерйопУ3. Порядок действий при таком способе формирования признакового представления данных следующий: нормализация исходных изображений методом Даугмана, формирование признакового представления данных с использованием предварительно обученной модели, снижение размерности векторного представления данных, обучение классификаторов.
Заключительным в исследовании способом формирования признакового представления данных стала предварительно обученная сверточная нейронная сеть архитектуры Беше№И21. Нормализация при этом выполнялась путем кадрирования с последующим масштабированием. Все последующие шаги были аналогичны таковым при использовании сети 1псерйопУ3.
О в
□ О
о и
Результаты исследования систем признаков, построенных на основе указанных нейронных сетей, приведены в табл. 3.
Как видно из результатов проведенных исследований, наилучший результат классификации показал подход с использованием сверточной нейронной нейронной сети Беше№1 для формирования признакового представления данных. В качестве алгоритма нормализации в этом случае использовался подход,
основанный на кадрировании с последующим масштабированием. При числе главных компонент 128 и классификаторе метод опорных векторов с сигмои-дальным ядром мы достигли значения качества классификации 99,78 %, что превышает результаты качества классификации при использовании других перечисленных комбинаций методов формирования признакового представления, числа главных компонент и классификаторов.
Табл. 2. Точность классификации (%), полученная с использованием различных модификаций фильтра Габора в качестве способа формирования признакового представления данных
Размер итоговой последовательности векторов признаков Алгоритм машинного обучения
Случайный лес Метод k - NN (k = 1) Метод k - NN (k = 3) SVM (linear) SVM (rbf) SVM (sigmoid) SVM (poly)
Двумерный фильтр Габора, нормализация методом Даугмана
32 90,22 95,11 94,22 96,44 96,22 96,67 92,22
64 93,78 96,89 94,44 97,11 97,33 97,56 93,33
128 96,00 97,33 94,89 97,33 97,78 97,11 92,00
256 95,78 96,44 93,56 97,33 96,67 97,56 94,00
Одномерный фильтр лог-Габора, нормализация методом Даугмана
32 89,56 95,78 92,67 94,44 96,22 92,44 90,22
64 90,89 97,11 94,67 95,56 95,78 96,22 90,89
128 92,00 96,67 95,11 94,56 95,78 95,11 90,22
256 92,44 95,56 92,67 96,22 95,11 96,00 80,44
Двумерный фильтр лог-Габора, нормализация методом Даугмана
32 92,22 96,22 95,56 96,44 96,44 96,00 93,11
64 94,44 98,44 97,11 97,78 98,00 98,22 93,78
128 94,89 98,22 96,22 98,67 98,00 99,11 92,22
256 95,33 96,89 94,89 97,79 97,56 98,44 90,44
Табл. 3. Точность классификации (%), полученная с использованием различных нейронных сетей в качестве способа формирования признакового представления данных
Размер итоговой последовательности векторов признаков Алгоритм машинного обучения
Случайный лес Метод k - NN (k = 1) Метод k - NN (k = 3) SVM (linear) SVM (rbf) SVM (sigmoid) SVM (poly)
InceptionV3, но] эмализация методом Даугмана
32 97,33 98,89 98,89 99,11 99,33 99,56 96,67
64 98,00 98,89 99,11 99,11 99,33 99,56 96,67
128 98,89 98,89 99,11 99,11 99,11 99,56 96,22
256 98,89 98,89 99,11 99,11 99,11 99,56 96,44
Беше№Ш1, кадрирование с масштабированием
32 97,11 99,11 99,11 99,56 99,33 99,56 95,56
64 98,00 98,89 98,89 99,33 99,33 99,56 95,33
128 98,89 99,33 99,11 99,33 99,33 99,78 95,33
256 99,11 99,33 99,11 99,56 99,33 99,56 95,33
Заключение
В настоящей статье проведено исследование метода идентификации личности по радужной оболочке глаза с использованием нейросетевого подхода на этапах сегментации и формирования признакового представления данных.
Предложен метод сегментации радужной оболочки с использованием сверточных нейронных сетей для решения задачи сегментации. Сформирована база данных для обучения сверточных нейронных сетей, которая находится в открытом доступе [44]. Среди работ, посвященных решению задачи сегментации и
использующих набор данных ММи Ы8Ба1аЪа8е, предложенный нейросетевой подход показал лучший результат по точности. Произведен сравнительный анализ методов формирования признакового представления радужной оболочки глаза, включая классический подход, основанный на различных модификациях фильтра Габора, и нейросетевой подход.
Проведен сравнительный анализ методов классификации, включая метод опорных векторов, случайный лес, метод к - ближайших соседей. Анализ указанных методов выполнен в составе разработанного подхода к решению задачи идентификации личности по радужной оболочке глаза в комбинации с ориги-
нальным нейросетевым методом формирования признакового представления.
Использование предложенного подхода формирования признакового представления данных совместно с классификатором на основе машины опорных векторов с сигмоидальным ядром позволило достичь наивысшей точности классификации для 45 классов - 99,78 %.
Благодарности
Работа выполнена при финансовой поддержке Министерства науки и высшего образования РФ в рамках госзадания ФНИЦ «Кристаллография и фотоника» РАН.
В параграфе «Эксперименты» используется набор данных MMU Iris Database, предоставленный Multimedia University [43].
References
[1] Nemirovskiy VB, Stoyanov AK, Goremykina DS. Face recognition based on the proximity measure clustering. Computer Optics 2016; 40(5); 740-745. DOI: 10.18287/2412-6179-2016-40-5-740-745.
[2] Vizilter YuV, Gorbatsevich VS, Vorotnikov AV, Ko-stromov NA. Real-time face identification via CNN and boosted hashing forest. Computer Optics 2017; 41(2); 254265. DOI: 10.18287/2412-6179-2017-41-2-254-265.
[3] Hashemi J, Fatemizadeh E. Biometric identification through hand geometry. EUROCON, Int Conf Computer as a Tool 2005; 2: 1011-1014.
[4] Prasad SM, Govindan VK, Sathidevi PS. Bimodal personal recognition using hand images. Proc Int Conf on Advances in Computing Communication and Control (ICAC3) 2009: 403-409.
[5] Yuan W, Lixiu Y, Fuqiang Zh. A real time fingerprint recognition system based on novel fingerprint matching strategy. 8th Int Conf on Electronic Measurement and Instruments 2007: 1-81-1-85.
[6] Kaur M, Singh M, Girdhar A, Parvinder S. Fingerprint verification system using minutiae extraction technique. World Acad Sci Eng Technol 2008; 46: 497-502.
[7] Review of the international market of biometric technologies and their application in the financial sector. Source: (https://www.cbr.ru/Content/Document/File/36012/rev_bio.pdf).
[8] Pavelyeva EA, Krylov AS, Ushmaev OS. Development of information technology of a person's personality on the iris of the eye based on the Hermite transformation. Source: (https://elibrary.ru/item.asp?id=13070173).
[9] Gonzalez RC, Woods RE. Digital image processing. 3th ed. Boston: Addison-Wesley Longman Publishing Co Inc; 1992.
[10] Khan AA, Kumar S, Khan M. Iris pattern recognition using support vector machines and artificial neural networks. IJIREEICE 2014; 2(12): 2208-2211.
[11] Chen Y, Liu Y, Zhu X, Chen H, He F, Pang Y. Novel approaches to improve iris recognition system performance based on local quality evaluation and feature fusion. Sci World J 2014; 2014: 670934.
[12] Firake SG, Mahajan PM. Brief review of iris recognition using principal component analysis, independent component analysis and Gabor wavelet. Int J Eng Res Technol 2014; 3(3): 1290-1294.
[13] Manisha Nirgude SG. Iris recognition system based on multi-resolution analysis and support vector machine. Int J Comput Appl 2017; 173: 28-33.
[14] Rana HK, Azam MdS, Akhtar R, Quinn JMW, Moni MA. A fast iris recognition system through optimum feature extraction. Source: (https://doi.org/10.7287/peerj.preprints.27363v2).
[15] Azam MD, Rana H. Iris recognition using convolutional neural network. Int J Comput Appl 2020; 175(12): 24-28.
[16] Nguyen K, Fookes C, Ross A, Sridharan S. iris recognition with off-the-shelf CNN features: A deep learning perspective. IEEE Access 2018; 6: 18848-18855.
[17] Daugman JG. How iris recognition works. Source: (https://ieeexplore.ieee.org/document/1262028).
[18] Bakhtiari A, Shirazi A, Zahmati A. An efficient segmentation method based on local entropy characteristics of iris biometrics. World Acad Sci Eng Technol 2007; 28: 64-68.
[19] Barzegar N, Moin MS. A new approach for iris localization in iris recognition systems. Proc 6th IEEE/ACS Int Conf on Computer Systems and Applications (AICCSA '08) 2008: 516-523.
[20] Semyonov MS, Myasnikov EV. A comparison of iris image segmentation techniques. CEUR Workshop Proc 2018; 2210: 163-169. DOI: 10.18287/1613-0073-2018-2210-163-169.
[21] Liu N, Li H, Zhang M, Liu J, Sun Z, Tan T. Accurate iris segmentation in non-cooperative environments using fully convolutional networks. 2016 Int Conf on Biometrics (ICB) 2016: 1-8.
[22] Jalilian E, Uhl A. Iris segmentation using fully convolu-tional encoder-decoder networks. In Book: Bhanu B, Prof. Kumar A, eds. Deep learning for biometrics. Cham: Springer International Publishing; 2017: 133-155.
[23] Lozej J, Meden B, Struc V, Peer P. end-to-end iris segmentation using U-Net. 2018 IEEE Int Work Conf on Bioin-spired Intelligence (IWOBI) 2018: 1-6.
[24] Korobkin M, Odinokikh G, Efimov I, Solomatin I, Mat-veev I. Iris segmentation in challenging conditions. Pattern Recognit Image Anal 2018; 28: 652-657.
[25] Pathak MP, Bairagi V, Srinivasu N. Effective segmentation of sclera, iris and pupil in eye images. TELKOMNI-KA (Telecommunication Computing Electronics and Control) 2019; 17(5): 101-111.
[26] Li YH, Huang PJ, Juan Y. An efficient and robust iris segmentation algorithm using deep learning. Source: (https://doi.org/10.1155/2019/4568929).
[27] Pathak MP, Bairagi V, Srinivasu N. Entropy based CNN for segmentation of noisy color eye images using color, texture and brightness contour features journal. Int J Recent Technol Eng 2019; 8(2): 2116-2124.
[28] Poonia J, Bhurani P, Gupta SK, Agrwal SL. New improved feature extraction approach of IRIS recognition. IJCS 2016; 3(1): 1-3.
[29] Pathak MP, Bairagi V, Srinivasu N. Multimodal eye bio-metric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching. IJI-TEE 2019; 8(9): 417-423.
[30] Akbar S, Ahmad A, Hayat M. Iris detection by discrete sine transform based feature vector using random forest. JAEBS 2014; 4: 19-23.
[31] Ganeeva Yu, Myasnikov EV. Using convolutional neural networks for segmentation of Iris images. 2020 Int Multi-Conf on Industrial Engineering and Modern Technologies (FarEastCon) 2020: 1-4. DOI: 10.1109/FarEastCon50210.2020.9271541.
[32] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation. Source: (https://arxiv.org/abs/1505.04597).
[33] Hashim AT, Saleh ZA. Fast Iris localization based on image algebra and morphological operations. JUBPAS 2019; 27(2): 143-154.
[34] Chirchi V, Waghmare LM. Enhanced isocentric segmentar and wavelet rectangular coder to iris segmentation and recognition. Int J Intell Eng Syst 2017; 10: 1-10.
[35] Khan T, Bailey D, Khan M, Kong Y. Real-time iris segmentation and its implementation on FPGA. J Real Time Image Process 2020; 17: 1089-1102.
[36] Jan F, Min-Allah N, Agha S. A robust iris localization scheme for the iris recognition. Source: (https://doi.org/10.1007/s11042-020-09814-5).
[37] Lin M, Haifeng L, Kunpeng Yu. Fast iris localization algorithm on noisy images based on conformal geometric algebra. Digit Signal Proces 2020; 100: 102682.
[38] Wan HL, Li Z, Qiao JP, Li BS. Non-ideal iris segmentation using anisotropic diffusion. IET Image Proces 2013; 7: 111-120.
[39] Ganeeva Y, Myasnikov E. Augmentation in neural network training for person identification by iris images. 2021 Ural
Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT) 2021: 01060109. DOI: 10.1109/USBEREIT51232.2021.9455076.
[40] Masek L. Recognition of human iris patterns for biometric identification. Source:
(http://www.csse.uwa.edu.au/~pk/studentprojects/libor/).
[41] Advanced guide to Inception v3 on Cloud TPU. Source: (https://cloud.google.com/tpu/docs/inception-v3-avanced).
[42] Huang G, Liu Z, Van der Maaten L, Weinberger KQ. Densely connected convolutional networks. Source: (https://arxiv.org/abs/1608.06993).
[43] MMU Iris image database: Multimedia university. Source: (http://pesonna.mmu.edu.my/ccteo/).
[44] Masks for MMU Iris dataset, Source: (https://github.com/jganeeva99/Masks-for-MMU-Iris-dataset).
Сведения об авторах
Ганеева Юлия Ханифовна, 1999 года рождения, в 2021 году окончила Самарский национальный исследовательский университет им. академика С.П. Королева (Самарский университет) с отличием по специальности 10.05.03 «Информационная безопасность автоматизированных систем». Область научных интересов: обработка изображений, нейронные сети, компьютерное зрение, распознавание образов. E-mail: _jganeeva99@gmail.com .
Мясников Евгений Валерьевич, 1981 года рождения. В 2004 году окончил с отличием Самарский государственный аэрокосмический университет (СГАУ) по специальности «Автоматизированные системы обработки информации и управления». Кандидат технических наук (2007), доцент кафедры геоинформатики и информационной безопасности Самарского университета, научный сотрудник лаборатории математических методов обработки изображений Института систем обработки изображений РАН (ИСОИ РАН). Результаты научных исследований отражены более чем в ста научных работах, соавтор монографии. Область научных интересов: распознавание образов, обработка изображений, геоинформатика, проектирование и разработка программного обеспечения. E-mail: mevg@geosamara.ru.
ГРНТИ: 28.23.15
Поступила в редакцию 10 августа 2021 г. Окончательный вариант - 18 ноября 2021 г.
Identifying persons from iris images using neural networks for image segmentation and feature extraction
Yu.Kh. Ganeeva 2, E.V. Myasnikov1,2 1IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, 443001, Samara, Russia, Molodogvardeyskaya 151, 2 Samara National Research University, 443086, Samara, Russia, Moskovskoye Shosse 34
Abstract
The problem of personal identification plays an important role in information security. In recent years, biometric methods of personal identification have become most relevant and promising. The article presents a study of a method for identifying a person from iris images using a neural network approach at the stages of segmentation and a feature representation from the data. A description of a dataset used to implement the segmentation stage using convolutional neural networks is presented and access to the segmentation masks of the entire dataset is provided. A method is proposed for extracting a feature representation of the data using pretrained convolutional neural networks to solve a problem of iris classification. A comparative analysis of methods for extracting iris features, including classical approaches and a neural network approach, has been carried out. A comparative analysis of classification methods is carried out, including classical machine learning algorithms, namely, support vector machines, random forest, and a k-nearest neighbors method. The results of experimental studies have shown the high quality of the classification based on the proposed approach.
Keywords: iris, identification, convolutional neural networks, image segmentation, recognition.
Citation: Ganeeva YK, Myasnikov EV. Identifying persons from iris images using neural networks for image segmentation and feature extraction. Computer Optics 2022; 46(2): 308-316. DOI: 10.18287/2412-6179-CO-1023.
Acknowledgements: This work was supported by the RF Ministry of Science and Higher Education within the State assignment of the FSRC "Crystallography and Photonics" RAS. The Experiments section uses the MMU Iris Database dataset provided by Multimedia University [43].
Authors' information
Yulia Khanifovna Ganeeva (b. 1999) graduated with honors from Samara National Research University (Samara University) majoring in Information Security of Computer-Aided Systems in 2021. Main research interests: image processing, neural networks, computer vision, pattern recognition. E-mail: _jganeeva99@gmail.com .
Evgeny Valerievich Myasnikov (b. 1981) graduated with honors from Samara State Aerospace University (SSAU) with a degree in Automated Information Processing and Control Systems in 2004. Candidate of Technical Sciences (2007), Associate Professor of the Geoinformatics and Information Security department of Samara University, Researcher at the Laboratory of Mathematical Methods for Image Processing at the Image Processing Systems Institute, Russian Academy of Sciences. Author of more than a hundred scientific papers and coauthor of a monograph. Research interests: pattern recognition, image processing, geoinformatics, software design and development. E-mail: mevg@geosamara.ru .
Received August 10, 2021. The final version - November 18, 2021.
