CC BY
17
Доклады БГУИР
2013 № 4 (74)
УДК 004.93
РЕШЕНИЕ ЗАДАЧИ РАЗГРАНИЧЕНИЯ ДОСТУПА В СИСТЕМУ НА ОСНОВЕ
НЕЙРОННОЙ СЕТИ СВЕРТКИ
НА. ИСКРА
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 15 мая 2012
Предлагается алгоритм, в основе которого лежит извлечение главных компонент изображений в качестве информативных признаков и нейронная сеть свертки в качестве классификатора. Эксперименты показывают частичную инвариантность к поворотам, масштабированию и деформациям, что достигается благодаря иерархическому извлечению информативных признаков. Доля правильного распознавания образов лиц составила 99 %.
Ключевые слова: нейронная сеть свертки, анализ главных компонент, идентификация личности, биометрия, разграничение доступа.
Введение
Задача разграничения доступа в систему может быть сформулирована следующим образом. Пусть дано ограниченное количество классов пользователей (порядка 100 человек), которым может предоставляться доступ в систему. Всем остальным классам в доступе должно быть отказано. Кроме того, для некоторых групп пользователей могут предоставляться особые права (либо вводиться ограничения). Необходимо однозначно идентифицировать личность из заданного набора классов.
В качестве исходных данных для решения данной задачи доступно большое количество изображений (обучающих образов) на каждый класс. Как альтернативный вариант, можно отметить алгоритм, основанный на применении многослойного персептрона (МП) в качестве классификатора [1]. Как показывают результаты экспериментов, алгоритм достаточно устойчив, имеет приемлемые показатели эффективности, однако вычислительно сложен. Кроме того, нет возможности гибкой настройки работы алгоритма (когда, например, нужно добавить еще один класс пользователей системы).
В данной статье предлагается использовать нейронную сеть свертки (НСС), применение которой способствует устойчивому распознаванию и позволяет «дообучать» классификатор. В то же время информативные признаки, извлекаемые данной сетью, являются инвариантными к смещению, повороту, масштабированию и деформациям [2].
Структура нейронной сети свертки
НСС имеет иерархическое строение слоев, благодаря этому она может извлекать ключевые признаки, чем достигается устойчивость решения к внутриклассовым вариациям образов. В отличие от МП в НСС гибкость может быть достигнута за счет добавления новых соединений между нейронами в слоях.
Для сокращения размерности входных данных предлагается использовать анализ главных компонент (PCA - Principal component analysis) [3]. Общеизвестно, что PCA обеспечивает эффективную самоорганизующуюся процедуру обучения при сжатии данных, в то же время сохраняя большую часть полезной информации о входном сигнале.
Для извлечения главных компонент изображения используется однослойная рециркуляционная нейронная сеть, представленная на рис. 1, которая извлекает заданное количество главных компонент из многомерного случайного процесса. Относительно ее структуры необходимо отметить, что:
- сеть имеет т входов ир выходов, причемр<т;
- все нейроны выходного слоя являются линейными;
- в качестве алгоритма обучения используется обобщенный алгоритм Хебба [4].
Xi
X2
Xi
Xm
ij-► yi
^-► У2
—► yp
Рис. 1. Однослойная нейронная сеть для извлечения р главных компонент Правила модификации весов в алгоритме Хебба представлены формулами (1) и (2):
г _
Уг (п) = Е W (П)X (п)> J = 1 m •
i=l
(n) = v
yj (n)xt (n) - yj (n)Ê wki(n)Ук(n)
k=l
(1)
(2)
где n - параметр скорости обучения; m — общее число входных нейронов; Wj— вес синаптиче-ской связи, соединяющей нейроны i и j; yi(n) — выходной сигнал нейрона i, i-тая главная компонента. Для сокращения вычислительных затрат при определении первой главной компоненты может быть использован один собственный вектор.
Структура НСС для идентификации личности представлена на рис. 2. Данная структура была получена по аналогии со структурой сети, применяемой для распознавания рукописного шрифта [3, 4].
Рис. 2. Нейронная сеть свертки для распознавания образов лиц
Сеть состоит из набора слоев, каждый из которых содержит определенный набор карт признаков. Каждый нейрон получает входной сигнал от локального рецептивного поля (receptive field) в предыдущем слое, извлекая, таким образом, его локальные признаки. После извлечения абсолютное местоположение признака не имеет значения, т.к. установлено его расположение относительно других признаков. Каждый вычислительный слой состоит из множества карт признаков (feature map), каждая из которых имеет форму плоскости, на которой все нейроны должны использовать одно и то же множество синаптических весов. За каждым слоем
свертки следует вычислительный слой, осуществляющий локальное усреднение (local averaging) и подвыборку. Это приводит к уменьшению разрешения карт признаков, что в свою очередь дает инвариантность к смещению и прочим деформациям. Такая сеть обучается посредством алгоритма обратного распространения ошибки.
Входной слой содержит 23^28 сенсорных узлов (для тестовой базы предварительно производится усреднение по каждым четырем соседним пикселям). Функционирование вычислительных слоев осуществляется следующим образом:
- I скрытый слой реализует свертку; состоит из 20 карт признаков из 21x26 нейронов; каждому нейрону соответствует поле чувствительности (рецептивное поле) размером 3x3;
- II скрытый слой выполняет подвыборку и локальное усреднение; состоит из также 20 карт размером 11x13; каждому нейрону соответствует рецептивное поле 2x2, настраиваемый коэффициент, настраиваемый порог и сигмоидальная функция активации (настраиваемые коэффициент и порог определяют рабочую область нейрона);
- III скрытый слой выполняет повторную свертку; состоит из 25 карт по 9x11 нейронов; каждый нейрон этого слоя может иметь синаптические связи с различными картами признаков предыдущего слоя, в противном случае он был бы аналогичен первому слою;
- IV скрытый слой осуществляет вторую выборку и повторное локальное усреднение; состоит из 25 карт по 5x6 нейронов;
- выходной слой осуществляет последний этап свертки; состоит из 40 нейронов, каждому из которых соответствует один из классов в базе.
Стратегия соединения слоев в сети, минимизирующая количество весов, определена эмпирически для конкретной тестовой базы изображений [5] и представлена в табл. 1.
Таблица 1. Характеристики слоев нейронной сети свертки для распознавания лиц
№ слоя Тип слоя Число карт x У Рецептивное поле Связность
1 Свертка 20 21 26 3x3 100%
2 Подвыборка 20 11 13 2x2 -
3 Свертка 25 9 11 3x3 30%
4 Подвыборка 25 5 6 2x2 -
5 Свертка 40 1 1 5x6 100%
Эксперименты и результаты
Тестирование системы разграничения доступа осуществлялось на базе The Database of Faces лаборатории AT&T Кембриджского университета [5]. В данной базе представлено 40 классов субъектов. Для каждого субъекта имеется 10 различных изображений. Для некоторых классов фотографии были получены в различное время (т.е. присутствует эффект старения), при различном освещении, присутствуют также внутриклассовые вариации в виде различных выражений лица (глаза открыты/закрыты, с улыбкой/без улыбки и т.д.) и деталей (в очках/без очков). Все изображения были получены на темном однородном фоне с небольшими вариациями в положении лица. Размер каждого изображения 92x112 пикселей, 256 градаций серого. Пример набора изображений для одного субъекта представлен на рис. 3.
Классификатор обучался с использованием различного количества изображений.
В табл. 2 проанализированы следующие характеристики системы:
- процент распознавания (Rr, %) - процент правильной классификации образов, на которых производилось обучение сети;
- процент обобщения (Rg, %) - процент правильной классификации образов из набора, не содержащего обучающие образы;
- время обучения (Tt, с);
- среднее время распознавания (Tr, с) - среднее время обработки одного изображения.
Рис. 3. Пример изображений из The Database of Faces Таблица 2. Характеристики системы
Количество изображений для обучения Rr, % Rg, % T, с Tr, с
1 79,25 70,20 0,3 0,1
2 93,75 73,61 0,9 0,4
3 98,50 78,23 1,4 0,7
4 98,90 82,99 1,8 0,9
5 99,99 86,25 2,3 1,2
Также оценивались и сравнивались эффективность использования НСС с анализом главных компонент и без него. На рис. 4 показано увеличение эффективности НСС с использованием PCA.
ф
ш
100 95 90 85 80
® 75 Ё 70
а>
65
с 60
—
m
S *
— "Сеть свёртки PC А + свёртка
1 1 1 1
1
Размер тренировочной выборки, шт.
Рис. 4. Зависимость процента обобщения от размера тренировочной выборки
Как видно из графика, использование главных компонент увеличивает процент обобщения данного классификатора до 82% уже при использовании только одного обучающего изображения.
Из результатов экспериментов можно заключить, что данный алгоритм позволяет однозначно идентифицировать личность с достаточно высоким процентом распознавания и обобщения за ощутимо короткое время. При увеличении числа тренировочных данных точность распознавания возрастает, а время увеличивается несущественно. Таким образом, данный алгоритм подходит для решения поставленной задачи разграничения доступа в систему.
Заключение
Предложен алгоритм, предназначенный для идентификации образов лиц, с применением нейросетевых технологий, а именно алгоритм распознавания образов лиц на основе нейронной сети свертки с предварительным выделением ключевой информации в виде главных компонент.
Данный алгоритм отличается тем, что позволяет с высокой вероятностью идентифицировать изображения лиц с небольшими изменениями освещения, масштаба, положения и эмоций.
За счет того, что признаки в нейронной сети свертки сканируются по всему изображению, алгоритм устойчив к деформациям. Благодаря набору параллельных карт признаков достигается устойчивость к внутриклассовым вариациям (очки, прически и т.д.), а за счет поиска и усреднения в окрестностях модель деформаций эластична.
A SOLUTION TO SYSTEM ACCESS PROBLEM BASED ON CONVOLUTIONAL
NEURAL NETWORK APPROACH
N.A. ISKRA
Abstract
The algorithm based on the principal components of the images as informative features extracting and convolutional neural network as a classifier is proposed. Experiments have shown partial invariance to the rotation, scaling and deformation, achieved through a hierarchical extraction of informative features. The resulting percentage of correct recognition rate of persons is up to 99%.
Список литературы
1. Bryliuk D., Starovoitov V. // Proc. of the 2nd International Conference on Artificial Intelligence, Crimea, Ukraine, 2002. P. 428.
2. Lawrence S., Giles C.L., Tsoi A.C. et. al. Face Recognition: A Hybrid Neural Network Approach // IEEE Trans. on Neural Networks. 1997. Vol. 8, №1. P. 98.
3. Хайкин С. Нейронные сети. Полный курс. Второе издание. Москва, Санкт-Петербург, Киев, 2006.
4. LeCun Y., Boser B., Denker J. // Advances in Neural Information Processing. 1999. P. 396.
5. The Database of Faces (formerly «The ORL Database of Faces»), AT&T Laboratories, Cambridge. [Электронный ресурс]. - Режим доступа: http://www.cl.cam.ac.uk/research/. - Дата доступа: 10.05.2013.
