CC BY
107
УДК 004.056.52
Р. И. Гумерова, А. О. Евсеева, А. С. Катасёв, А. П. Кирпичников
НЕЙРОСЕТЕВАЯ ТЕХНОЛОГИЯ РАСПОЗНАВАНИЯ РУКОПИСНЫХ СИМВОЛОВ
В СИСТЕМАХ БИОМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ И АУТЕНТИФИКАЦИИ
Ключевые слова: биометрическая идентификация и аутентификация, распознавание рукописного символа, многослойный
персептрон, сверточная нейронная сеть.
Данная статья посвящена разработке нейросетевой модели и нейросетевой системы распознавания десятичных рукописных символов. Произведен анализ классической и сверточной нейронных сетей. В основу модели лег многослойный персептрон, а в основу системы - сверточная нейронная сеть. Для реализации нейросетевой модели были использованы возможности аналитической платформы Deductor, а для построения нейросетевой системы была выбрана среда MatLab.
Keywords: biometric identification and authentication, hand-written character recognition, multilayerperceptron, convolutional neural network.
This article focuses on the development of neural network model and the neural network recognition system decimal characters. The analysis of classical and convolutional neural networks. The model formed of multilayer perceptron, and the system is based on a convolutional neural network. To implement neural network models have been used wherever possible with deductor analytical platform, and for building neural network systems has been selected MatLab.
Введение
В эпоху бурного роста информационных технологий актуальной задачей стало создание устойчивых систем идентификации и аутентификации личности. В настоящее время существует множество подходов к решению данной задачи. Лучших результатов смогли добиться биометрические системы идентификации и аутентификации [13,17]. Наиболее перспективным направлением в биометрии остается распознавание человека по его рукописному почерку [1,14].
Постановка проблемы
Проблема, возникающая при распознавании рукописного текста, обусловлена следующими факторами [10,15]:
- рукописный текст не стандартизирован в отличие от машинописного;
- рукописный почерк индивидуален и подвержен различным искажениям;
- текст, написанный от руки, обладает хаотичностью написания.
Есть много методов распознавания рукописных символов, в основе которых лежит свой алгоритм и свои принципы, но наиболее эффективным является нейросетевой метод распознавания рукописных символов [4]. Этот метод отличается быстродействием и способностью к самообучению. Одной из наиболее распространенных нейросетевых моделей является многослойный персептрон (полносвязная многослойная нейронная сеть) [3,5-9].
Нейросетевая модель
Для разработки нейросетевой модели распознавания рукописных символов была выбрана аналитическая платформа Deductor, так как в этом программном продукте сосредоточены самые современные методы интеллектуального анализа данных.
Была построена интеллектуальная модель распознавания рукописных символов, которая представ-
ляет собой полносвязную многослойную нейронную сеть [18]. В качестве обучающей выборки использована готовая база изображений MNIST, содержащая 60 000 обучающих и 10 000 тестовых изображений.
Для более эффективной работы нейросетевой модели был проведен корреляционный анализ [16]. Корреляционный анализ позволяет оценить зависимость выходных данных от входных факторов, позволяя тем самым устранить незначащие. Принцип подобного анализа состоит в поиске таких значений, которые в наименьшей степени коррелированы (взаимосвязаны) с выходным результатом. Критерием принятия решения об исключении является порог значимости.
В нашем случае порог значимости был выбран 0,3. Это позволило исключить некоторые входные параметры. До корреляционного анализа входных данных было 784 (изображение 28*28 пикселей), после анализа - 112.
Все этапы, связанные с разработкой нейронной сети, осуществлялись в специальном конструкторе многослойных нейронных сетей Deductor Studio Academic.
Использование нейроэмулятора в данной программе позволило быстро и просто создать многослойную нейронную сеть прямого распространения и получить готовую модель принятия решений в виде обученной нейронной сети [19]. Архитектура нейронной сети состоит из входного слоя с 112 нейронами, в скрытом слое - 10 нейронов и в выходном слое - 10 нейронов, каждый из которых соответствует одному рукописному десятичному символу.
Для того, чтобы нагляднее оценить результаты классификации, полученные с помощью разработанной модели нейронной сети была построена таблица сопряженности. Она показывает итоги сравнения категориальных значений выходного поля исходной (обучающей) выборки и категориальных
значении выходного поля, рассчитанных с помощью модели [20].
Однако полносвязная многослойная нейронная сеть не слишком хорошо подходит для решения реальных задач распознавания образов. Большая размерность входных изображений приводит к резкому увеличению числа нейронов и синапсических связей в такой сети. В результате сильно увеличивается время и вычислительная сложность процесса обучения, а в ряде случаев добиться сходимости такой сети вообще не удается. Кроме того, обычный персептрон игнорирует топологию входных данных, не учитывая четкую двумерную структуру изображений.
Сравнительный анализ работы разных типов нейронных сетей
Существуют так называемые сверточные нейронные сети, которые позволяют устранить выше упомянутые недостатки.
Использование сверточных нейронных сетей для распознавания изображений обусловлено двумя основными факторами:
1) снижение сложности нейронной сети и сложности ее обучения, в сравнении с классическим многослойным персептроном, что актуально в области обработки и анализа изображений;
2) повышение устойчивости распознавания к различным искажениям символов в сравнении с классическими нейронными сетями и другими методами классификации изображений.
Результаты распознавания рукописных цифр МКШТ разными типами нейронных сетей представлены в таблице 1.
Таблица 1 - Сравнительный анализ результатов распознавания рукописных цифр MNIST разными типами нейронных сетей
Тип нейронной сети Минимальная ошибка, % Максимальная ошибка, %
Многослойный персептрон 0,35 4,7
Сверточная нейронная сеть 0,23 1,7
В качестве входных данных была использована база изображений МК^Т. Изображения нормализованы по размеру и отцентрованы.
После построения архитектуры нейронной сети, ее необходимо обучить и протестировать.
Рис. 1 - Архитектура разработанной сверточной нейронной сети
На рисунке 2 наглядно продемонстрирована работа созданной системы. При помощи компьютерной мыши вводим цифру и получаем результат.
Данные взяты из исследований Яна ЛеКуна, ученного впервые предложившего сверточные нейронные сети для решений задач распознавания [2].
Нейросетевая система
В ходе анализа работы разных типов нейронных сетей было принято решение о построении нейросе-тевой модели на базе сверточной нейронной сети.
На рисунке 1 представлена архитектура сверточ-ной нейронной сети, реализующая распознавание десятичных рукописных символов.
В основе сверточных сетей лежат три механизма: локальное извлечение признаков, формирование слоев в виде набора карт признаков, подвыборка. Эти механизмы позволяют получать правильный результат, несмотря на искажения и масштабирование [11].
Рис. 2 - Пример работы нейросетевой системы для распознавания рукописных десятичных цифр
Из рисунка видно, что рукописный символ вводится внутри матрицы размерностью 28x28 пикселей, а результат распознавания выводится в правом нижнем углу.
Изучение характеристик построенной системы требуется для оценки ее устойчивости, т.е. способности правильно классифицировать входные образы в условиях изменения характеристик вводимых символов.
Для практического использования построенной нейросетевой модели требуется определение ее адекватности, т.е. соответствие тому, насколько точно она решает поставленную перед ней задачу определения рукописного символа [12].
Очень простой и часто используемый способ оценки адекватности заключается в том, что все имеющиеся данные, которые необходимо анализировать, разбиваются на две группы. Первая группа -исходные изображения, вторая - искаженные.
Все исходные изображения были верно распознаны системой.
В качестве искажений были использованы изменение масштаба вводимого символа (уменьшение или увеличение) и изменение наклона (влево или вправо).
В таблице 2 приведены результаты тестирования нейросетевой системы распознавания символа на искаженных изображениях, а именно сведения о вводимом символе, вид искажения, распознала ли его система или нет.
Таблица 2 - Результаты тестирования системы на искаженных изображениях
Символ Вид искажения Распознан
0 уменьшение неверно
увеличение верно
наклон вправо неверно
наклон влево неверно
1 уменьшение верно
увеличение верно
наклон вправо неверно
наклон влево верно
9 уменьшение верно
увеличение верно
наклон вправо верно
наклон влево неверно
Не все изображения были правильно распознаны. (см. рис. 3).
100 80 60 40 20 0
10С
73
100
85
69
б
д
Рис. 3 - Гистограмма верно распознанных рукописных символов (а - исходное изображение, б -уменьшение, в - увеличение, г - наклон вправо, д - наклон влево)
Из гистограммы видно, что увеличение символа не сказалось на результат работы системы. А вот такие искажения, как уменьшение и наклон символа сказались. При уменьшении система верно определила 73% от общего числа изображений, при наклоне вправо - 85%, при наклоне влево - 69%.
Рассчитаем эффективность разработанной си-N
стемы по формуле: Е = —- х100%, где Е - эффек-N
тивность системы, NB - количество верно распознанных символов, NO - общее количество введенных символов.
427
E =-х 100% = 85,4%.
500
Итак, эффективность разработанной нейросете-вой системы распознавания рукописных символов составила 85,4%.
Как показали результаты проведенных исследований, полученная нейросетевая система соответствует ожиданиям. Подобная система способна повысить эффективность биометрической идентификации и аутентификации, используя методы искусственного интеллекта.
Литература
1. А.М. Биометрические системы и идентификация человека // Lex Russica. - 2012. - Т. LXXI. - № 5. - С. 10641070.
2. Лекун Я., Зинин Ю. Практическое применение сверточ-ных нейронных сетей / Y. LeCun, К. Kavukcuoglu, С. Farabet. // Международный симпозиум по схемам и системам. - Париж: 2010. - С. 253-256.
3. Евсеева А.О., Катасёв А.С., Катасёва Д.В. Идентификация ботов в социальных сетях на основе нейросетевой модели // Информация и безопасность. - 2016. - Т. 19. -№ 4 (4). - С. 535-538.
4. Катасёв А.С. Математическое обеспечение и программный комплекс формирования нечетко-продукционных баз знаний для экспертных диагностических систем // Фундаментальные исследования. - 2013. - № 10 (часть 9). - С. 1922-1927.
5. Катасёв А.С., Катасёва Д.В. Разработка нейросетевой системы классификации электронных почтовых сообщений // Вестник Казанского государственного энергетического университета. - 2015. - № 1 (25). - С. 68-78.
6. Катасёв А.С., Катасёва Д.В., Кирпичников А.П. Нейросетевая диагностика аномальной сетевой активности // Вестник технологического университета. - 2015. -Т. 18. № 6. - С. 163-167.
7. Катасёв А.С., Катасёва Д.В., Кирпичников А.П. Нейросетевая диагностика аномальной сетевой активности // Вестник технологического университета. - 2015. -Т. 18. № 6. - С. 163-167.
8. Катасёв А.С., Катасёва Д.В., Кирпичников А.П. Нейросетевая технология классификации электронных почтовых сообщений // Вестник технологического университета. - 2015. - Т. 18. № 5. - С. 180-183.
9. Катасёв А.С., Катасёва Д.В., Кирпичников А.П. Нейросетевое прогнозирование инцидентов информационной безопасности предприятия // Вестник технологического университета. - 2015. - Т. 18. № 9. - С. 215-218.
10. Катасёв А.С., Катасёва Д.В., Кирпичников А.П., Гуме-рова Р.И. Нейросетевая модель распознавания рукописных символов в системах биометрической идентификации и аутентификации //Вестник технологического университета. - 2016. - Т. 19 №4; C. 122-126.
11. Петров С.П. Сверточная нейронная сеть для распознавания символов номерного знака автомобиля // Системный анализ в науке и образовании. - 2013. - №3 (21). -С. 66-73.
12. Солошенко А.Е., Витовтова О.В., Жилинкова Л.А. Обзор статистических методов биометрической идентификации личности // Российская наука и образование сегодня: проблемы и перспективы. - 2014. - №3 (2). - С. 78-80.
13. Гумерова Р.И., Катасёва Д.В., Катасёв А.С. Построение систем биометрической аутентификации на основе
а
в
г
нейросетевых моделей распознавания рукописных символов // Информация и безопасность. - 2016. - Т. 19. -№ 4 (4). - С. 531-534.
14. Катасёв А.С., Катасёва Д.В., Кирпичников А.П. Распознавание рукописных символов на базе искусственной нейронной сети // Вестник технологического университета. - 2015. - Т.18. - № 11. - С. 173-176.
15. Катасёв А.С., Катасёва Д.В., Кирпичников А.П., Семёнов Я.Е. Спам-фильтрация электронных почтовых сообщений на основе нейросетевой и нейронечеткой моделей // Вестник технологического университета. -2015. - Т.18. - №15. - С. 217-220.
16. Катасёва Д.В., Катасёв А.С., Кирпичников А.П., Абя-нов Б.Э. Нейронечеткая модель анализа и прогнозирования временных рядов // Вестник технологического университета. - 2016. - Т.19. - № 13. - С. 127-131.
17. Катасёв А.С., Катасёва Д.В., Кирпичников А.П. Нейросетевая биометрическая система распознавания
изображений человеческого лица // Вестник технологического университета. - 2016. - Т.19. - №18. - С. 135138.
18. Евсеева А.О., Катасёв А.С., Катасёва Д.В. Идентификация ботов в социальных сетях на основе нейросетевой модели // Информация и безопасность. - 2016. - Т. 19. -№ 4 (4). - С. 535-538.
19. Катасёва Д.В., Катасёв А.С. Фильтрация нежелательных почтовых сообщений на основе нейросетевой и нейронечеткой моделей // Информация и безопасность.
- 2016. - Т. 19. - № 4 (4). - С. 551-554.
20. Кашапов Н.Р., Катасёв А.С., Катасёва Д.В. Методы обнаружения скрытых каналов в протоколе HTTP c помощью нейронных сетей // Информация и безопасность.
- 2016. - Т.19. - № 4 (4). - С. 555-558.
© Р. И. Гумерова - магистрант кафедры систем информационной безопасности КНИТУ-КАИ, e-mail: [email protected]; А. О. Евсеева - магистрант кафедры систем информационной безопасности КНИТУ-КАИ, e-mail: [email protected]; А. С. Катасёв - канд. техн. наук, доц. кафедры систем информационной безопасности КНИТУ-КАИ, e-mail: [email protected]; А. П. Кирпичников - д-р физ.-мат. наук, профессор, зав. кафедрой интеллектуальных систем и управления информационными ресурсами КНИТУ, e-mail: [email protected].
© R. 1 Gumerova - Master Student of Information Security Systems Department, KNRTU named after A.N. Tupolev, e-mail: [email protected]; A. O. Evseeva - Master Student of Information Security Systems Department, KNRTU named after A.N. Tupolev, e-mail: [email protected]; A. S. Katasev - PhD, Associate Professor of Information Security Systems Department, KNRTU named after A.N. Tupolev, e-mail: [email protected]; А. P. Kirpichnikov - Dr. Sci, Prof, Head of Intelligent Systems & Information Systems Control Department, KNRTU, e-mail: [email protected].
