CC BY
70
УДК 004.896
АВТОМАТИЗИРОВАННАЯ СИСТЕМА РАСПОЗНАВАНИЯ ПЕЧАТНЫХ СИМВОЛОВ НЕЙРОННЫМИ СЕТЯМИ ХЕММИНГА И ХОПФИЛДА
© 2015 И.В. Лёзина, А.В. Мазаев
Самарский государственный аэрокосмический университет имени академика С.П. Королёва (национальный исследовательский университет), г. Самара
Поступила в редакцию 30.07.2015
В статье описана разработанная авторами автоматизированная система распознавания печатных символов. В системе используются рекуррентные нейронные сети Хемминга и Хопфилда. Первая обучается стандартным алгоритмом обучения, вторая - по правилу Хебба и методом delta-про-екций. В статье проводится анализ результатов распознавания печатных символов. Ключевые слова: автоматизированная система, нейронная сеть, сеть Хемминга, сеть Хопфилда, распознавание, печатный символ, правило Хебба, метод delta-проекций.
Распознавание печатных символов является достаточно распространённой задачей, решение которой может быть применено в различных областях для оцифровки печатных документов в архивном деле, распознавания номерных знаков, в банковском деле - для проведения безналичных платежей. Для таких задач как нельзя лучше подходит использование интеллектуальных систем на основе нейронных сетей. В данной статье рассматривается использование нейронных сетей Хемминга и Хопфилда для распознавания печатных символов.
Сеть Хемминга и сеть Хопфилда относятся к классу рекуррентных нейронных сетей и представляют собой двух- или трехслойную сеть, один из слоев которой содержит в себе обратную связь типа «один ко многим».
Общую функцию выходного сигнала сети Хопфилда можно описать следующей формулой [1,2] (1):
N
y(t) = sgni ^w^Xj + Ь{ J,
(1)
входным вектором x и вектором, которому обучена система (количество битов, на которые отличается система), N - общее количество символов, которым обучена система.
На втором этапе сеть функционирует по принципу WTA (Winner Takes All)[1], запускается итерационный процесс, который может быть представлен в виде [1,2] (3):
у№
w£ys(t- 1)
yi(t-l)+2>
(3)
где Wj j-элемент матрица весовых коэффициентов сети; Xj- элемент входного вектора;
Сеть Хемминга обладает трехслойной структурой, процесс функционирования данной сети состоит из трех этапов. На первом этапе на вход сети подается вектор, необходимый для распознавания, выходной сигнал на этом этапе можно описать следующей формулой [1, 2] (2):
(2)
где
- расстояние Хемминга между
Лёзина Ирина Викторовна, кандидат технических наук, доцент кафедры «Информационные системы и технологии». E-mail: [email protected].
Мазаев Алексей Викторович, студент пятого курса факультета информатики. E-mail: mazaev.alexsey@
где IV™ - матрица весовых коэффициентов, у3(Х — 1}-состояние сети на предыдущем шаге.
Данный процесс продолжается до тех пор, пока состояние нейронов не стабилизируется, и активность будет проявляться только у одного нейрона, а остальные перейдут в нулевое состояние.
На третьем этапе, по номеру активного нейрона определяется вектор, который наиболее близко схож с заданным образом.
Входными данными для нейронов сети послужили бинарные вектора, описывающие изображение.
Сеть Хемминга обучалась стандартным алгоритмом. Первый и третий слои содержали в себе вектора, которым была обучена система. Процесс формирования матрицы весовых коэффициентов второго слоя можно описать следующей формулой [1, 2] (4):
Cm)
W. =
V
,
(4)
где Е, - случайная величина с достаточно малой амплитудой.
Главным элементом сети Хопфилда является матрица весовых коэффициентов. Существует
несколько алгоритмов формирования (обучения) данной матрицы. В данном исследовании матрица формировалась с помощью двух алгоритмов - правила Хебба и метода delta - проекций.
Правило Хебба - это классический алгоритм обучения нейронной сети Хопфилда. Смысл данного алгоритма заключается в последовательной подаче обучающих выборок на вход сети и формирования матрицы весов. Процесс формирования матрицы весов можно описать
следующей формулой [1,2] (5):
р
1
СО (О
wLi= — ? х х. : 4 NZ-, 1 J t=i
(5)
где t - количество обучающих выборок, подаваемых системе; х(Ч - обучающая выборка; N - количество входов нейронной сети. Благодаря такому режиму обучения веса принимают значения, определяемые усреднением множества обучающих выборок.
Метод Д-проекций является модифицированным алгоритмом проекций - это градиентная форма алгоритма минимизации целевой функции.
В соответствии с этим способом веса подбираются рекуррентно с помощью циклической процедуры, повторяемой для всех обучающих выборок [1, 2]:
W = w + — [ЛГ + WX] * ХТ, N
(6)
где -л - коэффициент обучения, выбираемый обычно из интервала [0.7 - 0.9]; Х - обучающий пример. По завершении подбора весов сети их значения «замораживаются», и сеть можно использовать в режиме распознавания.
Для решения поставленных задач было раз-
работано программное обеспечение, моделирующее работу нейронных сетей [3,4]. Функции системы наиболее полно можно представить с помощью диаграммы вариантов использования, разработанной по методологии UML, приведенной на рис. 1.
В системе реализована работа с печатными символами, пользователь может обучать систему, загружая образы из файла, или введя их с экрана. Перед обучением пользователь имеет возможность выбрать сеть, алгоритм обучения сети (в случае сети Хопфилда), задать коэффициент обучения (для сети Хопфилда, обучаемой по методу delta - проекций).
На рис. 2 представлен внешний вид программы.
Окно программы во время идентификации представлено на рис. 3. После ввода символа, сеть производит его идентификацию, и выдает информационное сообщение с результатом.
Система обучена 26 буквам латинского алфавита и 10 цифрам. С помощью системы [3, 4] было произведено исследование идентификационных возможностей сетей Хопфилда и Хемминга. В исследовании рассматривалась сеть Хопфилда, обученная двумя различными алгоритмами, а также сеть Хемминга. В качестве показателя качества идентификации нейронных сетей использовался процент верно распознанных символов. В исследовании использовалось 10 цифр арабского алфавита с различной степенью зашумленности.
Результаты исследования зависимости процента верно распознанных печатных символов в зависимости от типа сети представлены в табл. 1.
Из табл. 1 следует, что сеть Хопфилда, обученная методом delta - проекций справляется с задачей идентификации лучше, чем сеть Хопфилда, обученная по правилу Хебба. По своим
Рис. 1. Диаграмма вариантов использования системы
[4>\ АС "Распознавание Образов"
| К а -I
Загрузить выборки Статистика Справка
1 -ейронные сети | Образы системы |
(;) Сеть Хопфилда О Обучить образу методом delta-проекций О Обучить образу по правилу Хебба delta = 0 [jj О Распознать образ U Используя матрицу Хебба U Используя матрицу проекций О Сеть Хемминга О Обучить образу О Распознать образ □□□□□□□□□ □□□□□□□□□ □□□□□□□□□ □□□□□□□□□ □□□□□□□□□ □□□□□□□□□ □□□□□□□□□ □□□□□□□□□ □□□□□□□□□
[OKj
Рис. 2. Главное окно программы
[&J АС "Распознавание Образов"
Ё £3
Загрузить выборки Статистика Справка
[ Нейронные сети [ Образы системы |
® Сеть Хопфилда О Обучить образу методом delta-проекций
О Обучить обр □□□□□□□□ □□□□□□□□ □□□□□□□□ пппппппи
delta - 0 J О Распознать |_| Использ; О Использ О Сеть Хемминга Символ распознан и соответствует"1" V / Это так? | Да j [ Нет! j
О Обучить образу О Распознать образ
L^J
Рис. 3. Результат идентификации символа системой
2.
идентификационным качествам она схожа с сетью Хемминга. При сильном искажении образа сети могут путать между собой такие символы как 5 и 6, 3 и 8, 3 и 9, I и О и С, О и О. Наилучшие результаты при решении задачи идентификации система показала с цифрами 2 и 4, буквами Н, Б, Т и Ъ .
Из проведенного исследования можно сделать вывод, что сети Хопфилда и Хемминга обладают приемлемыми качествами идентификации.
СПИСОК ЛИТЕРАТУРЫ
1. Хайкин С. Нейронные сети: полный курс, 2-е издание [пер. с англ.]. М.: Издательский дом «Вильямс», 2006. 1104 с.
4.
Осовский С. Нейронные сети для обработки информации [пер. с польского И. Д. Рудинского]. М.: Финансы и статистика, 2002. 344с. Лезина И.В., Мазаев А.В. Автоматизированная система распознавания печатных символов нейронной сетью Хопфилда // Перспективные информационные технологии (ПИТ 2014): труды международной научно-технической конференции [под ред. С.А. Прохорова]. Самара: Издательство Самарского научного центра РАН, 2014. С. 58 - 61. Лёзина И.В., Мазаев А.В. Распознавание печатных символов нейронной сетью Хемминга, // Перспективные информационные технологии (ПИТ 2015): труды Международной научно-технической конференции [под ред. С.А. Прохорова]. Самара: Издательство Самарского научного цента РАН, 2015. С.85-88.
Таблица 1. Результаты исследования зависимости процента верно распознанных печатных символов в зависимости от типа сети
Символ Сеть Хопфилда, обученная по правилу Хебба Сеть Хопфилда, обученная методом delta - проекций Сеть Хемминга
0 70 90 90
1 70 90 90
2 80 100 100
3 60 90 90
4 70 100 100
5 70 90 90
6 60 90 90
7 70 90 80
8 60 90 90
9 60 90 90
A 70 90 90
B 70 90 90
C 80 90 80
D 60 90 90
E 70 90 90
F 70 90 90
G 60 90 80
H 70 100 100
I 60 90 80
J 60 90 80
K 70 100 90
L 70 90 90
M 70 90 90
N 70 90 90
O 60 90 80
P 60 90 90
Q 60 90 80
R 60 90 90
S 70 100 100
T 70 100 100
U 60 90 90
V 60 90 90
W 70 90 90
X 70 90 90
Y 70 90 90
Z 80 100 100
AUTOMATED SYSTEM OF RECOGNIZING THE PRINTABLE CHARACTERS BY NEURAL NETWORKS OF HOPFIELD AND HAMMING
© 2015 I.V. Lyozina, A.V. Mazayev
Samara State Aerospace University named after Academician S.P. Korolyov (National Research University)
The article describes an automated system developed for recognizing the printed symbols. The system uses recurrent neural networks of Hamming and Hopfield. The first one is trained by the standard learning algorithm, the second one - by the Hebb's rule and delta-projections. The article analyzes the results of the recognizing. Keywords: automated system, neural network, Hamming network, Hopfield network, pattern recognition, printable character, Hebb's rule, the method of delta-projections.
Irina Lyozina, Candidate of Technics, Associate Professor at the Information Systems and Technologies Department. E-mail: [email protected]
Alexey Mazayev, Fifth-Year Student of the Faculty of Computer Science. E-mail: [email protected]
