CC BY
517
УДК 004.272
СЕТЬ ХЭММИНГА И ЕЕ ПРИМЕНЕНИЕ ДЛЯ РЕШЕНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ПОДПИСЕЙ
А.А. Ежов, А.С. Новиков
Рассмотрена архитектура нейронной сети Хэмминга. Описан алгоритм обучения. Приведено описание программы, использующей сеть Хэмминга для решения задачи распознавания подписей. Продемонстрированы результаты распознавания подписей.
Ключевые слова: сеть Хэмминга, расстояние Хэмминга, сеть Хопфилда, нейронная сеть, синаптическая связь, распознавание образов.
Нейронная сеть Хэмминга (Hamming Network) [1, 2] была предложена в 1987 г. Р. Липпманом. Она представляет собой релаксационную многослойную сеть с обратными связями между отдельными слоями. Сеть Хэмминга применяется в качестве ассоциативной памяти. При распознавании образов она использует в качестве меры близости расстояние Хэммин-га. Весовые коэффициенты и пороги сети Хэмминга определяются из условия задачи, поэтому такая сеть является нейронной сетью с фиксированными связями. Ключевой особенностью данной сети является тот факт, что она выдает на выходе не сами значения эталонного вектора, который в наибольшей мере похож на входной, а номер соответствующего эталонного образца.
Архитектура сети Хэмминга показана на рис. 1.
X w Е у
Рис. 1. Архитектура сети Хэмминга
56
Как видно из рис. 1, в сети имеется два слоя: первый является структурным компонентом сети прямого распространения, второй - компонентом сети Хопфилда. Сеть с прямыми связями вычисляет меру подобия между входным и эталонным образом, используя метрику Хэмминга. Сеть Хопфилда используется для разрешения возникающих конфликтов, когда входной образ является подобным нескольким эталонным образам, хранящимся в сети. При этом на выходе сети остается активным только один нейрон-победитель. Первый и второй слои состоят из К нейронов, при этом величина К равна количеству эталонных образов, запоминаемых сетью. ВекторX (хи /=1,2,...М) определяет поданный на вход сети зашум-ленный образ. Значения входных переменных принадлежат множеству {-1;1}. Матрица Ж размерностью КхМ содержит величины синаптических связей сети прямого распространения, матрица Е размерностью КхК хранит значения синаптических связей нейронов сети Хопфилда. Функция активации нейронов - пороговая.
Общая постановка задачи, решаемой сетью Хэмминга, может быть следующей. Имеется исходный эталонный набор образов, предназначенный для обучения сети. Каждый из образов представлен в виде бинарного вектора и имеет соответствующий класс. Необходимо произвести сопоставление поданного на вход нейронной сети зашумленного образа со всеми эталонными паттернами и сделать вывод о его принадлежности к тому или иному классу, либо о невозможности его классификации.
Жизненный цикл сети Хэмминга состоит из двух основных этапов: обучение и практическое использование [3]. Ниже рассмотрим оба этих этапа подробнее.
Обучение. Процесс обучения сети Хэмминга сводится к выполнению следующей последовательности действий
1. Сформировать матрицу эталонных образов
в
" X1 " х| х2 • " хМ
X2 = х2 х| • 2 хМ
_ X К _ _ хК хК • К хМ
(1)
2. С помощью полученной матрицы в вычислить матрицу весовых коэффициентов Ж сети прямого распространения
=2 ;1 е[1, К],] е[1,м].
(2)
3. Определить вид активационной функции. В качестве функции активации для нейронных элементов сети Хопфилда может быть использована пороговая функция, определяемая в соответствии с выражением
Г0, г < 0,
f (г) = Г л (3)
[г, г > 0.
Пороговая величина нейронов Т определяется по формуле
^ = М. (4)
2
4. Задать значения синапсов обратных связей нейронов сети Хоп-филда в виде матрицы Е, каждый элемент которой определяется в соответствии с выражением
ет = I1,7 = Р, ] е[1,К], р е[1,К], (5)
^ [-8, ] Р р;
где 8 - абсолютное значение веса синаптической связи между нейронами
сети Хопфилда, лежащее в интервале ее (0,—].
К
Формула (5) имеет определенный смысл. Согласно ей вес обратной связи одного и того же нейрона с самим собой положителен и равен единице, а веса связей этого нейрона с остальными нейронами сети Хопфилда отрицательны и равны - 8. Таким образом, можно сказать, что эти нейроны соединены ингибиторными или тормозящими синапсами.
5. Установить максимально допустимое значение нормы разности векторов выхода сети Етах на двух последовательных итерациях. Обычно достаточно принять Етах=0,1.
Практическое использование. Распознавание неизвестного образа производится согласно следующим этапам.
— *
1. На вход сети подать распознаваемый вектор X .
2. Рассчитать состояния Ё нейронов первого слоя по формуле
м *
] = I + Т; ] е [1, К ]. (6)
г=1
3. Рассчитать значения выходов нейронов первого слоя У1, используя в качестве аргумента функции активации (3) полученные в п. 2 значения состояний соответствующих нейронов.
4. Выходам нейронов второго слоя У2 присвоить полученные в п. 3 значения У . Эти значения будут использованы как начальные для инициализации итерационного процесса распознавания
У2(0) = У1. (7)
5. Организовать итерационный процесс, на каждом этапе которого рассчитываются новые значения состояний и выходов нейронов сети
Хопфилда. Новые состояния нейронов +1) рассчитываются по
формуле
4Г} = ^-е I у2др; 3 * [1,К]. (8)
Р=1
р * 3
Новые значения выходов нейронов 7^+1) вычисляются путем применения активационной функции (3) к вектору состояний +1).
6. Итерационный процесс в п. 5 повторяется до выполнения условия стабилизации
7 ^+1) - 7 ^ 72 72
£ Етах. (9)
В результате выполнения всех этих этапов на выходе сети в идеальном случае должен получиться вектор с одним положительным и всеми остальными нулевыми элементами. Индекс положительного элемента укажет номер эталонного образа, в наибольшей мере соответствующего входному сигналу. Но, как часто бывает, входной образец может быть очень сильно зашумлен, и на выходе сети могут появиться несколько положительных значений. В таком случае обычно считают, что сети не удалось однозначно классифицировать входной образ.
Использование сети Хэмминга для решения задачи распознавания подписей. Сеть Хэмминга может быть использована для решения задачи распознавания подписей. Сначала сети для обучения предъявляются эталонные подписи, представленные в виде бинарных векторов. После того, как на основе предъявленных образцов будут рассчитаны коэффициенты матрицы Ж и порог Т, на вход сети подается неизвестный образец подписи и начинается итерационный процесс распознавания, завершающийся после выполнения условия стабилизации (9).
Перед тем, как обучить сеть на эталонных образах, необходимо провести предварительный анализ исходных изображений с целью их преобразования в бинарные вектора, так как сеть Хэмминга работает только с ними.
Преобразование изображения в бинарный вектор можно осуществить по принципу скользящего окна: имеется окно, перемещающееся по всему изображению подписи сверху вниз и анализирующее определенные его участки путем подсчета количества темных пикселей. Для того, чтобы определить, является ли текущий анализируемый пиксель темным, необходимо выполнить преобразование в оттенки серого по формуле [4]
7' = 0,3Я + 0,590 + 0,115, (10)
где 7 - полученное значение пикселя в градациях серого (0-255); Я, О, В -соответствующие цветовые компоненты анализируемого пикселя.
После того, как было получено значение 7 , необходимо сравнить его с некоторым пороговым значением Р и проверить следующие условия.
1. Если 0 £ У £ Р, то соответствующий пиксель считать темным.
2. Если У > Р, пиксель считать светлым. В системе используется значение Р=90.
Количество «прыжков» V (по сути равное количеству элементов М бинарного вектора), которое должно проделать скользящее окно, для того, чтобы проанализировать все изображение, будет определяться размером самого окна г и высотой И исходного изображения
V = - (11)
г
В данном случае И=160 (используются изображения размером 160x160 пикселей), тогда величина V будет определяться согласно формуле
V = 160. (12)
г
Меняя размер окна г, можно будет изменять точность анализа изображения. Например, если г=1, то будет проанализирована каждая строка изображения и рассчитано количество темных пикселей в ней, а если г=4, то будет проанализировано каждые 4 строки изображения и уже в этом объеме данных вычислено количество темных пикселей. При каждом /-ом перемещении скользящего окна по изображению подписи должно быть определено соответствующее количество темных пикселей N
После того, как будет проанализировано все изображение, потребуется выполнить последний этап - преобразовать полученные значения N подписи в соответствующий бинарный вектор. Для того, чтобы определить, какое значение (1 или -1) необходимо поставить в соответствие той или иной величине И, необходимо сравнить её с пороговой величиной Ь.
1. Если И/ > Ь, то /-му элементу бинарного вектора подписи присваивается значение «1».
2. Если И/ < Ь, то /-му элементу бинарного вектора подписи присваивается значение «-1».
Таким образом, для всех эталонных подписей можно определить соответствующие им бинарные вектора, которые в дальнейшем будут использованы для обучения сети и распознавания неизвестных образцов.
Для реализации описанного выше механизма была разработана и отлажена программа распознавания подписей, в основе которой лежит сеть Хэмминга. Главное окно программы показано на рис. 2.
На рис. 3 показано окно распознавания подписи.
На рис. 4 показаны образцы эталонных подписей, используемых для обучения сети.
Рис. 2. Главное окно программы распознавания подписей
Рис. 3. Окно распознавания подписи
а б в
Рис. 4. Подписи, используемые для обучения сети
61
Сеть Хэмминга обучалась на подписях рис. 4 при варьирования двух основных параметров: размера скользящего окна г и пороговой величины Ь. Эффективность распознавания неизвестных образцов проверялась на подписях, показанных на рис. 5.
а б в
Рис. 5. Подписи для тестирования сети
Как видно из рис. 5, подписи 5, а, 5, б и 5, в являются вариациями эталонной подписи 4, в.
Результаты проведенных экспериментов сведены в таблицу. В данной таблице символ «х» означает, что сети не удалось классифицировать входной образец.
Результаты распознавания подписей сетью Хэмминга
№ п/п Параметры окна Результаты распознавания
г Ь Подпись
рис. 5, а рис. 5, б рис. 5, в
1 2 5 + + +
2 4 10 + + +
3 6 15 + + +
4 8 20 + + +
5 10 25 + + +
6 12 30 + + +
7 14 35 + + +
20 40 100 + х +
30 60 150 х х х
Как видно из таблицы, параметры г и Ь изменялись по линейным законам
г = 2 х, Ь = 5х. (13)
Всего было проведено 30 экспериментов. При использовании одних комбинаций этих параметров для обучения сети результаты распознавания полностью совпадали с ожидаемыми, в случае использования других ком-
62
бинаций на выходе сети формировалось несколько положительных значений, что делало невозможным точную классификацию входного образа. Это, очевидно, можно объяснить тем, что при использовании той или иной пары параметров r и L формировалась матрица эталонных образов Q, в которой все строки достаточно мало отличались друг от друга, поэтому поданный на вход образец не мог быть отнесен к какому-либо одному классу. Для того, чтобы добиться корректного распознавания сетью подаваемых образцов, необходимо экспериментально выявлять оптимальные параметры обучения, благодаря которым в матрице Q строки будут хорошо отличаться друг от друга.
В конечном счете, можно установить, что при выборе аргумента x на интервале [1, 7] для расчета параметров обучения r и L по формуле (13) результаты решения поставленной задачи распознавания заданных подписей будут демонстрировать эффективную работу обученной сети Хэммин-га. В случае использования других значений аргумента для заданных линейных зависимостей могут наблюдаться ошибки распознавания и нестабильности выходов сети. Чтобы это исключить, можно экспериментально проверить эти значения, обучая сеть, или выбрать другие зависимости, а затем проверить вычисленные по этим зависимостям параметры.
Список литературы
1. Головко В. А. Нейронные сети: обучение, организация и применение. Кн. 4: учеб. пособие для вузов / под общ. ред. А.И. Галушкина. М.: ИПРЖР, 2001. 256 с.
2. Нейронная сеть Хэмминга [Электронный ресурс] // Wikipedia: свободная энциклопедия: [сайт]. [2016]. URL: https://ru .wikipedia.org/wiki/ Нейронная сеть Хемминга (дата обращения: 30.09.2016).
3. Нейронные сети Хэмминга [Электронный ресурс] // Портал искусственного интеллекта: [сайт]. [2015]. URL: http://neuronus.eom/nn/38-theory/971 -nejronnye-seti-khemminga.html (дата обращения: 30.09.2016).
4. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. 1104 с.
Ежов Александр Александрович, магистр, [email protected], Россия, Тула, Тульский государственный университет,
Новиков Александр Сергеевич, канд. техн. наук, доц., [email protected], Россия, Тула, Тульский государственный университет
HAMMING NETWORK AND ITS APPLICA TION TO SOL VE THE PROBLEM OF
RECOGNITION OF SIGNA TURES
A.A. Ezhov, A.S. Novikov 63
The architecture of the neural network of the Hamming, described learning algorithm, a description of the program, which uses Hamming network to solve the problem of recognition of signatures, demonstrated recognition of signatures.
Key words: the Hamming network, Hamming distance, Hopfield network, neural network, synaptic communication, pattern recognition.
Ezhov Alexander Alexandrovich, master, [email protected], Russia, Tula, Tula State University,
Novikov Alexander Sergeyevich, сandidate of technical sciences, docent, [email protected], Russia, Tula, Tula State University
УДК 681.3.07
ДУАЛЬНЫЙ ПОДХОД К ФОРМИРОВАНИЮ ВНУТРЕННИХ
ОБРАЗОВ ПРИ ВОСПРИЯТИИ ЭЛЕКТРИЧЕСКИХ И МАГНИТНЫХ ПОЛЕЙ ИСКУССТВЕННЫМИ ЖИВЫМИ
МАШИНАМИ
Е.А. Семенчев
Рассматривается один из возможных подходов к формированию внутренних образов внешних полей интеллектуальными беспилотными машинами методом декомпозиции по двойственным парам. Данный подход способен осуществлять анализ и контроль потребностей объекта в процессе функционирования, например, потребности в собственной безопасности. Предложена схема концептуальной модели подсистемы формирования образов внешних объектов.
Ключевые слова: двойственная пара, декомпозиция по двойственным парам, автономные машины, самосохранение, образы полей объектов.
Наличие подсистемы самосохранения в автономных искусственных живых машинах (ИЖМ) обусловлено естественной необходимостью обеспечивать своевременную и адекватную реакцию на опасные изменения в окружающей среде и во внутреннем состоянии. Особенно, если возникшая ситуация способна нарушить функционирование или привести к полному разрушению машины или окружающих объектов во время выполнения поставленной задачи.
Как показано в [1], метод декомпозиции по двойственным парам является одним из универсальных подходов к изучению и построению внутренней организации ИЖМ. В данной работе предложен возможный подход к формированию ИЖМ внутренних образов внешних объектов, обладающих электрическими и магнитными полями. основанный на методе декомпозиции объектов по двойственным парам (ДП).
64
