CC BY
125
Электронное научно-техническое издание
НАУКА и ОБРАЗОВАНИЕ
Эя Н?ФС 77 - 43211. Государственная регистрация №0421200025.155Н 1994-0408_
Использование комбинированной структуры искусственной нейронной сети для распознавания образов
77-30569/409197
# 03, март 2012 Стругайло В. В.
УДК 004.932
Россия, Московский автомобильно-дорожный государственный технический университет
Одним из актуальных и перспективных направлений для решения задач распознавания образов является применение искусственных нейронных сетей (ИНС).
В данной статье рассматриваются модели и сравниваются результаты распознавания образов на изображениях с помощью классических полносвязных трехслойных ИНС, основанных на алгоритме с обратным распространением ошибок. Первая модель представлена в виде отдельной ИНС с пятью выходными нейронами. Вторая модель представлена в виде комбинированной структуры, в которой каждая ИНС имеет по одному выходному нейрону и предназначена для распознавания одного класса объектов, но конечный результат распознавания в рамках модели определяется по порогу от выходов ИНС. С помощью рассматриваемых моделей распознаются по пять классов объектов представленных круглой, овальной, каплевидной, серповидной и нерегулярной геометрической формой.
Форма представления изображений
Изображения, используемые в обучающих примерах, были получены с помощью фотокамеры с различной разрешающей способностью. При фиксированной размерности изображений, содержащиеся в них образы, отличаются по размерам. В используемых при обучении и тестировании примерах каждое отдельное изображение содержит только один образ.
Используемые изображения являются растровыми и были представлены в полутоновой цветовой модели в диапазоне значений яркостей от 0 до 255. В таблице 1 приведены размерности используемых в обучении и тестировании изображений.
Таблица 1 - Размерность изображений
Размерность матрицы изображения Число элементов
64х64 4096
32х32 1024
16х 16 256
8х8 64
Элементы изображений построчно преобразовывались в линейные вектора имеющие вид
Л = Л': , , . .V; . . Л ; !,
где: L = N X /V, хг - ьый элемент вектора линейно представленного изображения.
В работе применяется нормирование значений элементов входных векторов X, подаваемых на ИНС по следующей формуле
где: а^ - нормированный элемент входного вектора; х^ - 7-ый элемент входного вектора; Ь - число элементов вектора.
Нормированный вектор имеет вид
я = [-1. .....
Используемые изображения представлены в различных диапазонах яркостей. Такое представление связано с тем, что ИНС вполне могут запоминать такие характеристики как фон, вместо свойств образов действительно представляющих интерес.
Так как, ИНС вполне могут запоминать такие характеристики как фон, вместо свойств образов действительно представляющих интерес. Для снижения влияния такого фактора использовались изображения с различным диапазоном яркостей как внутри одного класса, так и по всем примерам.
Структура ИНС
На рисунке 1 приведена структура отдельной ИНС с пятью выходами, распознающая соответствующее число классов объектов. В модели, основанной комбинированной структуре, используются ИНС с такой же структурой, но с одним выходным нейроном.
Рисунок 1 - Структура полносвязной нейронной сети
Модель на основе комбинированной структуры ИНС
Разработанная модель на основе комбинированной структуры для классификации образов показана на рисунке 2. В данной модели входной образ анализируется комбинацией ИНС. Каждая ИНС распознает один класс изображений. Из результатов работы ИНС выбирается максимальное значение Аг^тах(у) которое определяет класс объекта.
ИНС осуществляют преобразование входных данных, представляющих образ, которое можно представить следующим образом
где <р(а) - нелинейное преобразование входных данных ИНС определенной архитектуры, г - номер ИНС в комбинированной структуре.
Множество ИНС, задействованных в комбинированной структуре, можно представить в виде
где: К - число используемых ИНС.
В зависимости от решаемых задач, используемые в комбинированной структуре ИНС, могут иметь различные архитектуры. Таким образом, в общем случае комбинированная структура имеет вид:
где К - ИНС, J - число различных архитектур.
Рисунок 2 - Модель ИНС для классификации образов
Алгоритм обучения ИНС
В качестве алгоритма обучения выбрана процедура обратного распространения ошибки [9, 10].
Ошибка для обучающего примера Р определяется по формуле
где у^ - значение /-го выхода нейронной сети, N - номер выходного слоя, ^ - требуемое значение]-го выхода, Ь - число нейронов в выходном слое. Полная ошибка
где 2 - число примеров в обучающей выборке, Р - номер примера. Скорректированное значение веса определяется по формуле
дБ
Д№у = Ц
(2)
где - значения веса, между г-ым иу-ым нейронами двух слоев; г} - коэффициент скорости обучения равный 0<т<1.
В начале процесса обучения значение параметра задается в диапазоне 0,5 < ¡1 < 1. Далее для достижения минимума функции ошибки в процессе обучения значение параметра п уменьшается по следующей формуле
где а - функция уменьшения ¡г - коэффициента скорости обучения, I - номер итерации.
Значение весового коэффициента на следующей итерации определяется как
сумма текущего и вычисленного корректирующего значений по формуле
Выходные значения для первого слоя нейронов определяются по формуле
где - значения весов между входным вектором и первым слоем нейронов, щ -значения входного вектора, Ь - число элементов входного вектора.
Выходные значения для последующих слоев нейронной сети определяются по формуле
.71-1
где у, * - выход нейрона на предыдущем слое, т - число нейронов в предыдущем слое.
Вычисление производной ошибки зависит от того, в каком слое находится нейрон, для которого корректируется рассматриваемый вес. Производная ошибки для первого слоя
дБ
дич
дБ дБ ...
= — ■—^ = — ■ -Л ■■ . (3)
д5) д\\<1} дБ) 1 4 '
Производная ошибки для последующих слоев
дЕ дЕ дБ} дЕ
•ч Щ дшч где п - номер слоя.
Сумма влияет на общую ошибку только по отдельному нейрону у™. Производная, обозначающая поправку входной суммы нейрона
35,
■у.
,п-1
Представим поправку через переменную:
Учитывая, что ошибка для отдельного обучающего примера р определяется из формулы (1), получаем ошибку по нейрону у}. Для выходного слоя сети поправку имеет вид
Производная активационной функции нейрона
95
(6)
Функция активации должна быть дифференцируемой и нелинейной. В качестве функции активации используется логистическая функция
Производная логистической функции или по-другому сигмоида определяется по формуле
/'ВД = ЯА)-(1 Г&)) = У] ■ (1 -у}) =
-а5
Таким образом, из формул (4-8) определяется поправка выходного слоя сети
где N - номер выходного слоя.
Производная ошибки из (3) определяется по формуле
Скорректированные значения весов определяются по формуле где п - номер слоя.
Указанная в формуле (9) ошибка соответствует ошибке элемента выходного слоя сети. Однако ошибки элементов на предшествующих скрытых слоях не связаны непосредственно с целевыми выходными значениями. Весовые значения элементов в предшествующих скрытых слоях корректируются пропорционально их вкладу в величину ошибки последующего слоя, более близкого к выходу сети [10]. Вклад для элемента предшествующего выходному слою определяется от величины ошибки выходного
элемента и значения веса, соединяющего выходной и предшествующий элементы. Ошибка для элемента скрытого слоя определяется по формуле
где к - индекс элементов слоя посылающего ошибку, т - число нейронов в (п+1)-ом слое.
Таким образом, вычисляются поправки для выходного слоя, через которые выражаются поправки для следующего скрытого слоя. Аналогичным образом вычисляются поправки и для остальных скрытых слоев более низких уровней.
Алгоритм имеет меньшую эффективность, если изменения значений различных весов ощутимо отличаются, то есть, отличаются производные по весам. Для уменьшения влияния этой проблемы вводится параметр а, сглаживающий слишком большое изменение корректирующих значений весов [10]. Кроме того параметр а позволяет преодолевать небольшие локальные минимумы [9]. Таким образом, из формулы (10) корректирующее значение веса находится по формуле:
где п - номер слоя.
Схема использованного алгоритма обучения с обратным распространением ошибок показана на рисунке 3.
Рисунок 3 - Алгоритм обратного распространения ошибок
Результаты обучения и тестирования показаны на рисунках 4, 5.
Рисунок 4 - Результаты обучения ИНС
Рисунок 5 - Результаты тестирования ИНС
Более высокие результаты, как при обучении, так и при тестировании были получены с помощью модели на основе комбинированной структуры.
Литература
1. Томашевич Н.С., Томашевич Д.С., Галушкин А.И. Методы реализации инвариантности к аффинным преобразованиям при распознавании двумерных изображений// Информационные технологии. Приложение. 2001, № 1.
2. Srinivasa N., Jouaneh M. A neural network model for invariant pattern recognition// IEEE Transactions on signal processing. June 1992, Vol. 40, No. 6, pp. 15951598.
3. Widrow В., Winter R.G., Baxter R. A. Layered neural nets for pattern recognition// IEEE Transactions on acoustics, speech and signal processing. July 1988, Vol. 36, No. 7, pp. 1109-1118.
4. Томашевич H.C. Нейросетевые алгоритмы выделения признаков и распознавания объектов на 2D изображениях инвариантные к аффинным преобразованиям// Труды 8-ой Всероссийской конференции «Нейрокомпьютеры и их применение». Москва. Россия. 2002, с. 185-187.
5. Fukumi M., Omatu S., Takeda F., Kosaka T. Rotationinvariant neural pattern recognition system with application to coin recognition// IEEE Transactions on neural networks. March 1992, Vol. 3, No. 2, pp. 272-278.
6. Fukumi M., Omatu S., Takeda F., Kosaka T. Rotationinvariant neural pattern recognition system estimating a rotation angle// IEEE Transactions on neural networks. May 1997, Vol. 8, No. 3, pp. 568-581.
7. Сосулин Ю.Г., Фам Чунг Зунг. Нейросетевое распознавание двумерных изображений// Радиотехника и электроника. 2003, т. 48, № 8, с. 969-978.
8. Сосулин Ю.Г., Фам Чунг Зунг. Инвариантное распознавание изображений комбинированной нейронной сетью// Нейрокомпьютеры: разработка и применение. 2003, № 8-9, с. 29-37.
9. Чубукова И. А. Data Mining. Учебное пособие для ВУЗов. - М.: Бином-Пресс, Бином. Лаборатория знаний, Интернет-Университет Информационных Технологий, 2008. - 382с.
10. Каллан Роберт Основные концепции нейронных сетей. Пер.с англ. - М.: Вильямс, 2001. - 287с.
