Обучающая выборка в задаче распознавания образов при использовании нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

ВЕСТНИК ЮГОРСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА

2015 г. Выпуск 2 (37). С. 94-98

УДК 004.93

ОБУЧАЮЩАЯ ВЫБОРКА В ЗАДАЧЕ РАСПОЗНАВАНИЯ ОБРАЗОВ ПРИ ИСПОЛЬЗОВАНИИ НЕЙРОННЫХ СЕТЕЙ

В. М. Татьянкин, И. С. Дюбко Введение

В настоящее время не существует сферы человеческой деятельности, где бы ни применялись технологии распознавания образов или не планировалось применение. В качестве примера можно привести медицину, где по симптомам определяют болезнь, банковское дело, где принимается решение о выдаче кредита и т. д.

Одним из эффективных инструментов, применяемых для решения задач распознавания образов, являются нейронные сети [1]. При использовании нейронных сетей требуется выполнения двух этапов: формирование обучающей выборки и процесс обучения нейронной сети. Несмотря на свою простоту, первый этап является определяющим для качественного обучения нейронной сети.

Для демонстрации этого утверждения рассмотрим классическую задачу распознавания образов, заключающуюся в идентификации символов как рукописных, так и печатных. При этом подходы, которые используются для решения классической задачи, являются универсальными, то есть возможно применение для решения в других задачах распознавания образов.

Постановка задачи

Имеется база изображений рукописных цифр (ноль и один), приведённая к бинарному виду [2]. Размер каждого изображения 20 на 20 пикселей, например, цифра один выглядит следующем образом (рисунок 1):

Рисунок 1 - Изображение цифры один

математически это представляется в виде матрицы:

;о ... 1

Image(t)ij =

1

о

, i = 1... 20, j = 1.. .20,

(1)

где Imageij - бинарная матрица, состоящая из i строк и j столбцов, описывающая цифру один, t - номер изображения.

Всего изображений 1783 в том числе:

• 1702 нулей;

• 81 единица.

Требуется обучить нейронную сеть, которая смогла бы по изображению идентифицировать цифру, то есть ноль, либо один.

Решение задачи

Для решения задачи будем использовать многослойную нейронную сеть с одним скрытым слоем и сигмоидными функциями активации, представленную на рисунке 2.

94

Обучающая выборка в задаче распознавания образов при использовании нейронных сетей

Обрабатывающий

слой

Для обучения весовых коэффициентов и выбора количества элементов в скрытом слое будем использовать модифицированный алгоритм обратного распространения ошибкии Алгоритм формирования оптимальной архитектуры многослойной нейронной сети [3, 4].

Для формирования обучающие выборки и, соответственно, входного слоя нейронной сети рассмотрим три варианта:

Вариант № 1

Размер обучающей выборки равняется количеству пикселей в изображении, то есть 400(20x20), соответственно, каждый нейрон входного слоя отвечает за один пиксель:

■ Ттаде( 1)1Д Image(2000)1Д '

Training it =

/mage (1) 1,20 lmage(1)20,i

Image (2000) 120 Image (2000) 201 ’

_Image (1)20,20 Image(2000)2o,2o-

(2)

где Trainingit - обучающая выборка,

i=1...400 - количество нейронов входного слоя, t - количество обучающих выборок.

Изображения Image(t)ijотсортированы в следующем порядке: при t=1...81, изображение соответствует единице, остальные, при t=82...1783, - нулю.

Эталонные значения выберем произвольным образом из интервала (0:1), так как это множество значений, которые принимает функция активации нейронов, например:

Italont

0.9, если символ соответствует нулю 0.1, если символ соответствует единицы'

(3)

Для обучения будем использовать ЭВМ со следующими характеристиками:

• частота процессора - 2500 гц;

• оперативная память - 2 гб;

• операционная система - windows7, 64 бит.

Время работы алгоритма обучения соответствует 600 секундам (10 минут).

На рисунке 3 представлен график ошибки обучения нейронной сети в зависимости от времени:

95

В. М. Татьянкин, И. С. Дюбко

Рисунок 3 - График ошибки обучения нейронной сети

Как видно из рисунка 3, минимальная ошибка обучения, достигнутая при обучении, равняется 0.3. Используя архитектуру нейронной сети соответствующей минимальной ошибке, определим количество верно идентифицированных образов (выборка для теста соответствует обучающей), согласно следующему правилу:

0, если значение нейронной сети > 0.5, (4)

1, если значение нейронной сети < 0.5. (5) Получаем 1761 положительных результатов (98,7%), проанализировав полученные результаты, можно сделать вывод, что он распознал верно все нули, в то же время некоторые единицы не верно.

Вариант № 2

Изменим расположение значений в обучающей выборке: изображения /rna^e(t)j,y при t=1...1702, соответствуют единице, остальные, при t=1703...1783, - нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

Рисунок 4 - График ошибки обучения нейронной сети

96

Обучающая выборка в задаче распознавания образов при использовании нейронных сетей

Используя архитектуру нейронной сети, соответствующей минимальной ошибке (0.4), определим количество верно идентифицированных образов. Получаем 1699 положительных результатов (95,2 %), проанализировав полученные результаты, можно сделать вывод, что он распознал верно все единицы, в то же время нули не все верно. Логично предположить, что на качество обучения и соответственно на идентификацию, влияет расположение изображений в обучающей выборке.

Вариант № 3

Изменим расположение значений в обучающей выборке: изображения Image^t)^у, при t=1...2n+1 n=1...81, соответствуют единице, остальные нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

Рисунок 5 - График ошибки обучения нейронной сети

Используя архитектуру нейронной сети, соответствующей минимальной ошибке (1.45), определим количество верно идентифицированных образов. Получаем 1774 положительных результатов (99,5%), то есть чередование отличных друг от друга символов в обучающей выборке позволило повысить качество идентификации изображения.

Вариант № 4

Рассмотрим ещё один вариант формирования обучающей выборки: изображения /таде^^упри t=1...2n+1 n=1...1702, соответствуют единице, остальные нулю.

Не меняя параметры обучения, получаем следующий график ошибки обучения нейронной сети:

Рисунок 6 - График ошибки обучения нейронной сети

97

В. М. Татьянкин, И. С. Дюбко

Используя архитектуру нейронной сети соответствующей минимальной ошибке (2.2), определим количество верно идентифицированных образов. Получаем 1779 положительных результатов (99,8 %), что позволяет использовать данную нейронную сеть на практике.

Заключение

В результате численных экспериментов была показана важность формирования обучающей выборки при обучении нейронных сетей. При различных вариантах формирования обучающей выборки, ошибка распознавания символов изменялась от 4,5 % до 0,2 %. По результатам проделанной работы, можно сделать следующею рекомендацию:

1. Длина обучающей выборки определяется согласно следующему выражению:

L = п*т, (6)

где n - количество образов для распознавания;

m - максимальное количество одного образа.

2. Формировать выборку для обучения нужно чередуя различные образы.

Литература

1. Головко, В. А. Нейронные сети: обучение, организация и применение : учеб. пособие для вузов [Текст] / В. А. Головко ; под общ. ред. А. И. Галушкина. - Кн. 10. - М. : ИПРЖР, 2000.

2. База изображений рукописных цифр MNIST [Электронный ресурс]. - Режим доступа : http://yann.lecun.com/exdb/mnist/ (дата обращения: 13.01.2015).

3. Татьянкин, В. М. Модифицированный алгоритм обратного распространения ошибки [Текст] / В. М. Татьянкин // Приоритетные направления развития науки и образования : материалы III междунар. науч. - практ. конф. (Чебоксары, 04 декабря 2014 г.). - Чебоксары : ЦНС «Интерактив плюс», 2014 ; [Электронный ресурс]. - Режим доступа : http://interactive-plus.ru/e-articles/collection-20141204/collection-20141204-5263.pdf (дата обращения 01.06.2015).

98