CC BY
296
ВЕСТНИК ЮГОРСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
2015 г. Выпуск 2 (37). С. 87-89
УДК 004.855
НЕЙРОННЫЕ СЕТИ ГЛУБОКОГО ДОВЕРИЯ В СРАВНЕНИИ С МНОГОСЛОЙНЫМ ПЕРСЕПТРОНОМ
В. М. Татьянкин, И. С. Дюбко Введение
В настоящее время нейронные сети глубокого доверия входят в список 10 наиболее перспективных высоких технологий, которые в ближайшее время изменят человеческую жизнь. Большинство современных систем интеллектуальной обработки данных, разрабатываемых такими компаниями как Google, Microsoft, используют нейронные сети глубокого доверия, что подтверждает их высокий потенциал развития [1].
В России данная технология малоизвестна, поэтому в статье будет показаны значительные преимущества нейронных сетей глубокого доверия по сравнению с классическим подходом [2].
Постановка задачи
Обучить многослойный персептрон и нейронную сеть глубокого доверия. После обучений сетей, проверит качество работы на тестовой выборке.
Обучения нейронных сетей
В качестве обучающей и тестовой выборки выступает база изображений рукописных цифр MNIST [3]. Размер обучающей выборки - 60000 изображений, а тестовой - 10000 изображений. Данные изображения представляют собой картинку размером 28 на 28 пикселей, сам образ (цифра) на картинке не превышает размеров 20 на 20 пикселей. После отбора изображений, где образ соответствует размеру 20 на 20 пикселей, размер обучающей выборки составит 9700 изображений, а тестовой 1500 изображений.
Для обучений многослойного персептрона выберем архитектуру сети, представленную на рисунке 1.
Обрабатывающий
слой
Рисунок 1 - Архитектура многослойного персептрона
Входной слой представленного на рисунке 1 многослойного персептрона имеет 400 нейронов, то есть каждый нейрон отвечает за каждый пиксель изображения. Обрабатывающий слой содержит 1000 нейронов, это значение получено при использовании алгоритма описанного в [4]. Выходной слой содержит 10 нейронов, которые соответствуют цифрам от нуля до девяти. При обучении весовых коэффициентов будет использоваться модифицированный алгоритм обратного распространения ошибки, описанный в [5].
График ошибки обучения многослойного персептрона представлен на рисунке 2.
87
В. М. Татьянкин, И. С. Дюбко
Рисунок 2 - Ошибка обучения персептрона
Используя архитектуру нейронной сети, соответствующей минимальной ошибке, определим количество верно идентифицированных образов: для обучающей выборки это 92 %, для тестовой 82 %. Эти результаты являются хорошими, если учитывать, что идентифицируются рукописные цифры, которые даже человеку затруднительно распознать. Пример таких цифр приведён на рисунке 3, которые взяты из тестовой выборки.
Восемь Пять
Рисунок 3 - Рукописные цифры
Для обучения нейронных сетей глубокого доверия с архитектурой 400-300-200-10, используется алгоритм, описанный в [1]:
1. Предобучаем нейронные сети методом послойного обучения, используя автоэкодер-ный подход: обучаем каждый нейронный слой как авто ассоциативную нейронную сеть с целью минимизации суммарной ошибки реконструкции информации. Для обучения используется алгоритм обратного распространения ошибки.
2. Осуществляется точная настройка с использованием алгоритма обратного распространения ошибки:
• Конструируется авто ассоциативная сеть с входным слоем X, скрытым слоем Y и выходным слоем X.
3. Обучается автоассоциативная сеть, например, при помощи алгоритма обратного распространения ошибки (как правило не более 100 эпох) и фиксируются синаптические связи первого слоя W1.
4. Берется следующий слой и формируется автоассоциативная сеть аналогичным образом.
5. Используя настроенные синаптические связи предыдущего слоя W1, подаем входные данные на вторую автоассоциативную сеть и обучаем ее аналогичным образом. В результате получаются весовые коэффициенты второго слоя W2.
6. Процесс продолжается до последнего слоя нейронной сети.
7. Берется последний слой нейронной сети и обучается с учителем.
8. Обучается вся сеть для точной настройки параметров при помощи алгоритма обратного распространения ошибки.
88
Нейронные сети глубокого доверия в сравнении с многослойным персептроном
Обрабатывающие слои нейронной сети глубокого доверия выбраны случайным образом. После обучения нейронная сеть глубокого доверия верно идентифицировала 99 % обучающей выборки и 90 % тестовой выборки.
Заключение
Как показал численный эксперимент, нейронная сеть глубокого доверия способна запоминать почти всю обучающую выборку, при этом сохраняя обобщающие свойства, которые позволили верно идентифицировать 90 % неизвестных изображений. В то же время у многослойного персептрона результаты ниже, в среднем на 10 %. В связи с этим, подтверждается преимущество нейронных сетей глубокого доверия в сравнении с многослойным персептроном.
Литература
1. Головко, В. А. Применение нейронных сетей глубокого доверия для выделения семантически значимых признаков [Электронный ресурс] / В. А. Головко. - Режим доступа : http://libeldoc.bsuir.by/bitstream/123456789/4138/1/Применение%20нейронных%20сетей.PDF (дата обращения: 13.01.2015).
2. Головко, В. А. Нейронные сети: обучение, организация и применение : учеб. пособие для вузов [Текст] / В. А. Головко ; под общ. ред. А. И. Галушкина. - Кн. 10. - М. : ИПРЖР, 2000.
3. База изображений рукописных цифр MNIST [Электронный ресурс]. - Режим доступа : http://yann.lecun.com/exdb/mnist/ (дата обращения: 13.01.2015).
4. Татьянкин, В. М. Алгоритм формирования оптимальной архитектуры многослойной нейронной сети [Текст] / В. М. Татьянкин // Новое слово в науке: перспективы развития : материалы II междунар. науч.-практ. конф. - 2014. - С. 187-188.
5. Татьянкин, В. М. Модифицированный алгоритм обратного распространения ошибки [Текст] / В. М. Татьянкин // Приоритетные направления развития науки и образования : материалы III междунар. науч.-практ. конф. (Чебоксары, 04 декабря 2014 г.). - Чебоксары : ЦНС «Интерактив плюс», 2014 ; [Электронный ресурс]. - Режим доступа : http://interactive-plus.ru/e-articles/collection-20141204/collection-20141204-5263.pdf (дата обращения: 01.06.2015).
89
