Модульный принцип обучения искусственных нейронных сетей на примере известных нейросетевых топологий Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.85

МОДУЛЬНЫЙ ПРИНЦИП ОБУЧЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ НА ПРИМЕРЕ ИЗВЕСТНЫХ НЕЙРОСЕТЕВЫХ ТОПОЛОГИЙ

© В.П. Рыков

Ключевые слова: искусственные нейронные сети; модульный принцип обучения.

Рассмотрена теоретическая эффективность модульного принципа обучения искусственных нейронных сетей на примере известных нейросетевых топологий.

Одной из основных задач практического использования искусственных нейронных сетей (ИНС) является их обучение, на которое зачастую необходимы значительные временные ресурсы. В то же время одним из преимуществ модульного принципа, наряду с гибкостью и качеством результатов, является ускорение процесса обучения нейронных сетей. Целью данной работы является демонстрация идеи модульного подхода к обучению на примере трех широко используемых нейросетевых топологий. Стоит отметить, что приведенные примеры являются теоретическими и служащими лишь для демонстрации идеи ввиду достаточно грубой декомпозиции нейронной структуры.

Полносвязный двухслойный персептрон. Для удобства расчетов будем считать, что количество искусственных нейронов в скрытых слоях совпадает с количеством нейронов входного. Кроме того, будем считать, что это количество четно [1]. Данную сеть мысленно будем делить на две равные части (рис. 1).

Количество весовых коэффициентов в данном случае можно получить по следующей формуле:

(1)

где А обозначает алгоритм подбора коэффициентов. Например, для метода полного сканирования:

Р = N ■ —

1 и \/иіі

(3)

где I - длина отрезка; к - шаг поиска.

Так как мы мысленно делим нейронную сеть на две равные части и т. к. количество нейронов в скрытых слоях равно количеству нейронов входного, то число весовых коэффициентов каждого из модулей можно найти по следующей формуле:

„і п \ п

Н- = 2 2 )+ Г

(4)

Следовательно, количество итераций при использовании модульного подхода к обучению и метода полного сканирования будет равно:

Р = 2| N ■ -

" т И

(5)

Следовательно, количество итерации, необходимое для обучения ИНС классическим подходом (полностью), составит:

Рассмотрим случай, когда число входных нейронов равно десяти. Тогда число весовых коэффициентов при обучении ИНС классическим подходом составит:

Р,, = N.. ■ А,

(2)

N. = 2 ■ІО2 +10 = 210.

№

(6)

Рис. 1. Полносвязный двухслойный персептрон

Будем считать, что поиск весовых коэффициентов осуществляется на отрезке [0;1] с шагом 0,01. Тогда число итерации для обучения сети составит:

Р = ^1° = 21000. № 0,01

(7)

Теперь рассмотрим случай, когда ИНС разделена пополам, и две половины учатся поочередно. Количество весовых коэффициентов в каждом модуле в соответствии с формулой (4) будет равно:

N. = 2,101 +10 = 55.

(8)

2

Количество нейронов

Рис. 2. Зависимость времени обучения от количества нейронов для полносвязного двухслойного персептрона

Соответственно, число итерации для обучения каждого из получившихся модулей методом полного сканирования составит:

Р = — = 5500. т 0,01

(9)

Таким образом, очевидно, что количество итераций, необходимое для обучения ИНС полностью, существенно больше, чем количество итераций, необходимое при обучении сети частями:

Р,, > 2Р

Juu т

(10)

На рис. 2 показана зависимость времени обучения от количества нейронов для полносвязного двухслойного персептрона.

ИНС, полученная по принципу построения Колмогорова. Аналогично рассмотрим нейронную сеть, построенную с использованием теоремы Колмогорова [2] (рис. 3).

Рис. 3. Представление функции двух переменных в виде ИНС-модели, полученной по принципу построения Колмогорова

Для функции п переменных количество весовых коэффициентов можно найти по следующей формуле [2]:

N1, = 4п + 4п +1.

№

(11)

В данном случае, аналогично рассмотренному выше примеру, мы мысленно разделим нейронную сеть на две равные части. Таким образом, число весов в каждом модуле составит:

N. = 4,21+ 4І 2) +1.

(12)

Снова рассмотрим вариант, когда число входных нейронов равно десяти, тогда количество весовых коэффициентов в полной сети составит:

N = 4-102 + 4-10 +1 = 441.

№

(13)

Количество итераций при обучении сети полностью методом сканирования на отрезке [0;1] с шагом 0,01:

і 441 Р = ы ■— = — = 44100.

М м И 0,01

(14)

При делении ИНС на модули в каждом из них количество входных нейронов будет равно пяти, тогда число весов в каждом модуле можно найти по формуле:

N = 4| 101 + 4! 10 | +1 = 121.

(15)

Соответственно, число итераций для каждого модуля:

(16)

Р = — = 12100

0,01

Очевидно, что, аналогично предыдущему случаю, количество итераций, необходимое для обучения ИНС

2

Количество нейронов

Рис. 4. Зависимость времени обучения от количества нейронов для ИНС, построенной по теореме Колмогорова

полностью, получается существенно больше, чем количество итераций при обучении сети частями:

Р,, > 2Р

Juu т

(17)

Зависимость времени обучения от количества нейронов приведена на рис. 4.

Нейронная сеть Ворда. Рассмотрим топологию ИНС Ворда. Пусть каждый из блоков скрытого слоя имеет число нейронов, равное числу нейронов входного слоя и равное п (рис. 5).

Тогда весовых коэффициентов можно найти по формуле:

NM = 2п + 2п + п.

(18)

Данную топологию, как следует из рис. 5, можно «разбить» на три модуля, два из которых представляют собой блоки нейронов скрытого слоя, а третий - связи входных нейронов с выходным.

Вновь рассмотрим случай, когда число входных нейронов равно десяти. Тогда количество итераций, необходимое для обучения сети, полностью методом сканирования на отрезке [0;1] с шагом 0,01 составит:

1Г і 2-102 + 2-10 +10

Р" = N ■- =---------------------------= 23000. (19)

№ И 0,01

1 №

Количество итерации при обучении блоков нейронов скрытого слоя:

50

001

= 5000.

(20)

Третий модуль сети, таким образом, составляет те веса, которые связывают нейроны входов с выходом, поэтому число итераций, необходимое для обучения данного модуля, составит:

Р , = — = 1000. 0,01

(21)

Рис. 5. ИНС Ворда

И вновь, аналогично прошлым примерам, количество итераций, необходимое для обучения ИНС полностью, получается существенно больше, чем количество итераций при обучении сети частями:

Р,, > 2Р,

Juu т1

+Р

(22)

На рис. 6 приведен график зависимости времени обучения от количества нейронов для ИНС Ворда.

Подытоживая вышесказанное, следует отметить, что на практике эффективность модульного принципа не будет столь значительной. Кроме того, практическое использование модульного принципа обучения подразумевает несколько нюансов и замечаний:

- модули ИНС следует обучать понемногу один за другим, идея модульного принципа заключается в постепенном подборе весовых коэффициентов относительно уже имеющихся значений;

- на практике осуществить декомпозицию нейронной структуры представляется затруднительным, тем более такую грубую, как в рассмотренных примерах, где буквально не учитывались коэффициенты, связывающие обучаемый модуль с необучаемыми.

Количество нейронов

Рис. 6. Зависимость времени обучения от количества нейронов для ИНС Ворда

Вообще говоря, практическое применение модульного подхода подразумевает необходимость уделить особое внимание проблеме декомпозиции структуры нейронной сети [3], которая будет исследоваться в дальнейшем. Стоит отметить, что эффективность модульного принципа обучения, выражающаяся в уменьшении количества итераций, была ранее проверена на практике [4].

ЛИТЕРАТУРА

1. Арзамасцев А.А., Рыков В.П. Модель искусственной нейронной сети с реализацией модульного принципа обучения // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2012. Т. 17. Вып. 4. С. 1219-1224.

2. Арзамасцев А.А., Зенкова Н.А. Искусственный интеллект и распознавание образов: учеб. пособие. Тамбов: ИМФИ ТГУ им. Г.Р. Державина, 2010.

3. Рыков В.П. О вариантах декомпозиции искусственных нейронных сетей для дальнейшего обучения с использованием модульного принципа // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 14211422.

4. Рыков В.П. Тестирование модульного подхода к обучения искусственных нейронных сетей на примере аффинного шифрования // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 1. С. 188-192.

Поступила в редакцию 20 ноября 2013 г.

Rykov V.P. MODULAR PRINCIPLE OF TRAINING OF ARTIFICIAL NEURAL NETWORKS EXAMPLES OF KNOWN NEURAL NETWORKS

Theoretical efficiency of the modular principle training of artificial neural networks by example of known neural networks is considered.

Key words: artificial neural networks; modular approach to learning.

Рыков Валерий Павлович, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, аспирант, кафедра компьютерного и математического моделирования, e-mail: kafedra_kmm@mail.ru

Rykov Valeriy Pavlovich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Postgraduate Student, Computer and Mathematical Simulation Department, e-mail: kafedra_kmm@mail.ru