Информационные процессы обучения искусственных нейронных сетей методом полного сканирования и аналитическая модель параллельной версии этих процессов Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.9

DOI: 10.20310/1810-0198-2016-21-1-142-145

ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ ОБУЧЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ МЕТОДОМ ПОЛНОГО СКАНИРОВАНИЯ И АНАЛИТИЧЕСКАЯ МОДЕЛЬ ПАРАЛЛЕЛЬНОЙ ВЕРСИИ ЭТИХ ПРОЦЕССОВ

© О.В. Крючин

Описаны параллельные методы обучения искусственных нейронных сетей при помощи полного сканирования. Приводится аналитическая модель информационных процессов для этих методов.

Ключевые слова: аналитическая модель; информационные процессы; параллельные методы; искусственные нейронные сети.

Как известно, при подборе весовых коэффициентов ^ искусственной нейронной сети (ИНС) методом полного сканирования происходит перебор всех возможных вариантов их значений. При этом значение i -го весового коэффициента на I -й итерации вычисляется по формуле:

„(I ) = /

i

l т

mod

- + 1

= 0, L, -1

(1)

где , 1ц - нижний и верхний пределы, а si - шаг сканирования i -го весового коэффициента, - размерность вектора весовых коэффициентов,

вого (ведущего), перебирает JF вариантов, а нулевой -JF . Значения JF и JF вычисляются по формулам:

J Т,

n

n -1

JF I JF'

mod n = 0;

mod n Ф 0,

IF mod n = 0;

IF - JF (n -1), IF mod n Ф 0.

(4)

(5)

s(i)=

w-1

П

j=i+1

l1j - l0j

i = iw -1;

^ i<lw - 1.

(2)

+ 1

Общее количество итераций вычисляется по формуле:

-1/

П

/ l1i - l0i \ + 1

V . si . У

(3)

Использование подобного метода обучения приводит к необходимости задействовать значительное число элементов информационных ресурсов (ИР-элементов) - вычислительных узлов кластерной системы или процессоров суперкомпьютера. Применение большого числа ИР-элементов, в свою очередь, требует адаптировать метод обучения. Так, при использовании п ИР-элементов каждый из них, за исключением нуле-

На рис. 1-2 представлены блок-схемы алгоритма для управляющего и неуправляющего ИР-элемента, соответственно, порядок выполнения информационного процесса для ведущего ИР-элемента следующий [1-2]:

1) формирование п — 1 структур для неуправляющих ИР-элементов;

2) рассылка ИНС-структур на все используемые ИР-элементы;

3) перебор всех возможных вариантов из имеющихся на данном ИР-элементе и выбор оптимального набора весовых коэффициентов и связанной с ним погрешности;

4) получение с ИР-элементов подобранных весовых коэффициентов и соответствующих им значений невязки;

5) выбор наименьшего значения невязки и установка в ИНС соответствующих ему весовых коэффициентов.

Для неуправляющего ИР-элемента порядок выполнения информационного процесса другой:

- получение структуры;

- перебор всех возможных вариантов и выбор оптимального набора весовых коэффициентов и связанной с ним погрешности;

- отправка на управляющий ИР-элемент весовых коэффициентов и погрешности [3].

F

F

F

V

I

F

i=0

Рис. 1. Блок-схема информационного процесса обучения, запущенного на ведущем (управляющем) ИР-элементе при использовании метода полного сканирования

Для оценки эффективности этих процессов разработана аналитическая модель.

Количество мультипликативных операций, которые производит последовательный алгоритм полного сканирования, можно записать следующим образом:

Рис. 2. Блок-схема информационного процесса обучения, запущенного на неведущем (неуправляющем) ИР-элементе при использовании метода полного сканирования

wF=Zе ^+ 2о/

(6)

где 2е - количество операций, необходимых для последовательного вычисления невязки

N-1 N-1 Р-1

Ий - у? = N-(7)

>■=0 ¿=0

е = — > Ы

N .=0

где е , - > -е выходные вектора моделируемого объекта и ИНС; N - количество строк в обучающей выборке; Р - количество выходов объекта (размерность векторов е и У ); ^ - число итераций алгоритма (информационный процесс раз выполняет

вычисление невязки, а для организации цикла ему требуется 21 р операций - по 2 на каждой итерации, вперед и назад) [2].

Для приведения аддитивных операций к мультипликативным введен о -коэффициент, который прямо пропорционален времени, затрачиваемому на одну мультипликативную операцию, и обратно пропорционален времени, затрачиваемому на одну аддитивную (мультипликативная операция занимает в о раз больше времени, чем аддитивная и, следовательно, одну мультипликативную операцию можно заменить на о аддитивную и наоборот) [4].

Для вычисления количества мультипликативных операций, производимых информационными процессом полного сканирования, необходимо рассмотреть этапы, из которых он состоит:

1) инициализация;

2) передача данных с ведущего ИР-элемента (элемента информационного ресурса, в качестве которого может выступать узел кластерной системы или компьютер вычислительной сети) на прочие;

3) перебор значений весовых коэффициентов, принадлежащих данному ИР-элементу;

4) передача данных со всех ИР-элементов на ведущий;

5) выбор ведущим ИР-элементом оптимальной конфигурации.

На первом этапе на ведущем ИР-элементе происходит 21к аддитивных операций (- число весов сети -

для организации цикла и для присвоения), на втором - ^ (п -1? мультипликативных и 2/„, (п -1) аддитивных. На неведущих на втором этапе происходит I мультипликативных и 21 аддитивных операций, но

начаться они могут лишь после того, как ведущий ИР-элемент отправит данные, поэтому на неведущем ИР-элементе происходит С^ =К (к + 2 ко + 2 о +1) + + у(1К,у) мультипликативных операций.

Количество операций на третьем этапе аналогично количеству операций, выполняемых последовательной версией алгоритма (за исключением того, что число

итераций 3 р для ведущего ИР-элемента и Зр для

прочих).

На четвертом этапе ведущему ИР-элементу необходимо получить лучшие весовые коэффициенты и соответствующее им значение невязки с каждого ИР-элемента, поэтому он делает (п -1)(/^+1) мультипли-

кативных и 2(п -1)(^ +1) аддитивных операций, а неведущий - 1К + 1 мультипликативных и 21К + 2 аддитивных. Кроме того, ведущий ИР-элемент должен ожидать отправку.

На пятом этапе ведущий ИР-элемент делает 2п аддитивных операций. Если привести аддитивные операции к мультипликативным, то можно получить выражения, приведенные в табл. 1.

До начала получения ведущим ИР-элементом весовых коэффициентов и значений невязки он осуществляет 3 этапа (обозначим общее количество операций

Сро = 2+г„(п -1)(1 + 2о) + Зр + 2о3р ), а прочие - 4 (обозначим общее количество операций Срк =К (к + 2ко + о + 1)+ у(1ц,,г)+2ее3р+ 2о3р + („, +1)1 + 2о) )■ Для выполнения первых 2 этапов ведущий ИР-элемент производит С(0 + се2>, а к -й - С^ + Ск операций.

Кроме того, необходимо учитывать время передачи невязки и весовых коэффициентов. Поскольку получение завершается после того, как значение невязки будет послано самым медленным процессором, то для информационного процесса, использующего параллельное вычисление невязки, требуется операций, где Х^р вычисляется по формуле:

Z„F = , {max{cF0 + k(lw + l)(2a +1), C„ + y(lw +1, v )))+

k=1..n—1 4 4

(8)

+ (lw+1)(1 + 2o) + 2an.

Исходя из вышесказанного, эффективность параллельного информационного процесса обучения можно выразить формулой:

wF

(Z ) =

zwF

ze IF + 2aIF

nZ,

wF

nZ

(9)

wF

Таким образом, аналитическая модель выглядит следующим образом:

awF (Z ) =

IfN (Z , +1 + aC, + 2aP) + If + 2a^ ( C, +k (lw+1){ 2a + 1),CFk'^

(10)

max

v v

+Y (K +1=v)

+ {l„+1){1 + 2a) + 2a.

Таблица 1

Число мультипликативных операций на различных этапах информационного процесса

Этап Ведущий ИР-элемент Неведущий (k -й) ИР-элемент

1 2alw

2 lw (n —1)(1 + 2a) lw (k + 2ka + 2a + 1) + y^v)

3 ZJF + 2aJF ZE JF+ 2aJf

4 n(lw+1)(1 + 2a)+Y(lw+1) (lw+1)(1 + 2a)

5 2an

СПИСОК ЛИТЕРАТУРЫ

1. Крючин О.В., Арзамасцев А.А., Королев А.Н., Горбачев С.И., Семенов Н.О. Универсальный симулятор, базирующийся на технологии искусственных нейронных сетей, способный работать на параллельных машинах // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2008. Т. 13. Вып. 5. C. 372-375.

2. Крючин О.В. Параллельный алгоритм полного сканирования обучения искусственных нейронных сетей // В мире научных открытий. Красноярск, 2010. № 6.3 (12). C. 72-79.

3. Крючин О.В. Параллельные алгоритмы обучения искусственных нейронных сетей // Материалы 15 Международной конференции по нейрокибернетике. Т. 2. Симпозиум «Интерфейс ''Мозг-Компьютер''», 3 Симпозиум по нейроинформатике и нейрокомпьютерам. Ростов н/Д, 2009. С. 93-97.

4. Крючин О.В., Аразмасцев А.А. Сравнение эффективности последовательных и параллельных алгоритмов обучения искусственных нейронных сетей на кластерных вычислительных системах // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2010. Т. 15. Вып. 6. С. 372-375.

Поступила в редакцию 30 ноября 2015 г.

Крючин Олег Владимирович, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, кандидат технических наук, ведущий программист института математики, естествознания и информационных технологий, e-mail: [email protected]

UDC 004.9

DOI: 10.20310/1810-0198-2016-21-1-142-145

INFORMATION PROCESSES OF ARTIFICIAL NEURAL NETWORKS TRAINING BY METHOD OF FULL SCANNING AND ANALYTICAL MODEL OF PARALLEL VERSION OF THESE PROCESSES

© O.V. Kryuchin

Parallel methods of artificial neural networks training with the help of full scanning are described. The analytical model of information processes of these methods is presented.

Key words: analytical model; information processes; parallel methods; artificial neural networks.

REFERENCES

1. Kryuchin O.V., Arzamastsev A.A., Korolev A.N., Gorbachev S.I., Semenov N.O. Universalnyy simulyator, baziruyushchiysya na tekh-nologii iskusstvennykh neyronnykh setey, sposobnyy rabotat na parallelnykh mashinakh. Vestnik Tambovskogo universiteta. Seriya Es-testvennye i tekhnicheskie nauki — Tambov University Reports. Series: Natural and Technical Sciences. Tambov, 2008, vol. 13, no. 5, pp. 372-375.

2. Kryuchin O.V. Parallelnyy algoritm polnogo skanirovaniya obucheniya iskusstvennykh neyronnykh setey. V mire nauchnykh otkrytiy. Krasnoyarsk, 2010, no. 6.3 (12), pp. 72-79.

3. Kryuchin O.V. Parallelnye algoritmy obucheniya iskusstvennykh neyronnykh setey. Materialy 15 Mezhdunarodnoy konferentsii po neyrokibernetike. Vol. 2. Simpozium «Interfeys "Mozg-Kompyuter"», 3 Simpozium po neyroinformatike i neyrokompyuteram. Rostov-on-Don, 2009, pp. 93-97.

4. Kryuchin O.V., Arazmastsev A.A. Sravnenie effektivnosti posledovatelnykh i parallelnykh algoritmov obucheniya iskusstvennykh neyronnykh setey na klasternykh vychislitelnykh sistemakh. Vestnik Tambovskogo universiteta. Seriya Estestvennye i tekhnicheskie nauki — Tambov University Reports. Series: Natural and Technical Sciences. Tambov, 2010, vol. 15, no. 6, pp. 372-375.

Received 30 November 2015

Kryuchin Oleg Vladimirovich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Candidate of Technics, Leading Programmer of Mathematics, Natural Science and Information Technologies Institute, e-mail: kryuchov@gmail. com