Научная статья на тему 'Информационные процессы обучения искусственных нейронных сетей методом полного сканирования и аналитическая модель параллельной версии этих процессов'

Информационные процессы обучения искусственных нейронных сетей методом полного сканирования и аналитическая модель параллельной версии этих процессов Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
172
44
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
АНАЛИТИЧЕСКАЯ МОДЕЛЬ / ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ / ПАРАЛЛЕЛЬНЫЕ МЕТОДЫ / ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ / ANALYTICAL MODEL / INFORMATION PROCESSES / PARALLEL METHODS / ARTIFICIAL NEURAL NETWORKS

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Крючин Олег Владимирович

Описаны параллельные методы обучения искусственных нейронных сетей при помощи полного сканирования. Приводится аналитическая модель информационных процессов для этих методов.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Крючин Олег Владимирович

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Information processes of artificial neural networks training by method of full scanning and analytical model of parallel version of these processes

Parallel methods of artificial neural networks training with the help of full scanning are described. The analytical model of information processes of these methods is presented.

Текст научной работы на тему «Информационные процессы обучения искусственных нейронных сетей методом полного сканирования и аналитическая модель параллельной версии этих процессов»

УДК 004.9

DOI: 10.20310/1810-0198-2016-21-1-142-145

ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ ОБУЧЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ МЕТОДОМ ПОЛНОГО СКАНИРОВАНИЯ И АНАЛИТИЧЕСКАЯ МОДЕЛЬ ПАРАЛЛЕЛЬНОЙ ВЕРСИИ ЭТИХ ПРОЦЕССОВ

© О.В. Крючин

Описаны параллельные методы обучения искусственных нейронных сетей при помощи полного сканирования. Приводится аналитическая модель информационных процессов для этих методов.

Ключевые слова: аналитическая модель; информационные процессы; параллельные методы; искусственные нейронные сети.

Как известно, при подборе весовых коэффициентов ^ искусственной нейронной сети (ИНС) методом полного сканирования происходит перебор всех возможных вариантов их значений. При этом значение i -го весового коэффициента на I -й итерации вычисляется по формуле:

„(I ) = /

i

l т

mod

- + 1

= 0, L, -1

(1)

где , 1ц - нижний и верхний пределы, а si - шаг сканирования i -го весового коэффициента, - размерность вектора весовых коэффициентов,

вого (ведущего), перебирает JF вариантов, а нулевой -JF . Значения JF и JF вычисляются по формулам:

J Т,

n

n -1

JF I JF'

mod n = 0;

mod n Ф 0,

IF mod n = 0;

IF - JF (n -1), IF mod n Ф 0.

(4)

(5)

s(i)=

w-1

П

j=i+1

l1j - l0j

i = iw -1;

^ i<lw - 1.

(2)

+ 1

Общее количество итераций вычисляется по формуле:

-1/

П

/ l1i - l0i \ + 1

V . si . У

(3)

Использование подобного метода обучения приводит к необходимости задействовать значительное число элементов информационных ресурсов (ИР-элементов) - вычислительных узлов кластерной системы или процессоров суперкомпьютера. Применение большого числа ИР-элементов, в свою очередь, требует адаптировать метод обучения. Так, при использовании п ИР-элементов каждый из них, за исключением нуле-

На рис. 1-2 представлены блок-схемы алгоритма для управляющего и неуправляющего ИР-элемента, соответственно, порядок выполнения информационного процесса для ведущего ИР-элемента следующий [1-2]:

1) формирование п — 1 структур для неуправляющих ИР-элементов;

2) рассылка ИНС-структур на все используемые ИР-элементы;

3) перебор всех возможных вариантов из имеющихся на данном ИР-элементе и выбор оптимального набора весовых коэффициентов и связанной с ним погрешности;

4) получение с ИР-элементов подобранных весовых коэффициентов и соответствующих им значений невязки;

5) выбор наименьшего значения невязки и установка в ИНС соответствующих ему весовых коэффициентов.

Для неуправляющего ИР-элемента порядок выполнения информационного процесса другой:

- получение структуры;

- перебор всех возможных вариантов и выбор оптимального набора весовых коэффициентов и связанной с ним погрешности;

- отправка на управляющий ИР-элемент весовых коэффициентов и погрешности [3].

F

F

F

V

I

F

i=0

Рис. 1. Блок-схема информационного процесса обучения, запущенного на ведущем (управляющем) ИР-элементе при использовании метода полного сканирования

Для оценки эффективности этих процессов разработана аналитическая модель.

Количество мультипликативных операций, которые производит последовательный алгоритм полного сканирования, можно записать следующим образом:

Рис. 2. Блок-схема информационного процесса обучения, запущенного на неведущем (неуправляющем) ИР-элементе при использовании метода полного сканирования

wF=Zе ^+ 2о/

(6)

где 2е - количество операций, необходимых для последовательного вычисления невязки

N-1 N-1 Р-1

Ий - у? = N-(7)

>■=0 ¿=0

е = — > Ы

N .=0

где е , - > -е выходные вектора моделируемого объекта и ИНС; N - количество строк в обучающей выборке; Р - количество выходов объекта (размерность векторов е и У ); ^ - число итераций алгоритма (информационный процесс раз выполняет

вычисление невязки, а для организации цикла ему требуется 21 р операций - по 2 на каждой итерации, вперед и назад) [2].

Для приведения аддитивных операций к мультипликативным введен о -коэффициент, который прямо пропорционален времени, затрачиваемому на одну мультипликативную операцию, и обратно пропорционален времени, затрачиваемому на одну аддитивную (мультипликативная операция занимает в о раз больше времени, чем аддитивная и, следовательно, одну мультипликативную операцию можно заменить на о аддитивную и наоборот) [4].

Для вычисления количества мультипликативных операций, производимых информационными процессом полного сканирования, необходимо рассмотреть этапы, из которых он состоит:

1) инициализация;

2) передача данных с ведущего ИР-элемента (элемента информационного ресурса, в качестве которого может выступать узел кластерной системы или компьютер вычислительной сети) на прочие;

3) перебор значений весовых коэффициентов, принадлежащих данному ИР-элементу;

4) передача данных со всех ИР-элементов на ведущий;

5) выбор ведущим ИР-элементом оптимальной конфигурации.

На первом этапе на ведущем ИР-элементе происходит 21к аддитивных операций (- число весов сети -

для организации цикла и для присвоения), на втором - ^ (п -1? мультипликативных и 2/„, (п -1) аддитивных. На неведущих на втором этапе происходит I мультипликативных и 21 аддитивных операций, но

начаться они могут лишь после того, как ведущий ИР-элемент отправит данные, поэтому на неведущем ИР-элементе происходит С^ =К (к + 2 ко + 2 о +1) + + у(1К,у) мультипликативных операций.

Количество операций на третьем этапе аналогично количеству операций, выполняемых последовательной версией алгоритма (за исключением того, что число

итераций 3 р для ведущего ИР-элемента и Зр для

прочих).

На четвертом этапе ведущему ИР-элементу необходимо получить лучшие весовые коэффициенты и соответствующее им значение невязки с каждого ИР-элемента, поэтому он делает (п -1)(/^+1) мультипли-

кативных и 2(п -1)(^ +1) аддитивных операций, а неведущий - 1К + 1 мультипликативных и 21К + 2 аддитивных. Кроме того, ведущий ИР-элемент должен ожидать отправку.

На пятом этапе ведущий ИР-элемент делает 2п аддитивных операций. Если привести аддитивные операции к мультипликативным, то можно получить выражения, приведенные в табл. 1.

До начала получения ведущим ИР-элементом весовых коэффициентов и значений невязки он осуществляет 3 этапа (обозначим общее количество операций

Сро = 2+г„(п -1)(1 + 2о) + Зр + 2о3р ), а прочие - 4 (обозначим общее количество операций Срк =К (к + 2ко + о + 1)+ у(1ц,,г)+2ее3р+ 2о3р + („, +1)1 + 2о) )■ Для выполнения первых 2 этапов ведущий ИР-элемент производит С(0 + се2>, а к -й - С^ + Ск операций.

Кроме того, необходимо учитывать время передачи невязки и весовых коэффициентов. Поскольку получение завершается после того, как значение невязки будет послано самым медленным процессором, то для информационного процесса, использующего параллельное вычисление невязки, требуется операций, где Х^р вычисляется по формуле:

Z„F = , {max{cF0 + k(lw + l)(2a +1), C„ + y(lw +1, v )))+

k=1..n—1 4 4

(8)

+ (lw+1)(1 + 2o) + 2an.

Исходя из вышесказанного, эффективность параллельного информационного процесса обучения можно выразить формулой:

wF

(Z ) =

zwF

ze IF + 2aIF

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

nZ,

wF

nZ

(9)

wF

Таким образом, аналитическая модель выглядит следующим образом:

awF (Z ) =

IfN (Z , +1 + aC, + 2aP) + If + 2a^ ( C, +k (lw+1){ 2a + 1),CFk'^

(10)

max

v v

+Y (K +1=v)

+ {l„+1){1 + 2a) + 2a.

Таблица 1

Число мультипликативных операций на различных этапах информационного процесса

Этап Ведущий ИР-элемент Неведущий (k -й) ИР-элемент

1 2alw

2 lw (n —1)(1 + 2a) lw (k + 2ka + 2a + 1) + y^v)

3 ZJF + 2aJF ZE JF+ 2aJf

4 n(lw+1)(1 + 2a)+Y(lw+1) (lw+1)(1 + 2a)

5 2an

СПИСОК ЛИТЕРАТУРЫ

1. Крючин О.В., Арзамасцев А.А., Королев А.Н., Горбачев С.И., Семенов Н.О. Универсальный симулятор, базирующийся на технологии искусственных нейронных сетей, способный работать на параллельных машинах // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2008. Т. 13. Вып. 5. C. 372-375.

2. Крючин О.В. Параллельный алгоритм полного сканирования обучения искусственных нейронных сетей // В мире научных открытий. Красноярск, 2010. № 6.3 (12). C. 72-79.

3. Крючин О.В. Параллельные алгоритмы обучения искусственных нейронных сетей // Материалы 15 Международной конференции по нейрокибернетике. Т. 2. Симпозиум «Интерфейс ''Мозг-Компьютер''», 3 Симпозиум по нейроинформатике и нейрокомпьютерам. Ростов н/Д, 2009. С. 93-97.

4. Крючин О.В., Аразмасцев А.А. Сравнение эффективности последовательных и параллельных алгоритмов обучения искусственных нейронных сетей на кластерных вычислительных системах // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2010. Т. 15. Вып. 6. С. 372-375.

Поступила в редакцию 30 ноября 2015 г.

Крючин Олег Владимирович, Тамбовский государственный университет им. Г.Р. Державина, г. Тамбов, Российская Федерация, кандидат технических наук, ведущий программист института математики, естествознания и информационных технологий, e-mail: kryuchov@gmail.com

UDC 004.9

DOI: 10.20310/1810-0198-2016-21-1-142-145

INFORMATION PROCESSES OF ARTIFICIAL NEURAL NETWORKS TRAINING BY METHOD OF FULL SCANNING AND ANALYTICAL MODEL OF PARALLEL VERSION OF THESE PROCESSES

© O.V. Kryuchin

Parallel methods of artificial neural networks training with the help of full scanning are described. The analytical model of information processes of these methods is presented.

Key words: analytical model; information processes; parallel methods; artificial neural networks.

REFERENCES

1. Kryuchin O.V., Arzamastsev A.A., Korolev A.N., Gorbachev S.I., Semenov N.O. Universalnyy simulyator, baziruyushchiysya na tekh-nologii iskusstvennykh neyronnykh setey, sposobnyy rabotat na parallelnykh mashinakh. Vestnik Tambovskogo universiteta. Seriya Es-testvennye i tekhnicheskie nauki — Tambov University Reports. Series: Natural and Technical Sciences. Tambov, 2008, vol. 13, no. 5, pp. 372-375.

2. Kryuchin O.V. Parallelnyy algoritm polnogo skanirovaniya obucheniya iskusstvennykh neyronnykh setey. V mire nauchnykh otkrytiy. Krasnoyarsk, 2010, no. 6.3 (12), pp. 72-79.

3. Kryuchin O.V. Parallelnye algoritmy obucheniya iskusstvennykh neyronnykh setey. Materialy 15 Mezhdunarodnoy konferentsii po neyrokibernetike. Vol. 2. Simpozium «Interfeys "Mozg-Kompyuter"», 3 Simpozium po neyroinformatike i neyrokompyuteram. Rostov-on-Don, 2009, pp. 93-97.

4. Kryuchin O.V., Arazmastsev A.A. Sravnenie effektivnosti posledovatelnykh i parallelnykh algoritmov obucheniya iskusstvennykh neyronnykh setey na klasternykh vychislitelnykh sistemakh. Vestnik Tambovskogo universiteta. Seriya Estestvennye i tekhnicheskie nauki — Tambov University Reports. Series: Natural and Technical Sciences. Tambov, 2010, vol. 15, no. 6, pp. 372-375.

Received 30 November 2015

Kryuchin Oleg Vladimirovich, Tambov State University named after G.R. Derzhavin, Tambov, Russian Federation, Candidate of Technics, Leading Programmer of Mathematics, Natural Science and Information Technologies Institute, e-mail: kryuchov@gmail. com

i Надоели баннеры? Вы всегда можете отключить рекламу.