Многослойные нейропроцессорные перцептроны Текст научной статьи по специальности «Математика»

УДК 007.57:681.3

Ю.В. Чернухин

МНОГОСЛОЙНЫЕ НЕЙРОПРОЦЕССОРНЫЕ ПЕРЦЕПТРОНЫ

Известно, что многослойные перцептроны, обучаемые методом обратного распространения ошибки (ОРО), являются высокоэффективными переобучаемыми распознающими системами [1]. Однако при аппаратной реализации таких систем возникает трудность связанная с тем, что из двух решаемых ими задач, а именно классификации и обучения, как правило лишь первая реализуется параллельными методами на нейроподобных сетях. Вторая задача обычно решается на ЦВМ общего назначения, что ведет к существенным временным затратам. С целью преодоления этой трудности в работах [2,3] предложено строить однослойные классические перцептроны на базе цифровых нейропроцессоров (ЦНП). Использование ЦНП позволяет создавать классифицирующие нейросети и обучающие их структуры на единой элементной базе и реализовать тем самым оба режима работы перцептрона параллельным способом. Покажем, что техника цифровых нейропроцессоров [4,5] пригодна для создания и более сложных многослойных нейропроцессорных перцептронов, обучаемых автоматически и параллельно по методу ОРО.

Пусть имеются ЦНП, реализующие следующий алгоритм информационных процессов в нервной клетке:

N __

Р1 — ^ У ]1х](1-1) —б — Г— 0, у ^ — у ^-1) + Уу ^, j — 1.,№";

н

У1 — Р 1р1, Р1 —Р1-1 +УР (1)

у 1 — (1 + е-У1)-1; г' — 21(1 - 21); 1 — г'- г'-Ь

где Р1 - аналог мембранного потенциала; у ji (j=1,N) - веса синаптических входов ЦНП в 1-й момент дискретного времени ^=1^-1+V1; N - количество синаптических входов; Уу ji- приращение синаптических весов; xji -

компоненты вектора Х1 входных воздействий; 0-порог нейрона; Г1 = [у11,...,уы1] -вектор-столбец синаптических весов; р1 - коэффициент пространственной суммации; ур1 - приращение коэффициента р1; zi=sigm у1 - выходная

сигмоидальная функция активации нейрона; - производная выходной

функции; V - приращение г' между двумя отсчетами дискретного аргумента.

Уравнения (1) вытекают из обобщенного алгоритма ЦНП [4,6], путем задания в нем нулевого значения параметра инерционности, единичных значений приращений V1 и единичного значения коэффициента выходных величин, а также использования в качестве функции активации сигмоиды и дополнительного вычисления приращений V г1'. Условное графическое обозначение ЦНП, реализующего уравнения (1), приведено на рис.1. В левом дополнительном поле выделены входы т приращений дискретного времени V1

Хс

(в рассматриваемом случае V 1=1); информационные входы компонент Х| вектора X, умножаемых на „ компоненты вектора Г синаптических весов; входы приращений вектора V Г синаптических весов и входы ” значений постоянного порога 0 и изменяемых „ параметров, например, в і = в і -і + VР1. В правом поле указаны используемые выходы ЦНП.

Объединяя N нейропроцессоров, так как это показано на рис.2,а, получим матричный нейропроцессорный ансамбль (МНА), реализующий следующую систему векторных уравнений:

т ЦНП р

Г

У

vГ

7

0 V 7'

Р

Рис. 1

Рі = ОіХі -0; Уі

В *Р •

^1 ^ 1 ’

7і = (1 + е - Уі)-1:

(2)

1 -Ь

где 01 = [Г^,...,Гм] - матрица, составленная из вектор-столбцов Г1; X1=[x11,...,xN1]

т т

- вектор входных воздействий; 0 =[0Ь...,0^ - вектор порогов; В^Р^,...^^ -

вектор коэффициентов пространственной суммации; У1 - вектор, получаемый

путем покомпонентного умножения векторов В1 и Р1 (*-оператор

покомпонентного умножения); /^[гн,...^^] - вектор выходных величин,

компоненты которого являются сигмоидальными функциями соответствующих

компонент вектора У1; V - вектор приращений производной вектора Ъх.

1

X с

т ЦНП

Рі

Г1

/ Уі 7і

v Г1

01 Рі 1 V7'1

т ЦНП

ГМ УN

VГN 7N

2, 2, 0Р N V7' N

т МНА

С Р

У

V С ъ

0 V/'

В

б

а

Рис. 2

Условное графическое обозначение МНА приведено на рис. 2,б, где выходы соответствуют операциям алгоритма (2).

Для построения многослойного нейропроцессорного перцептрона с параллельным автоматическим обучением по методу ОРО на базе МНА,

представим алгоритм классификации Ь - слойного перцептрона и алгоритм его обучения по методу обратного распространения ошибки [1] в векторной записи для произвольного итерационного цикла. В результате получим:

2І = ^ (в12І-1 -0), і = 1, Ь; 2о = X;

VGl = пВі 2 Г£-1;

Вь = *(Я-*є;

т

X

0 = 0;

(3)

(4)

В і = 2 і * аТ+1Ві+1;

= (Ь -1),1,

т

где і - номер нейронного слоя перцептрона ; Ъі =[ъі 1,... ъі ш] - выходной вектор слоя і (і = 1,Ь), причем, для первого слоя (і =1) в качестве Ъ0 используется входной вектор X; Б - сигмоидальный оператор, применяемый к компонентам вектора О і Ъ1-1 - 0;

У пь

У і1N,

У іш

- матрица синаптических весов нейронов 1 -го слоя; Ъ 1-1 - выходной вектор слоя 1 -1 после транспонирования;

^ lll, •-, VУ іш1

VУі1ш, •-, VУішш

- матрица приращений синаптических весов нейронов і -го слоя; п-итерационный параметр процесса изменения компонент матрицы О і ; Я -вектор принадлежности обучающего вектора X заданному классу; Я-ЪЬ=8 -вектор ошибки распознавания; Б і - вектор ошибки, приведенный сначала к

выходам слоя Ь, а затем к выходам слоев і(і = (Ь -1),1); Ъ'Ь - вектор производной выходного вектора ЪЬ; Ъ' і - векторы производных выходных векторов промежуточных слоев і( і = (Ь -1),1) перцептрона.

Векторные уравнения (3) определяют операции прямого распространения входного вектора X от слоя і =1, до слоя і =Ь, а уравнения (4) определяют

операции вычисления матриц приращений V О і (і=Ь,1) на основе процедуры обратного распространения вектора ошибки є = Я-ЪЬ от выходного слоя і =Ь, к входному і =1.

Сопоставляя уравнения (3) и уравнения (2), нетрудно видеть, что при В=1=

т

[1,...,1Г , МНА і относительно выхода Ъ формирует вектор Ъ і . Иными словами, Ь последовательно включенных МНА могут быть использованы для построения Ь-слойной обучаемой классифицирующей нейросети многослойного перцептрона. Причем, выходы Ъ предыдущих МНА должны подсоединяться к

входам О последующих ансамблей, а выходы V Ъ' этих МНА могут использоваться при организации обучающей нейропроцессорной сети перцептрона.

Если в уравнениях (2) дополнительного МНАЬ+1 положить

Г1 -1 о ... о"

О =................,

0 ... 0 1 -1

тт

X=[r1,ъЬ1,...,rN,ъЬN] , В=п1=п[1,1,...,1] , то на выходе Ъ этого МНА будем иметь П(Я-Ъь)=^.

2

При формировании N - мерной матрицы приращений V ОЬ из N - мерных

т

векторов =пЪ'Ь*(Я-ЪЬ) и Ъ Ь-1 следует учесть, что необходимо иметь N МНА, каждый из которых состоит из N одновходовых ЦНП. Совокупность N таких МНА назовем матричной нейропроцессорной структурой (МНС). Если на входы V О МНС-1 подать значения V Ъ'Ь с соответствующих выходов МНАЬ, на входы О - значения пє, а на входы В подать значения ЪтЬ-1, то на выходах такой МНС1 будем иметь:

Р = пЪ'ь * є =пБь; У =пБьЪт1.1 = V Оь,

что соответствует процедуре формирования матрицы приращений V ОЬ по методу ОРО (см. алгоритм (3)).

т

Для формирования ^мерного вектора пО ЬБЬ следует использовать

т

МНАь+2, на входы V О которого подаются приращения V О Ь с выходов У МНС-1, а на входы О поступают компоненты вектора пБЬ с выходов Р той же МНС-|. Тогда на выходах Р МНАЬ+2 получим вектор пО ЬБЬ. Подавая компоненты этого вектора на входы В следующей МНС (МНС2), на входы V О которой подаются приращения V Ъ'Ь-1, а на входы О - значения вектора ЪЬ-1, на ее выходах У будем иметь искомую матрицу приращений V ОЬ-1. Совокупность МНА и МНС, подобная МНАЬ+2 и МНС2, может быть использована для определения и остальных приращений V О і от і =Ь-2 до і =1 включительно.

В качестве примера, на рис.3 приведена структура двухслойного

нейропроцессорного перцептрона (і = 1,2), синтезированного на базе четырех МНА и двух МНС.

Таким образом, резюмируя изложенное, приходим к выводу, что действительно, ЦНП могут быть использованы для построения многослойных нейропроцессорных перцептронов, автоматически обучаемых по методу ОРО.

R с

X с

Распознающая нейропроцессорная сеть

X

V G1

т MHA

G 2

V G

© В=1 1 V 7'

21 = р^.,х -©)

VZ1

т МНА

G 7

V G

© В=I 2 V 7'

22 = Р ^ 2Т 1 -©)

R

VZ9

т МНА Р

I

-I

V G

В=п 3

пе = п(в - Z2)

Пв

VZ9

т МНС

G

Р

V G У

В 1

к

voT

V

т МНА

G

V G

0 4 Р

XT

VZ1

От Б2 п

п02 = Z2 * вп V О2 =п D2ZT

От Б2 п

► т МНС

" G 7 У

; V G

В 2

п01 = z1 *О 2°2 п

VG1 = т

VG1

Обучающая нейропроцессорная сеть

Рис. 3

1. Уоссермен Ф. Нейрокомпьютерная техника. - М.: Мир, 1992. - 240с.

2. Чернухин Ю.В. Разработка теоретических основ и принципов построения цифровых нейроноподобных вычислительных и управляющих структур. Диссертация на соискание ученой степени доктора технических наук. Таганрог: ТРТУ, 1984, 417с.

3. Чернухин Ю.В. Распараллеливание алгоритмов обучения перцептронов на основе нейроноподобных вычислительных структур / 3 Всесоюзная конференция “Математические методы распознавания образов”. Тезисы докладов. - Часть2. - Львов, 1987. С.18-19.

4. Чернухин Ю.В. Нейропроцессоры и нейрокомпьютеры / Материалы XXXIX научно-технической конференции. - Таганрог: ТРТУ, 1993. с.49-53.

5. Чернухин Ю.В. Нейропроцессоры. Таганрог: ТРТУ, 1994. 175с.

6. Чернухин Ю.В. Нейропроцессорные ансамбли. Таганрог: ТРТУ, 1995.

149с.

1

1

Z

7

2

Z

2

1

Z