Об одновременном приближении алгебраических многочленов и их производных нейронными сетями прямого распространения сигнала с одним скрытым слоем Текст научной статьи по специальности «Математика»

Библиографический список

1. Тяпаев Л. Б. Геометрическая модель поведения автоматов и их неотличимость // Математика, механика, математическая кибернетика : сб. науч. тр. Саратов : Изд-во Сарат. ун-та, 1999. С. 139-143.

2. Тяпаев Л. Б. Решение некоторых задач для конечных автоматов на основе анализа их поведения // Изв. Сарат. ун-та. Нов. сер. Сер. Математика. Механика. Информатика. 2006. Т. 6, вып. 1/2. С. 121-133.

3. Тяпаев Л. Б. Геометрические образы автоматов и ди-

намические системы // Дискретная математика и ее приложения : материалы X междунар. семинара / под ред. О. М. Касим-Заде. М. : Изд-во мех.-мат. ф-та Моск. ун-та, 2010. С. 510-513.

4. Матов Д. О. Аффинные преобразования геометрических образов конечных автоматов // Проблемы теоретической кибернетики : материалы XVI междунар. конф. / под ред. Ю. И. Журавлева. Нижний Новгород : Изд-во Нижегородского госун-та, 2011. С. 303-306.

Discrete Dynamical Systems Defined Geometrical Images of Automata

L. B. Tyapaev, D. V. Vasilenko, M. V. Karandashov

Saratov State University, Russia, 410012, Saratov, Astrahanskaya st., 83, [email protected], [email protected], [email protected]

The object of study is the dynamic system defined by geometrical images of automata. The phase space of the system is determined by orthogonal and affine transformations of geometric images. Compositions of dynamical systems of a given type and their characteristics are studied.

Key words: automata, discrete dynamical systems, geometric images of automata. References

1. Tyapaev L. B. The geometric model of the behavior of automata and their indistinguishability. Matematica, Mekhanica, Matematicheskaya kibernetika: Sb. naych. tr. Saratov, Saratov Univ. Press, 1999, pp. 139-143 (in Russian).

2. Tyapaev L. B. Solving Some Problems of Automata Behaviour Analysis. Izv. Sarat. Univ. N. S. Ser. Math. Mech. Inform., 2006, vol. 6, no. 1/2, pp. 121-133 (in Russian).

3. Tyapaev L. B. Geometric images of automata УДК 519.71, 519.651

ОБ ОДНОВРЕМЕННОМ ПРИБЛИЖЕНИИ АЛГЕБРАИЧЕСКИХ МНОГОЧЛЕНОВ И ИХ ПРОИЗВОДНЫХ НЕЙРОННЫМИ СЕТЯМИ ПРЯМОГО РАСПРОСТРАНЕНИЯ СИГНАЛА С ОДНИМ СКРЫТЫМ СЛОЕМ

Н. С. Узенцова1, С. П. Сидоров2

1 Аспирантка кафедры математической экономики, Саратовский государственный университет им. Н. Г. Чернышевского, [email protected]

2Кандидат физико-математических наук, доцент кафедры математической экономики, Саратовский государственный университет им. Н. Г. Чернышевского, [email protected]

В данной статье приводится алгоритм нахождения весов нейронной сети прямого распространения сигнала с одним основным слоем. Алгоритм используется для решения задачи равномерного приближения алгебраического многочлена совместно с его производными с наперед заданной точностью. В качестве функции активации используется рациональная сигмоида.

Ключевые слова: нейронные сети, аппроксимация функций.

and dynamical systems. Discretnaya matematica i eyo prilozheniya. Materialy X Mezhd. seminara. Ed. O. M. Kasim-Zade. Moscow, 2010, pp. 510-513 (in Russian).

4. Matov D. O. Affine transformations of geometric images of finite automata. Problemy teoteticheskoj kibernetiki : Materialy XVI Mezhdunar. konf. Ed. Yu. I. Zhuravlyova. Nizhni Novgorod, 2011, pp. 303-306 (in Russian).

© Узенцова Н. С., Сидоров С. П., 2013

li. С. Узенцова, С. П. Сидоров О равномерном приближении алгебраических многочленов__

ВВЕДЕНИЕ

Определение и детальное описание основных понятий теории нейронных сетей (а именно понятие многослойной нейронной сети прямого распространения с различными функциями активации), а также подробное изложение используемых понятий и архитектур сетей, можно найти, например, в [1,2].

Для решения многих прикладных задач используется способность нейронных сетей аппроксимировать полиномиальную функцию. В статье [3] полиномиальная функция используется как мера емкости искусственной нейронной сети прямого распространения с конечным числом скрытых узлов, при этом под емкостью сети понимается наибольшая степень полиномов, которые данная нейронная сеть приближает с наперед заданной точностью.

Полиномиальная функция f : Rm ^ R степени r с m переменными может быть записана в следующем виде:

(m \ / m \ 2 / m \ r

ao + an xA + I ai2 xA + ... + I ^ air xA , (1)

где x = (xi, x2,..., xm)T e Rm, a0, aij e R, j = 1,..., r, i = 1,..., m.

Рассмотрим архитектуру нейронной сети F с одним скрытым слоем. Пусть вектор x = (xi, x2,...,xm)T e Rm есть вектор входа нейронной сети, m есть количество узлов входного слоя сети F. Обозначим через N количество узлов скрытого слоя сети. Количество входов в скрытый слой равно числу компонент вектора x. Обозначим через y выход сети F. Вес связи между i-м узлом входного слоя и j-м скрытым узлом обозначим wji, i = 1,...,m, j = 1,... ,n. Вес связи между j-м узлом скрытого слоя и (единственным) нейроном выходного слоя обозначим Cj. Выход скрытого узла j определяется следующим образом:

в m

) = O+Vt' ej =5- Wji xi + bj , (2)

I j I i=i

где j = 1, ...,N, a — положительная константа, m — количество входов, bj — пороговое значение j-го узла скрытого слоя.

Выходное значение y e R нейронной сети F будет равно

N

y = J2 cj a(ej). j=i

В настоящей статье, следуя идеям работы [3], мы находим алгоритм настройки весов сети для одновременного приближения в равномерной метрике с заданной ошибкой полиномиальной функции фиксированной степени и ее производных. В отличие от работы [3], мы рассматриваем нейронную сеть прямого распространения сигнала с рациональной сигмоидой в качестве функции активации, в то время как в работе [3] изучалась нейронная сеть с экспоненциальной сигмоидальной функцией активации. Мы покажем, что результаты, аналогичные результатам работы [3], будут справедливы и для задачи равномерного приближения алгебраического многочлена совместно с его производными.

ИСКУССТВЕННАЯ НЕЙРОННАЯ СЕТЬ ПРЯМОГО РАСПРОСТРАНЕНИЯ С ОДНИМ ВХОДОМ И ОДНИМ ВЫХОДОМ

Рассмотрим нейронную сеть F : R ^ R прямого распространения с одним входом и одним выходом:

N

F(x) = ^2 cja(wjx + bj)' j=i

где Cj, wj, bj e R, j = 1,..., N, есть параметры сети. Обозначим множество всех таких отображений как Fn(a).

Полиномиальная функция f (x) : R ^ R степени r имеет вид

f (x) = a0 + ai x + a2x2 + a3x3 + ... + ar xr,

где ai e R, i = 0,1,..., r.

Лемма 1. Производная порядка в функции Р существует в каждой точке х е К, при этом справедливо равенство

(х)

N

йх5

= £ ъ и д5 (а(ву)), У = 1

где д5(а(ву)) = (—1)5+1 в!в—а5(ву)(1 - а(ву) ■ sgnву), ву = ву(х) = иух + Ьу. Предположим, что справедливы следующие равенства:

(0) (0)

т. е. имеет место следующее матричное равенство: / Я0 ) до (а0)

.0^,, /О ^0

= (в!)аа, в = 0,1, 2, ...г,

) \ /СЛ

\дг КК дг (а0)^Г

д1

Яг

С2 \cN /

( «0 \ (1!)«1

\(г!)агУ

где Я0(а(в)) = а(в), а0 := а (в,-(0)) =

ву (0)

Обозначим

а + |ву (0)|

, 3 = 1,

N.

0 =

^ Я0 (а?) Я0 (а0)

Я0 (а0) \ Я1

(3)

(4)

(5)

\дг К К Яг (а0 К ... Яг (а0 Тогда матричное равенство (4) можно записать в виде 0с = а, где с = (с1 )т, а = (а0,

(1!)«1,..., (г!)аг)т.

Лемма 2. Пусть 5 > 0 и и = (г — 1)5, г = 1,..., N. £сли с1,..., с^ есть решение системы (4), то справедлива система неравенств

|су 1 ^ ^шах 5ша

г=0

|г!аг |5-, з = 1,...,N,

где -0шах есть положительное число, зависящее от N и г, дшах есть положительное число, зависящее от порогового значения в скрытом слое.

В следующей теореме показывается, что сеть с одним скрытым слоем, содержащим N узлов, может аппроксимировать любой алгебраический многочлен степени N — 1 совместно с его производными с любой степенью точности на произвольном замкнутом множестве числовой прямой.

Теорема 1. Пусть хшах > 0 — произвольное число. Тогда для произвольной функции / е PN_1 и для всякого е > 0 найдется функция Р(х) е FN (а) такая, что

N-1

sup ^ |Р(5)(х) — /(5)(х)| < е,

х £ [ Хтах ,хтах] 5 = 0

где е является ошибкой равномерного приближения на [—хшах, хшах].

Доказательство. Пусть / е -1 есть произвольный многочлен. Возьмем е > 0 и покажем, что для некоторой Р(х) е FN(а) для всех х е [—хшах, хшах] будет

N-1

(5)(х) — /(х)| < е.

5 = 0

Потребуем

й5Р(0) й5/(0)

йх5

йх5

в = 0,1, 2,... N — 1,

Пусть г = N — 1. Так как Р(х) имеет производную любого порядка в каждой точке вещественной оси, то функцию Р(в)(х) можно разложить в ряд Тейлора в окрестности точки х = 0. Так, для в = 0 имеем:

1Р'' (0)х2 1

2! г!

Р (х) = Р (0) + Р'(0)х + - Р'' (0)х2 + ... + - Р (г)(0)хг + Дг,0(х),

80

Научный отдел

г

Н. С. Узенцова, С. П. Сидоров О равномерном приближении алгебраических многочленов где Лг,0(х) есть остаточный член форме Лагранжа:

Имеем:

р (" (х) = Е Р У^' + (»)-

,=. ((-»)'

где Лг,.(х) есть остаточный член в форме Лагранжа,

Р(г+1) (£.) г+1_.

(х) т : : г:х • (г + 1 — 5)!

Имеем:

Согласно лемме 1

N_1 N_1

Ч.)(х) — /(.)(х)| = , в=0 в=0

|Р^(х) — /^(х)| (х)|.

„г+1_в

N

Дг_.(х) = (г+^ а)!£ с,<+1дг+1 (С.))),

V ) _- = 1

— 5

о

где хтах — Се — хтах •

Возьмем 0 < 5 < 1. Положим = (3 — 1)5, 3 = 1, 2,..., N. Согласно лемме 1 для 5 > 1 д.)) = (—1).+1 <7-(<0)(1 — ) ■ sgn<0)

и д0(^о) = , где со(х) = (ж)). Так как для всех х имеет место —1 < < 1, то |д0)| — 1 существует М0 такое, что )(1 — ст«-) ■ sgn)| < М0. Имеем, учитывая лемму 2,

ОА1 "VО ^Ь11 О

Г,г+1_в

N_1 N _1 / N

X

(х

|дг,.(х)| — £ |со||^;+1||дг+1(сто(с.))| —

.=о .=о \ (г + 1 5)! о=1 /

N_1 ( хг+1_. N г

— Е | ( +аХ_ )! ^тахдтах^Е |р!«р|5_Р(г + 1)3(Г+1М0 | — .=о \(г +1 5)! о=1 р=о

Г N _1 ( (Г + 1)! N — 5^тах4тахМ ^ |р!«р | £ ^^ х^' £ р=о в=о \( + )! 0=1

г N _Ч (г + 1)! N

М = ^тах5тахМ0 £ |Р!ар | £ (г+ + _а)! хт^' £ 3^ р=о в=о \( + )! 0=1

т. е. М есть конечное число, не зависящее от х. Имеем:

N _1

Обозначим

|Яг,.(х)| — 5М.

в=0

N

Взяв 5 < е/(М + 1), получаем ^ |ЛГ(х)| < е, где е есть ошибка аппроксимации. □

в=0

Заметим, что утверждение, аналогичное теореме, не будет справедливым, если в скрытом слое содержится не г + 1, а г узлов, т. е. нейронные сети с г узлами в скрытом слое не способны с любой степенью точности приближать полиномы степени г. Это означает, что существует неустранимая ошибка приближения многочленов степени г нейронными сетями с г узлами в скрытом слое. В работе [4] находится оценка этой ошибки.

Отметим, что используя подход, изложенный в работе [3], легко получить следующий результат для нейронных сетей прямого распространения с несколькими входами и одним выходом.

и

Теорема 2. Пусть хтах > 0 есть произвольное действительное число, I = [—хтах, хтах]. Если г < л/Ж + 1.52 — 1.5, то для любого е > 0 и произвольной полиномиальной функции / : Кт ^ К степени г с т переменными вида (1) существует сеть прямого распространения Г : Кт ^ К с одним скрытым слоем, содержащим N узлов и функцией активации (2), которая равномерно аппроксимирует / с любой наперед заданной степенью точности на 1т, т. е.

sup |F(x) — f (x)| < £. xeim

Библиографический список

1. Галушкин А. Нейронные сети. Основы теории. М. : Горячая Линия - Телеком, 2012.

2. Haykin S. Neural networks : a comprehensive foundation. 2 ed. N.J. : Prentice-Hall, Inc., 1999.

3. Malakooti B, Zhou Y. Q. Approximating polynomial functions by feedforward artificial neural networks :

capacity analysis and design // Appl. Math. and Comp. 1998. Vol. 90. P. 27-52.

4. Сидоров С. П. Об ошибке приближения алгебраических полиномов нейронными сетями прямого распространения // Нейрокомпьютеры : разработка, применение. 2005. № 5. С. 13-17.

Simultaneous Approximation of Polynomial Functions and Its Derivatives by Feedforward Artificial Neural Networks with One Hidden Layer

N. S. Uzentsova, S. P. Sidorov

Saratov State University, Russia, 410012, Saratov, Astrahanskaya st., 83, [email protected], [email protected]

In this paper we propose the algorithm for finding weights of feedforward artificial neural networks with one hidden layer to approximate polynomial functions and its derivatives with a given error. We use the rational sigmoidal function as a transfer function.

Key words: neural networks, approximation. References

1. Galyshkin A. Neironnye seti. Osnovy teorii [Neural Networks. The foundations of the theory]. Moscow, Goriachaia Liniia - Telekom, 2012 (in Russian).

2. Haykin S. Neural Networks : A Comprehensive Foundation. Second ed., New Jersey, Prentice-Hall, Inc., 1999.

3. Malakooti B., Zhou Y. Q. Approximating Polynomial Functions by Feedforward Artificial Neural Networks :

YAK 519.872

Capacity Analysis and Design. Appl. Math. and Comp., 1998, vol. 90, pp. 27-52.

4. Sidorov S. P. Ob oshibke priblizheniia algebraicheskikh polinomov neironnymi setiami priamogo rasprostraneniia [On the error of approximation of algebraical polynomials by means of artificial feedforward neural networks]. Neirokomp'iutery : razrabotka, primenenie, 2005, no. 5, pp. 13-17 (in Russian).

МЕТОД УПРАВЛЕНИЯ МАРШРУТИЗАЦИЕЙ В СЕТЯХ МАССОВОГО ОБСЛУЖИВАНИЯ С ПЕРЕМЕННОЙ ТОПОЛОГИЕЙ

Н. П. Фокина1, И. Е. Тананко2

1 Кандидат физико-математических наук, доцент кафедры системного анализа и автоматического управления, Саратовский государственный университет им. Н. Г. Чернышевского. [email protected]

2 Кандидат физико-математических наук, доцент кафедры системного анализа и автоматического управления, Саратовский государственный университет им. Н. Г. Чернышевского, [email protected]

Рассматриваются замкнутые экспоненциальные сети массового обслуживания с изменяющейся топологией. Предложен метод управления маршрутизацией в сетях обслуживания данного типа.

Ключевые слова: сети массового обслуживания, переменная топология, управление маршрутизацией, надежность.

© Фокина Н. П., Тананко И. Е, 2013