Интегрирование систем дифференциальных уравнений в нейросетевом логическом базисе Текст научной статьи по специальности «Математика»

Интегрирование систем дифференциальных уравнений в нейростевом логическом базисе

и

у

а

Винокуров Игорь Викторович,

к.т.н., доцент, кафедра «Компьютерные системы и сети», Калужский филиал, МГТУ им. Н.Э. Баумана, vinokurov_iv@icloud.com

Искусственные нейронные сети, реализующие, как правило, массовый параллелизм вычислений, способны свести время нахождения решения систем дифференциальных уравнений любым из существующих методов к минимуму. Эта особенность искусственных нейронных сетей даёт основание утверждать, что нейросетевые принципы организации вычислительного процесса позволят не только решить дифференциальные уравнения за требуемое время, но и поднимут организацию их решения до уровня организации вычислений в интеллектуальных системах. В статье исследуется принципиальная возможность использования численных методов Рунге-Кутта для интегрирования систем линейных однородных дифференциальных уравнений в нейросетевом логическом базисе. Выявляются основные особенности искусственных нейронных сетей для нахождения решения системы линейных однородных дифференциальных уравнений методами Рунге-Кутта. Предлагается методика формирования искусственной нейронной сети для интегрирования системы линейных однородных дифференциальных уравнений методами Рунге-Кутта.

Ключевые слова Искусственная нейронная сеть, нейросете-вой логический базис, нейроноподобный элемент, функция активации, системы дифференциальных уравнений, методы Рунге - Кутта .

*

а о

Учитывая особенности нейросетевого базиса, ограничимся рассмотрением только таких численных методов интегрирования систем линейных однородных дифференциальных уравнений (СЛОДУ), реализация которых потребует лишь операций взвешенного суммирования, умножения на константу и, возможно, следующих функциональных преобразований - кусочно-линейного, порогового, сигмовидного и гауссова. Традиционными численными методами интегрирования систем дифференциальных уравнений являются методы Рунге-Кутта. Формулы метода Рунге-Кутта п - го порядка аппроксимации для интегрирования системы из N дифференциальных уравнений имеют следующий общий вид [1]:

Уй+1 = УН + И Ё а]1к]1' У=1

ки = /I (X, УМ, У 21Ум X

У -1

к]! = Я(X + ИЬ]!, УН + И Ё с^)'

(1)

5=1

где

I - номер уравнения в системе, И - шаг интегрирования системы дифференциальных уравнений,

- коэффициенты метода Рун-

41 > ЬУ1

У5

ге-Кутта.

Поскольку в (1) при наличии характеризующей СЛОДУ линейной функциональной зависимости / и постоянном шаге интегрирования Л,

Уц+1 определяется как результат операций

умножения на константу и взвешенного суммирования, то можно сделать вывод, что интегрирование СЛОДУ методами Рунге-Кутта может быть реализовано в нейросетевом базисе. Следовательно, традиционные методы исследования точности аппроксимации, устойчивости и сходимости решения СЛОДУ применимы и при нейросетевой реализации нахождения этого решения. Однако на основании (1) получить систему нейросетевых функций, однозначно описывающих искусственную нейронную сеть (ИНС) для интегрирования СЛОДУ одним из методов Рунге-Кутта, затруднительно. Для определения системы нейросетевых функций можно

воспользоваться тем фактом, что интегрирование системы дифференциальных уравнений методом Рунге-Кутта п - го порядка аппроксимации эквивалентно разложению уравнений этой системы в ряд Тейлора до п +1 члена включительно. Разложение системы из N дифференциальных уравнений в ряд Тейлора имеет следующий вид [2]:

п у(г)

у/ ~ I ^ X •

г =0 г

X

.3 N N N

X

4 N NN N

где / -

номер уравнения в системе,

(г)

у/ -1 - ая производная уравнения I системы,

И - шаг интегрирования системы дифференциальных уравнений.

Вычисление производных до п - го порядка включительно для всех уравнений СЛОДУ

N -

у (1) = 1 а , /=\N тривиально. Покажем

✓ / ^^ II у г

г=1

это:

(1) I

У/ = Iа/гУг > г=1

N (1) N N N

У/ = Iа/гУ( ) =а/1Iа1гУг +а/2Iа2гУг +■■■ + аШIаМУг = г=1 г=1 г=1 г=1

N N N N

= Iа/] I арУ1 = II а/]арУ1>

у=1 г=1 у=1г=1

N N N N N

У( ) =! а/т =а/1 II а1 }арУ1 + а/ 2 II а2 ]а]гУг + ■■■ +

г=1 у=1г=1 У=1г=1

NN N N N N N N

+аШ Цаца]гУг = !а& Ца^аугУг = Ш/к^^уг >

у=1г=1 к=1 у=1г=1 к=1 у =1г=1

(4) N N N N N N N

У( = 1а/гУ( ) =а/111IаLkаkjаj'iУi + а/2 та2как1аугУг +■■■ +

г=1 к=1 у=1г=1 к=1 у=1г=1

N N N N N N N

+а/N I ЦаМак!а]1у1 = Ia/p I Царкак/ау1у1 =

к=1 у=1г=1 р=1 к=1 у=1г=1

N NN N

= I 11 ,

р=1к=1 у=1г=1

( ) N N N N

у/п = I ■■■ III а/<7 ■■■аркак]а]гУг ■

д=1 р=1к=1 у=1

4-V-'

п-1

Разложение СЛОДУ в ряд Тейлора на шаге интегрирования Л принимает в таком случае следующий вид:

п у® . «у® ■ N И NN

у/ ~ И = у/о +2ттИ = у/о + ^^ Иа/ЛМ+

г=0 г=1 г=1 ' у=1г=1

+"37 ЮчЩууг +ТТII Ца1рарка1уаугуг + ■■■ + 3 ¿=1 у =1г=1 4 р=1к=1 у =1г=1

Ип N NN N И N

+п !■■■ III ■аркакуаугуг = у/о + (Иа/1 + у I а1уау1 +

■ д=1 р=11=1у=1 у=1

п-1

у3 NN у4 N N N

+"371 ^!а1какуау1 +Т711 !а1раркакуау1 + ■■■ + 3- к=1 у =1 4- р=1 к=1 у=1

уп N NN N "2 N

1■■■ III%-аркакуау\)у\ + (Иа12 + у Iауау2 +

■ д=1 р=11=1у=1 ■ у=1

п-1

"3 NN "4 N N N

+"371 !а1к%ау2 +77II !а1раркакуау2 + ■■■ +

3- к=1 у =1 4- р=1к=1 у=1

уп N NN N у2 N

+— I ■■■ I I I %-арк%ау2)у2 + ■■■ + (1 + "а/ + ауау7 +

■ р=11=1 у=1 ■ ]=1

п-1

у3 NN у4 N N N

+I I а/какуау/ + — III а/раркакуау/ + ■■■ +

3 к=1у=1 4 р=1к=1у=1

уп N NN N у2 N

+— I ■■■ 111 ац~аркакуаА)у/ + ■■■+(ИаМ + — I Уу^ +

■ д=1 р=11=1 у=1 ■ у=1

у3 NN у4 N N N

+^ I I a/kakjajN + — III a/papkakjajN + ■■■ +

3- к=1 у=1 4- р=1к=1 у=1

И'

п N N N N

+пГ I ■■■ I I I a/q■■■apkakjajN)УN>

' ^=1 р=11=1 у'=1 п-1

где

/ - номер уравнения в СЛОДУ, И - шаг интегрирования СЛОДУ, п - число элементов в ряде Тейлора,

у/о - начальное значение уравнения I СЛОДУ. Введём следующие обозначения:

И2 N И3 N N

qrl = Иаг + — I ауауг + — Ц ашакуауг +

2- у=1 3- к=1 у=1

у4 N N N уп N NN N

+"77 III а/раркакуауг + ■■■ +—■ I ■■■ I II а^-аркакуауг>

4- р=1к=1 у=1 п- д=1 р=11=1 у=1

п-1

(2)

О

55 ^

И2 N "3 NN

qll =1 + "а/ +—I а^у/ + II Щк^у/ + у=1 к=1 у=1

"4 N N N "п N NN N

+77 I I I ^р'^-рк^у'^-у/ + ■■■ +— I ■■■ I I I alq■■■apkakjajl■

р=1к=1 у =1 п- д=1 р=11=1 у=1

п-1

(3)

С учётом введённых обозначений разложение СЛОДУ порядка N в ряд Тейлора записывается следующим образом:

55 П П 1

п-1

и

у

а

N

У1 ~ У1 о + Ё чпУт •

г=1

Определим радиус сходимости р степенных рядов (2) и (3) [3]:

— = Нш

р и^да

4г1 и+1

4г1;

= Нш

и^да

411 и+1

411,

= Нш

и^да

4 /1 и+1

4/1,

И

и+1 N N N N

Ё ••• Ё Ё Ё а1я•••аркак/аУ/

(и + 1)! 9=1 р=1^=1у=1

= Нш

и^да Иим ммм

_Г Ё ••• Ё Ё Ё а1я•••аркакуау/

и!

,=1 ^=11=1 у=1

и—1

N N N N

Ё ••• Ё Ё Ё а1я •• •аркак]аУ/

7=1 />=!*=! 1=1

N N N N

Ё ••• ЁЁЁ

7=1 р=11=1 у=1

и—1

а1я •••аркак/аУ/

Нш - = 0.

и^да и

г

*

а б

Таким образом, степенные ряды (2) и (3) сходятся при р = да. Следовательно, разложение СЛОДУ в ряд Тейлора аппроксимирует её решение на всём диапазоне изменения независимого аргумента.

Скалярная система уравнений (4) для / - го шага интегрирования СЛОДУ в матричном виде записывается следующим образом:

У+1~ вУ, (5)

где

У; - решение СЛОДУ на / - м шаге её интегрирования,

в - матрица весовых коэффициентов межнейронных связей

размером N х N.

Учитывая, что при возведении матрицы А(N х N) в степень п её элемент ау определяется следующим образом [4]:

N NN N ,

-У = Ё ••• ЁЁЁ У •••аркак]аш1 7=1 р=1 к=1т=1

и-1

и принимая во внимание введённые выше обозначения для Яг1 и , в(N х N) для (5) может быть представлена в следующем виде:

И2 2 И3 3 И4 4 в = Е+ИА+—А2 +—А3 +—А4 -2! 3! 4!

где

Ап = Е+ ЁИ А,

и! ;!

;=1

(6)

Е - единичная матрица размером N х N,

И - шаг интегрирования СЛОДУ,

А - матрица коэффициентов СЛОДУ порядка N.

Из (6) следует, что при постоянной на шаге интегрирования Л матрице коэффициентов А, разложение СЛОДУ в ряд Тейлора (5), или иными словами конечно-разностная схема для интегрирования её методами Рунге-Кутта, представляет собой систему нейросетевых функций. Поскольку совокупность подобных функций однозначно описывает ИНС для решения конкретной задачи, то на основании (5) и (6) можно сделать следующие общие выводы о структуре ИНС для нахождения решения СЛОДУ методами Рунге-Кутта [5]:

1Число нейроноподобных элементов в ИНС определяется числом нейросетевых функций -N, или иными словами, порядком СЛОДУ.

2Б системе нейросетевых функций (4) присутствуют лишь операции взвешенного суммирования, следовательно, / - й нейроноподобный элемент ИНС должен иметь функцию активацию следующего вида:

N

Я№>Н; ) = ^ = Ё УУ' У=1

где - уровень возбуждения / - го нейро-ноподобного элемента (; = 1^),

- весовой коэффициент связи } - го

входного сигнала / - го

нейроноподобного элемента,

Ху - } - й входной сигнал / - го нейронопо-

добного элемента.

Из (5) следует, что начальным состоянием / -го нейроноподобного элемента должно быть начальное значение / - го уравнения СЛОДУ.

3^НС является полносвязной рекуррентной, поскольку в системе нейросетевых функций (5)

У1 зависит от всех У;, I = 1,N. Весовой коэффициент связи нейроноподобного элемента I с нейроноподобным элементом г определяется следующим выражением:

И2 N И3 N N

4г1 = Иа1г + Ё ауаг + Ё Ё а1какуауг +

У=1 к=1 у=1

И4 N N N Ии

+4 Ё Ё Ё а1раркак]а]г + ••• +—! Ё ••• Ё Ё Ё а1я-аркак]аУг > 4 р=1к=1 ]=1 и' 7=1 р=11=17=1

и-1

,пЫ N N N

а весовой коэффициент связи нейронопо-добного элемента I с нейроноподобным элементом I (рекуррентные связи ИНС) следующим:

й2 N А3 N N

т = 1++—Е ацаА + "37 ЕЕ а1кащаА + 2 ]=1 к=1 ]=1

Л4 N N N hn

+— Е ЕЕalpapkakjajl + ■■■ + —7Е■■■ Е ЕЕalq-apkakiajl■

,n N N N N

4!

p=1k=1 j=1

n!

££=1 1=11=1 j = 1 n—1

Иными словами, матрица весовых коэффициентов межнейронных связей Q( N х N) определяется выражением (6); в этом выражении п определяет порядок аппроксимации метода Рунге-Кутта. Точность нахождения решения СЛОДУ при фиксированной структуре ИНС (полносвязная рекуррентная) определяется только весовыми коэффициентами её межнейронных связей qrl, qll.

4.Поскольку в qrl и qll присутствует шаг

интегрирования Л, то ИНС для интегрирования СЛОДУ методами Рунге-Кутта является синхронной с шагом синхронизации не превышающим Л.

5.Требуемая точность решения СЛОДУ может быть обеспечена выбором величины шага интегрирования Л и соответствующего ему порядка аппроксимации метода Рунге-Кутта п.

Литература

1. Бахвалов Н.С., Лапин А.В., Чижонков Е.В. Численные методы в задачах и упражнениях. Учеб. пособие. / Под ред. В.А. Садовничего — М.: Высш. шк. 2000. — 190 с.

2. Мантуров О.В. Курс высшей математики. — М.: Высш. шк., 1991. — 448 с.

3. Галушкин А.И. Нейронные сети: основы теории. — М.: Гор. линия-Телеком, 2012. — 496 с.

4. Галушкин А.И. Теория нейронных сетей. — М.: ИПРЖР, 2000. — 416 с.

5. Самойленко А.М., Кривошея С.А., Пересюк Н.А. Дифференциальные уравнения: примеры и задачи. — М.: Высш.шк., 1989. — 383 с.

Integration of systems of differential equations in the neuristive logical basis

Vinokurov I.V.

MSTU. N.E. Bauman

Artificial neural networks (ANN), which, as a rule, realize a mass parallelism of computations, can reduce the time for finding the solution of systems of differential equations by any of the existing methods to a minimum. This feature of the ANN gives grounds to assert that the neural network principles of the computational process organization will allow not only to solve the differential equations for the required time, but also raise the organization of their solution to the level of organization of calculations in intellectual systems. The principal possibility of using Runge-Kutta numerical methods for integrating systems of linear homogeneous differential equations in a neural network logical basis is investigated in the article. The main features of ANN are found for finding the solution of a system of linear homogeneous differential equations by Runge-Kutta methods. A technique is proposed for the formation of an artificial neural network for the integration of a system of linear homogeneous differential equations by the Runge-Kutta

Keywords Artificial neural network, neural network logical basis, neuron-like element, activation function, systems of differential equations, Runge-Kutta methods.

References

1. Bakhvalov N.S., Lapin A.V., Chizhonkov E.V. Numerical methods in tasks and exercises. Studies. grant. / Under the editorship of V.A. Sadovnichiy — M.: Vyssh. wk. 2000. — 190 pages.

2. Manturov O.V. Course of the higher mathematics. — M.: Vyssh. wk., 1991. — 448 pages.

3. Galushkin A.I. Neural networks: theory bases. — M.: Mountains. liniya-Telecom, 2012. — 496 pages.

4. Galushkin A.I. Theory of neural networks. — M.: IPRZhR, 2000. — 416 pages.

5. Samoylenko A.M., Krivosheya S.A., Peresyuk N.A. Differential

equations: examples and tasks. — M.: Vyssh.shk., 1989. — 383 pages.

О

R »

£

R

n

4