Бессеточные нейросетевые алгоритмы моделирования физических полей в неоднородных и нелинейных средах Текст научной статьи по специальности «Математика»

ИЗВЕСТИЯ

ПЕНЗЕНСКОГО ГОСУДАРСТВЕННОГО ПЕДАГОГИЧЕСКОГО УНИВЕРСИТЕТА имени В. Г. БЕЛИНСКОГО ФИЗИКО-МАТЕМАТИЧЕСКИЕ И ТЕХНИЧЕСКИЕ НАУКИ № 18 (22) 2010

IZVESTIA

PENZENSKOGO GOSUDARSTVENNOGO PEDAGOGICHESKOGO UNIVERSITETA imeni V. G. BELINSKOGO PHYSICAL, MATHEMATICAL AND TECHNICAL SCIENCES № 18 (22) 2010

УДК 004.032.26

БЕССЕТОЧНЫЕ НЕЙРОСЕТЕВЫЕ АЛГОРИТМЫ МОДЕЛИРОВАНИЯ ФИЗИЧЕСКИХ ПОЛЕЙ В НЕОДНОРОДНЫХ И НЕЛИНЕЙНЫХ СРЕДАХ

© В. И. ГОРБАЧЕНКО, Е. В. АРТЮХИНА Пензенский государственный педагогический университет им. В. Г. Белинского, кафедра вычислительных систем и моделирования e-mail: [email protected]

Горбаченко В. И., Артюхина Е. В. - Бессеточные нейросетевые алгоритмы моделирования физических полей в неоднородных и нелинейных средах // Известия ПГПУ им. В. Г. Белинского. 2010. № 18 (22). С. 130-136. -

Разработаны алгоритмы обучения весов радиальной базисной нейронной сети для решения краевых задач математической физики, описывающих физические поля в неоднородных и нелинейных средах. Проведены экспериментальные исследования разработанных алгоритмов, которые показали их эффективность.

Ключевые слова: радиально-базисная нейронная сеть, краевая задача математической физики, градиентные методы обучения.

Gorbachenko V. I., Artyukhina E. V. - Gridless neural network algorithms of modeling the physical fields in heterogeneous and non-linear environments // Izv. Penz. gos. pedagog. univ. im.i V. G. Belinskogo. 2009. № 18 (22). P. 130-136. - The algorithms of teaching the scales of radial basis neural network for solving the boundary problems of mathematical physics in heterogeneous and non-linear environments are worked out. The experimental research of these algorithms which showed their effectiveness is carried out.

Keywords: radial basis neural network, boundary problems of mathematical physics, gradient methods of teaching

В настоящее время многие задачи науки и техники в процессе математического моделирования сводятся к решению краевых задач, описываемых дифференциальными уравнениями в частных производных (ДУЧП). Краевые задачи отличаются большой вычислительной сложностью и как следствие этого чрезвычайно широким спектром методов и средств решения.

В последнее десятилетие в области решения краевых задач математической физики появилось перспективное направление, связанное с применением нейронных сетей.

В настоящее время большой интерес вызывают методы решения ДУЧП с применением радиальные базисных функций (RBF) [13]. Эти методы могут быть эффективно реализованы на радиально-базисных нейронных сетях (RBFNN) [12; 14; 3; 15; 16; 10].

Многие практически чрезвычайно важные классы реальных задач описываются как краевые задачи математической физики для неоднородных и нелинейных сред [1, 5, 6, 9], например, реальная задача фильтрации нефти в неоднородном пласте.

Целью данной работы является рассмотрение возможностей применения RBFNN для решения краевых задачи математической физики для неоднородных и нелинейных сред.

Радиально-базисная нейронная сеть (рис. 1) - это сеть с двухслойной структурой, первый слой выполняет нелинейное отображение, реализуемое нейронами с базисными радиальными функциями, выходной слой линеен [7, 11].

Рассмотрим работу RBFNN при решении ДУЧП. На вход сети подаются координаты точек области (точек коллокации) x = (хг,x2,...xn), n -размерность пространства. Радиальная функция каждого нейрона характери-

зуется своими параметрами: центром с* = (с\,с\,...спк) и шириной ак >0 , которые уточняются в процессе обучения. Каждый нейрон радиально-базисного слоя выполняет нелинейное преобразование фк , аргументом которого является расстояние от точки х до соответствующего центра ск. Роль выходного слоя сводится к взвешенному

т

суммированию сигналов, поступающих от нейронов скрытого слоя ^ ^к фк (х). На выходе получаем значение иск =1

комой функции в точке х:

т

и ( х ) = £ ^кФк ( х), (!)

к=1

где т - число радиально-базисных функций (скрытых нейронов). Обучение сети сводится к нахождению неизвестных параметров w, а, с.

И

Радиально-базисная сеть аппроксимирует производные функции и (х). Из (1) производные функции и (х) рассчитываются следующим образом

uj..., ( x ) =

дки

■=z

dXj ...dxl /=i

w

W ф1

km ('■)

dxj ...dxl

Существует целый ряд различных типов RBF [13; 17]:

Наиболее часто используемыми являются: Гауссиан

Фк = exp (-Г2/ ак 2),

мультиквадрик Харди (Hardy MQ)

/ 2 2\n/2

Фк =(Гк + ak ) ,

обратный мультиквадрик

Фк = W r2+ak2.

В работе в качестве радиальной базисной функции будем использовать Гауссиан (2).

В ряде работ [15, 17] RBFNN применялась для решения двумерного уравнения Пуассона.

Дм = f ( x), x eQ, du

км + к — 1 2 dn

= p (x) x e dQ,

ди

где к1 и к2 - заданные функции точки границы дО; / и р - известные функции х; _ - производная искомой функции по нормали к границе дО.

(2)

(3)

(4)

Для нахождения и , определяем функционал ошибки как сумму квадратов невязок, получаемых при подстановке и (1) и производных в уравнение (3) и в граничные условия (4)

N I- , ч . . . . -| 2 А.

I (М>, С а) = £ Гмп ( Х{,)) + «22 (Х{,)) - / (х('>)] + £

1=1 j=1

(5)

где х^ е О, х(’) едО, I = 1,2,...,N, у'= 1,2,...,^ - контрольные точки.

Нахождение весов линейного слоя сети в [15] осуществлялось с помощью решения системы линейных алгебраических уравнений, при зафиксированных, определенных по некоторому правилу, нелинейных параметрах сети (алгоритмы QR-разложения и SVD).

В [17] использовался двухступенчатый градиентный алгоритм обучения, минимизирующий функционал I

(') М (')

путем настройки весов V , центров с и ширины а .

В работах авторов [2] разработан и исследован алгоритм обучения на основе метода сопряженных градиентов, минимизирующий квадратичный функционал ошибки. Данный алгоритм обладает высокой вычислительной эффективностью, позволяет сократить время решения задачи на порядок по сравнению с методом доверительных областей, сокращение времени более значимое по сравнению с методом скорейшего спуска и градиентным методом с подбираемым коэффициентом обучения для весов.

Решение эллиптических краевых задач в неоднородной среде

Рассмотрим уравнение, описывающее процессы в неоднородной среде, на примере задачи Дирихле для двумерного уравнения эллиптического типа [4, 8].

У(стУи ) = f (х), х еО, (6)

и = р(х), х е дО. (7)

Для нахождения и , определяем функционал ошибки как сумму квадр атов невязок, получаемых при подстановке и (1) и производных в уравнение (6) и в граничные условия (7)

-|2

I(м>,с,а) = 1 £ у(ст(х(і))уи(х(і)))-/(х(і))] +1и(х^)-р(х^)]

(8)

где х(і) є О, х(і') є дО, і = 1,2,.г,N, ) = 1,2,.„,К - некоторые фиксированные дискретные точки, N и К - коли-

чество внутренних и граничных контрольных точек, X - штрафной множитель.

В случае линейной задачи с зависимостью ст от координат получаем

У( У )= д Г ди ^ д Г ди ^ = дст ди дст ди Гд 2и д2и дх1 ^ йг1у дх2 Ч дх2у дх1 дх1 дх2 дх2 Ч дх^ дх^

Учитывая представление решения в форме (1) и вид базисных фхнкций (2), получаем:

( д2и д 2иЛ

дх2 дх2

„ ч дст ди дст ди У(стУи ) =----------------------+-+ ст

дх1 дх1 дх2 дх2

Введем обозначения, невязка во внутренних контрольных точках

, V ^ 1 { дст ( ) дст ( ч гк - а Л

= — -^(х1 - с1к)^т—(х2 - с2к) + 2ст-----------Г

ак ч дх1 дх2 ак у

к=1

^=у (ст (х(і))уи (х(і))) - / (х(і))=£ wkmik- / (х(і))

где

тік =—е

ак2

-^ (х," - С1к )~ (х;'' - С2к )

ак дх^ ' дх2 '

Тогда вектор невязки о внутренних контрольных точках имеет вид

R1 = Mw - f,

где М - матрица N х т с элементами (11), R1 - вектор с элементами (10).

(9)

(10)

(11)

(12)

2

2

Вектор невязки в граничных контрольных точках

R2 = Nw - р, (13)

где N - матрица К х т с элементами

_ г/

п* = еа , (14)

р - вектор с элементами р..

В матрично-векторной формулировке с учетом (12) и (13) функционал ошибки примет вид

1 2

I ( ш, с, а ) = - ( ^, ^ ) + у ( R2, R 2). (15)

Будем использовать градиентный алгоритм обучения для минимизации квадратичного функционала для нахождения весов линейного слоя сети RBFNN. Для обучения нелинейных параметров центров и ширины градиентный алгоритм обучения, приведем формулы для расчета компонентов градиента функционала по параметрам сети. Компоненты градиента функционала по линейным параметрам сети - весам шк:

дт N К

-г- = Е ^тл +2-Х R2 Пк, (16)

С^к 1=1 1=1

где тл и п* вычисляются по формулам (11) и (14).

Компоненты градиента функционала по нелинейным параметрам сети - ширине RBF ак:

дт N ш -4 к г 2

ТЛ = 4]ГRli^e а2 4Л + 21^шк . • П*, (17)

дак = ак м ак

где 4 = (а1 _ гк) | ~х (х(0 _ с1к)+~х (х2° _ с2к) |+2ст

а* у

Компоненты градиента функционала по нелинейным параметрам сети - центрам RBF ск:

( х1(,)_ с1к )

Т- = 4ХRuЧe ак4 + 22^,П, , (18)

5с1к ,=1 ак *=1

^=42Х ^'4 52'к+22Х. • п, •^ОМ, (19)

2к ,=1 ик 1=1 ик

где

22

Ц = 2ст(у® _с1к)Г‘к а22а* + 5^(0.как2 _(х(0 _с1к)2)

к1 _1^2 (Х1(,) _ С1к )(Х2,) _ С2к ),

= 2ст( у2,} _ С2к ) Гк 22а* +^ду- (0.ка2 _(У2') _ С2к )2 )

_'5^ (Х1(,) _ С1к )(Х2') _ С2к ).

Так как веса входят линейно в функционал ошибки, то для обучения сети можно использовать разработанные в [2] алгоритмы.

Для экспериментального исследования рассмотрим задачу Дирихле для двумерного уравнения эллиптического типа (6)-(7), где f = 3(х12 + х22), р = х13х23, функция ст зависит от координат области решения: ст = -1-.

4 ’ х1х2

Данная задача имеет аналитическое решение: и = х13х23.

к

л

Учитывая (9), получаем:

т -А- 1 Ґ 1 1

У(стУм ) = 2^ Vке ак— (X! - с1к ) + —^ (х2 - С2к ) + 2

1 г2 -

2 2 \Х1 С1к)+ 2 (Х2 С2к) + 2 2

ак ^ X Х2 Х1Х2 Х1Х2 йк у

Компоненты градиента функционала по линейным параметрам сети - весам шк вычисляются по формуле (16), где

і 1 г ік- ак

х® х2} ак2

+--------1------(Х(° - Сік ) +-----------1-----2 (х2і) - с2к )

(Xі) )2 *2° ' X0 (х2° )

Компоненты градиента функционала по нелинейным параметрам сети - ширине RBF ак вычисляются по формуле (17), где

и =-

2

_(г 4 - а V 2 + а2 - 2г 2) + (г 2 - а2)

(і) (і) \'ік ак'ікт ак ^'ік)^ \'ік ак )

х^-) — с Х^і — с Л1 и1к + 2 °2к

(х1(,)) х2,) х1(,)(х2,))

1 ік=( гк- ак)

Х(0 - с 1

х(г') - с 1к + 2 и2,

Х^ х1' '( х2' ')

1гк - 3аІгІ + а4 ^

„('■) Х(')

^1 ^2 V

Х(') Х(')

Х°) - с Л

2к

(г2 - а2)[ Х1(і) с1к + X_______________________________________

Уік аЧ І Х(і) + Х(і)

+2

- 3аІгІ + а1л

Компоненты градиента функционала по нелинейным параметрам сети - центрам RBF ск вычисляются по формулам (18) и (19), где

і) _ 2 (Х1(і) - с1к ) (Г1 - 2ак ) (Х1(і) - с1к ) - °.5ак (Х1(,) - с1к ) (Х2') - с2к )

^)=; 1к

2 (і) (і) ак Х1 Х2

(х(і)) х2і)

Х1(і)( х2і))

Х( )Х( )

2(х1(і) - с1к)(гк- 2ак) (х1(і) - с1к) - °.5ак (х1(і) - с1к)(х2° - с2к)

( )

( )

і) _2(х2° - с1к)(г1- 2ак) (Х1(і) - с1к) - 0.5аі (Х1(і) - с1к)(х2° - с2к)

5-(і)=-

2к 2 (і) (і) а Х Х

х1і)( х2і))

(х1і)) х2і)

Х( )Х( )

2(х2° - с1к)(г1- 2а2) (х1(і) - с1к) - 0.5аі (х1(і) - с1к)(х2° - с2к)

( )

( )

к=1

2

тік~ 2 Є

а

к

2

2

а

к

1

2

а

к

1

2

а

к

2

1

2

а

к

2

Экспериментальное исследование проводилось на RBFNN со следующими параметрами:

Число нейронов m Число внутренних контрольных точек N Число граничных контрольных точек K Коэффициент обучения ширины нейронов а Коэффициент обучения центров нейронов в Штрафной множитель 1

64 100 124 0.0000005 0.0000000001 2000

В результате эксперимента получены следующие результаты. Средняя относительная погрешность на сетке 0.0033. Число внешних итераций - 103, число внутренних итераций - 50. Общее число итераций - 5150. Число различных контрольных точек 22664.

Решение нелинейных эллиптических краевых задач математической физики

Большинство реальных задач являются нелинейными. Нелинейными являются краевые задачи, учитывающие зависимость характеристик среды от искомой функции, а также задачи с нелинейными граничными условиями и функциями правой части [9]. При решении уравнений теплопроводности нелинейной может быть также объемная плотность внутренних источников (стоков) тепла.

Рассмотрим решение нелинейной краевой задачи (6)-(7), с зависимостью функции ст от решения ст = ст(и). Получаем:

^ ч дст( ди ди ди ди Л ^я2*'^

У(сСТ7и ) =---------------------+-+ ст

ди V дх1 дх1 дх2 дх2 у ^^ ^2

д и д и дх,2 дхі

Если решать данную задачу рассмотренным ранее методом, то есть путем минимизации функционала ошибки (8), то веса ш сети будут входить нелинейно в функционал ошибки, что затруднит процесс обучения сети. Предлагается решать задачу, фиксируя значение ст на каждой итерации, т.о. мы приходим к решению задачи стАи = f (х), с итерационным уточнением-пересчетом функции ст = ст (и ).

1. Решение данной задачи может быть представлено в виде следующего алгоритма:Инициализируется RBFNN.

2. Генерируются координаты контрольных точек.

3. Вычисляется функция решения и (X )=! Vке

к

к=1

4. Фиксируются значения функциист: ст1 = ст(и).

5. Производится обучение RBFNN при фиксированном значении ст, то есть решается задача Аи = /1 (х), где

Л (х) = У (х)/ст1 (х).

6. Рассчитывается функционал ошибки , проверяется условие окончания итерационного процесса, если условие выполнено, то конец итерационного алгоритма, иначе переход на шаг 2.

Для экспериментального исследования разработанного алгоритма решалась модельная задача, отражающая особенности решения основных классов уравнений в частных производных и имеющая аналитическое решение и = х3 у3, что удобно для проверки получаемых результатов

д_

дх

/ \ди

ст(и )~Г

дх

д + — ду

ди

ст(и )^г

ду

где ст (и ) = 11/и / = 3( х12 + х22 ). Задача решалась в квадрате х1 є [1;2] , Х2 є [1;2] с граничными условиями первого рода р = х13х23 . Экспериментальные исследования показали эффективность разработанных алгоритмов.

Разработаны и экспериментально исследованы бессеточные нейросетевые алгоритмы моделирования физических полей в неоднородных и нелинейных средах. Эксперименты на модельных задачах показали эффективность разработанных алгоритмов.

Благодарности. Работа выполнена по тематическому плану научно-исследовательских работ Пензенского государственного педагогического университета, проводимых по заданию Федерального агентства по образованию.

СПИСОК ЛИТЕРАТУРЫ

1. Азиз Х., Сеттари Э. Математическое моделирование пластовых систем. М.-Ижевск: Институт компьютерных исследований, 2004. 416 с.

2. Артюхин В. В., Артюхина Е. В., Горбаченко В. И. Радиально-базисные нейронные сети для решения краевых задач бессеточными методами // Научная сессия НИЯУ МИФИ-2010. XII Всероссийская научно-техническая конференция «Нейроинформатика-2010»: Сборник научных трудов. В 2-х частях. Ч.2. М.: НИЯУ МИФИ, 2010. С. 237-247.

3. Васильев А. Н., Тархов Д. А. Новые подходы на основе RBF-сетей к решению краевых задач для уравнения Лапласа на плоскости // Нейрокомпьютеры: разработка, применение. 2004. № 7-8. С. 119-126.

4. Горбаченко В.И. Нейрокомпьютеры в решении краевых задач теории поля. Кн. 10. М.: Радиотехника, 2003. 336 с.

5. Ломакин Е.А., Мироненко В.А., Шестаков В.М. Численное моделирование геофильтрации. М.: Недра, 1988. 228 с.

6. Максимов М. М., Рыбицкая Л. П. Математическое моделирование процессов разработки нефтяных месторождений. М.: Недра, 1976. 264 с.

7. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с.

8. Самарский А. А. Теория разностных схем. М.: Наука, 1989. 616 с.

9. Самарский А. А., Вабищевич П. Н. Вычислительная теплопередача. М.: Едиториал УРСС, 2009. 784 с.

10. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Кн.18 М.: Радиотехника, 2005. 256с.

11. Хайкин С. Нейронные сети: полный курс. М.: Вильямс, 2006. 1104 с.

12. Fasshauer G.E. RBF Collocation Methods and Pseudospectral Methods // http://math.iit.edu/~fass/RBFPS.pdf

13. Kansa EJ. Motivation for using radial basis functions to solve PDEs // http://www.cityu.edu.hk/rbf-pde/files/overview-pdf.pdf

14. Larsson Elisabeth A Numerical Study of some Radial Basic Function based Solution Methods for Elliptic PDEs // http://citeseer.ist.psu.edu/602997.html

15. Mai-Duy N., Tran-Cong Т. Numerical solution of differential equations using multiquadric radial basis function networks // Neural Networks. 2001. № 14. P. 185-199.

16. Mark J.L. Orr Introduction to Radial Basis Function Networks. Edinburgh: University of Edinburgh, 1996.

17. Li J., Luo S., Qi Y., Huang Y. Numerical solution of elliptic partial differential equation using radial basis function neural networks // Neural Networks. 2003. 16(5/6). P. 729-734.