CC BY
132
Раздел IV. Нейронные сети и нейросетевые технологии
А.Н. Васильев, Д. А. Тархов
НЕЙРОСЕТЕВЫЕ ПОДХОДЫ К РЕШЕНИЮ КРАЕВЫХ ЗАДАЧ В МНОГОМЕРНЫХ СОСТАВНЫХ ОБЛАСТЯХ
В данной статье обсуждаются некоторые конкретные приложения идей и методов, заявленных в программной работе авторов [1] и статье [2].
Описание систем с распределенными параметрами в стационарных ситуациях приводит, как правило, к построению математической модели системы в форме нелинейной краевой задачи для уравнения (или системы уравнений) в частных производных. Рассмотрение многокомпонентных систем существенно усложняется появлением разрывных коэффициентов при рассмотрении областей составного типа. Рассмотрим краевую задачу математической физики вида
Ь(и) = g, и = ЦхХ хеОсЯр,П = иПк,Ь а = Ьк,g
к
в, (и) г = /,, дп=г =и Г,
где Ь и В, - некоторые операторы в частных производных и коэффициенты этих
операторов; функции £ и / могут быть разрывными, а область О - несвязной.
Мы предполагаем, что О и дО можно разбить на несколько компонентов связности, на каждом из которых входящие в условие задачи функции непрерывны.
В некоторых случаях симметрия задачи дает возможность решить ее аналитически, но обычно задача решается приближенно. Существует множество традиционных подходов к численному решению таких задач - различные модификации метода Галеркина, метод сеток, конечных элементов, граничных интегральных уравнений, асимптотических разложений и др. Нами предлагается подход, опирающийся на методологию нейронных сетей, которая в настоящее время все более расширяет сферу своих приложений [3,4,5].
Приближение к решению будем искать на множестве нейросетевых функций
вида
N
и (Х) = £ Скик «к )
к=1
путем подбора как весовых коэффициентов Ск , так и векторных параметров а к ,
к = 1,..., N.
В случае если ик (х, ак ) = v(ак ||х - Хк 11), где v(р) = ехр(—р2 ), мы используем нейронные сети из радиальных базисных функций - КБР-сети (возможен выбор и другого вида функций V в качестве базисных). Обычно для этих сетей выбираются базисные функции и,, которые характеризуются центрами х, ({х,} -
некий набор точек №), но можно учесть и поведение функции вдоль лучей, выходящих из центра, т.е. и, = и, (р, у), где (р, у) - сферические координаты вектора
х — х,, х(г, ф)- текущая точка. При этом метод конечных элементов получается
как частный случай RBF-сети при соответствующем выборе функции ut. Если положение границы элемента относительно его центра характеризуется некоторой функциейр = аг(у), то можно принять ut = (1 — р/аг(у)) +, где, как обычно,
iw, w > 0; обозначено W+ = <
+ [0, w < 0.
При этом для многогранной границы получаем кусочно-линейную функцию, для которой аг (у) выводится из уравнений соответствующих гиперплоскостей,
т.е. на соответствующих областях изменения у получаем аг (У) = Рг ^ У i ). Если мы хотим, чтобы базисная функция на границе имела нулевую производную, тогда можно принять иг = (1 — р/ at (у))+2. Для базисной функции вида
ut = (1 + 2 р / аг (у ))(1 — р / аг (у))+2 получаем гладкую вершину. Ещё некоторое усложнение позволяет получить гладкую поверхность с многоугольным основанием, но в рассмотрение этого вопроса мы в данной работе углубляться не будем.
В случае функций uk сигмоидального вида мы приходим к другому типу
нейронной сети - однослойному персептрону. Традиционно используются представления персептрона в виде
n
u = ^(x) = Z ЬгУІАг • x — Єг ) + К
i=1
где нелинейная активационная функция у задается как у(s) = sj(1 + |s|), возможны и другие формы активационных функций у, например, у(s) = th(s) ; коэффициенты b0,b,d;,et - настраиваемые параметры (веса), n - число нейронов. В результате получается персептрон с одним скрытым слоем. Можно рассмотреть и персептрон с несколькими скрытыми слоями, подавая на вход последующего слоя выход предыдущего. Интересно рассмотреть и обобщения: линей-p ppp ное u = g0 + ^ g ■ xt или квадратичное u = д0 + ^ g ■ хг + ^ ^ gj ■ хг ■ xj, i=1 i=1 i=1 j=1 где коэффициенты g - персептроны. Подобные архитектуры нейронных сетей позволяют рассмотреть отличный от упомянутого выше способ вложения конечноэлементной аппроксимации в нейросетевую. Рассмотрение персептрона с функцией активации вида у( s) = sign(s) позволяет представить любую кусочнопостоянную функцию, а приведённые выше конструкции - кусочно-линейную и т.д.
Выбор типа сети, ее структуры и методов обучения обычно определяется свойствами коэффициентов рассматриваемой задачи. В задачах с гладкими коэффициентами успешно применяются RBF-сети, в задачах с негладкими коэффициентами, разрывными решениями предпочтение следует отдать персептрону. Возможно применение и других типов нейронных сетей - в нестационарных задачах могут использоваться рекуррентные сети, они могут применяться и в стационарной ситуации для составных областей сложной формы с алгоритмами обучения сети типа альтернирующего метода Шварца. Заметим, что сочетание нейросете-вой аппроксимации решений краевой задачи (скажем, с помощью RBF-сети) с методом коллокации (уравнение удовлетворяется не во всей области, а в конеч-
ном наборе точек) при неподвижных центрах х; и параметрах ак [6,7] обладает
определенными недостатками (поведение решений между узлами коллокации, порядок и обусловленность получающихся систем и др.).
Предлагаемый метод обучения сети основан на методах нелинейной минимизации функционала ошибки, который проще всего взять в виде
■> (и)=I /14 (я) - g, Г ап+I / В Щ (и) - /\! аг
к П і Г
или его дискретного аналога
М 2 м 2
1 (и ) = 11 \Ьк (и) - 8к\ (х Л ) + 11В' Щ (и ) - /г\ (Х и ).
к 1к =1 і и =1
Можно свести решение исходной задачи к минимизации других функционалов, построенных на вариационных принципах, но поиск таких принципов - отдельная задача, которую не всегда удаётся решить. Кроме того, наш подход использует возможность варьирования векторных параметров хк и ак и позволяет
тем самым уменьшить число функций - элементов нейронной сети.
Не следует думать, что сущность нейросетевого подхода состоит просто в том, что решение ищется в другом функциональном базисе, пусть даже известно, что этот базис является универсальным, т.е. позволяет представить любую функцию из достаточно широкого класса в виде линейной комбинации элементов базиса. Более важным является то, что открывается возможность применения многих других идей, специфических для искусственного интеллекта - кластеризация, генетические алгоритмы и т.д. Результатом должно стать создание системы, которая будет «умнеть» с каждой новой решённой задачей, т.е. решать следующие задачи быстрее и точнее, чем предыдущие.
При подстановке нейросетевых функций в функционал J(и) получаются интегралы, которые вычисляются аналитически только в исключительных случаях. Если применить для оценки этих интегралов какой-либо численный метод, основанный на вычислении подынтегральной функции в некотором дискретном наборе точек, то функционал J(и) сведётся к некоторому аналогу функционала I(и) . При таком подходе получается нечто похожее на метод коллокации. Принципиально другая ситуация возникает, если применить к вычислению интегралов метод Монте-Карло. Простейший его вариант состоит в том, что подынтегральная функция вычисляется в некотором наборе случайных точек, распределённых равномерно внутри области (если область конечна) с последующим усреднением результата. Для бесконечной области приходится брать другое распределение, например нормальное. Но если процедуру выбора точек производить только один раз, то ничего принципиально нового не получается. Наш опыт показал, что гораздо более эффективным является подход, при котором после заданного числа шагов оптимизации функционала (этапа обучения) происходит перегенерация точек, затем оптимизируется новый функционал и далее эта процедура повторяется необходимое число раз. При этом для оценки ошибки внутри области можно применить обычные статистические процедуры.
Остановимся на особенностях, присущих решению задач в составных областях. В случае если область разбивается на компоненты связности, на каждой из которых коэффициенты непрерывны, существует два принципиально различных подхода. При первом ищется сеть, дающая приближённое решение во всей области. Достоинством такого подхода является простота реализации и бесконечная гладкость полученного решения в случае выбора соответствующих функций ак-
тивации. Главный недостаток состоит в том, что мы пытаемся точные решения, которые могут быть разрывными или у которых разрывны первые или вторые производные, приблизить бесконечно гладкими функциями - в такой ситуации не следует ожидать очень хорошей точности. При втором подходе для каждой подобласти строится своя сеть. Достоинством такого подхода является большая точность аппроксимации для каждой подобласти при фиксированном числе нейронов, недостатком - необходимость стыковать сети между собой, что влечёт усложнение алгоритма. При этом стыковку можно производить либо добавляя соответствующее слагаемое в функционал и обучая всю совокупность сетей сразу, либо чередуя процессы раздельного обучения сетей с процедурой их стыковки, построенной, например, на основе упомянутого выше альтернирующего метода Шварца. Если границы раздела подобластей заранее неизвестны, то для их задания можно использовать отдельные сети, которые обучаются вместе с обучением сетей, задающих решение краевой задачи. Подобный подход применялся нами при построении математической модели калибратора переменного давления [8].
Ещё одна возможность управлять результатами процесса обучения - неравномерный выбор пробных точек. Если мы хотим добиться равномерной аппроксимации (уменьшения максимальной ошибки), то нам надо учесть тот факт, что максимальных ошибок следует ожидать в окрестностях особенностей и стыков, поэтому пробные точки там следует брать гуще. Если нас интересует ошибка вдали от особенностей, то, наоборот, точки в окрестности особенностей нужно брать реже.
Более изощрённый подход - подбирать структуру сети в процессе обучения. Самый простой вариант такой адаптивной процедуры - добавлять нейроны по мере необходимости. При этом можно использовать вычисляемые в процессе обучения сети ошибки в удовлетворении уравнения и граничных условий, кластеризовать их и центры кластеров брать в качестве начального приближения для центров КБР-сетей, доучивая сеть, если это необходимо. Аналогичную процедуру можно применить и для персептрона, но в этом случае роль центров играют линии максимальной крутизны (переключения в случае разрывной функции активации). Можно применить и более сложные варианты, такие как различные генетические алгоритмы, например процедуры типа многорядного алгоритма МГУА[9, 10].
Ещё одно направление уменьшения ошибки - использовать коллектив сетей по аналогии с процедурами, рассмотренными в [11]. При таком подходе обучается не одна сеть, а несколько, после этого для каждой сети определяется область, в которой она даёт наименьшую ошибку (при этом можно использовать сети Кохо-нена), при необходимости сети доучиваются - каждая в своей области - и для расчётов используется своя сеть. Можно этот подход развивать и дальше - использовать не одну сеть для каждой точки, а взвешенную сумму выходов нескольких сетей и т. п.
В качестве модельной задачи рассмотрим следующую краевую задачу для
двумерного оператора Лапласа: пусть О ^ К2 - ограниченная область с кусочногладкой границей дО; О <^О - ее строго внутренняя подобласть; требуется найти решение и (х, у) однородной задачи Дирихле для уравнения Пуассона
Аи = ихх + иуу = g , где g(Xу) = 0при (ху) е°\D, и|эо = °.
Для численных расчетов выбирались
О: х2 + у2 < 1,0: (х- Хо)2 + (у-уо)2 < г2, Хо = 0.4,уо = 0,г = 0.4, g = А = 10,( х, у) е О, g = 0,( х, у) еО \ О.
Рассмотрим для этой задачи с учетом ее симметрии следующие реализации предложенных нейросетевых подходов к решению.
В качестве единой нейронной сети использовалась КБР-сеть с гауссовыми базисными функциями
N ( Г” _1^
и(х,у) = 2С ехР\-аг (х-X)2 + ((-У )2 }
г=1 ' '
(или персептрон с одним скрытым слоем), алгоритм обучения сети - метод случайного поиска с перегенерацией точек тестовых множеств после каждого этапа обучения. В качестве функционала ошибки J (и) выбран интеграл Дирихле (как один из возможных вариантов)
J («)=tf
Q
+2 gu
dxdy.
Однородные краевые условия учитываются введением в функционал штрафного слагаемого
Z./1
80 • | |u(cos 3, sin 3)|2d3.
Можно, используя симметрию задачи (подобно тому, как это делалось в работе авторов [2]) и специальный вид функции g, привести J(и) к виду
J(и) = ]Т 8ncickaiak exp {-[at (( + y2) + ak ( + y2k )} x
i,k = 1
-(xi+[xx+-k+c; )] exp [-(ai+ak + ал)k+(ад+^)k)+
(xk + ytyk )-
-(x,+ Xk [x,+akxk)-(yi + yk )(qy,+akyk)]
Г (ax+akxk)2+(a;+akyk)21
1 + (a + ak)[- (X + xk [xi + akxk)-( у, + yk )(aiyi +akyk)]
Г (ax+akxk)2+( a; +akyk)21
К1(аг+Ос ^ л/сагхг+акхк)г+"(а1уг+а1ук)г )-Кз(аг + ак ^л/(а^ХГ+акХк)Г+(а1уГ+а1уГ)Г)
+42 2 С ехр{-а4[(4 - х0)2 +(Ус - у0)2]}К1(а4г2, °кГу1(хк - х0)2 +(ук - у0)2), к=1
1
где К(ав) = |exР(-aP2)Io(2вP)pdP, р =1,3
0
Штрафное слагаемое также может быть упрощено и преобразовано к виду
N /-------------------------
¿0 -{2^Х ССк еХР[-аг (1 + Х + Уг2) -ак (1 + 4 + У2)]/0(^(агХг- + ОкХк )2 + (ОУг + ОкУк )2 ).
г,к =1
Таким образом, функционал сводится к конечному числу слагаемых, в которые наряду с модифицированной функцией Бесселя 10 входят лишь два интеграла К1 и К3, зависящие от двух комбинированных параметров. Заметим, что эти
интегралы можно не вычислять на каждом шаге итерационного процесса, а вычислить в некотором достаточно представительном множестве точек и проинтер-полировать, например, при помощи отдельной КБР-сети.
В случае двухкомпонентной сети получаются результаты подобного рода, однако в функционал требуется ввести еще и условие согласования компонентов
сети. Обозначив через и + (X, у) и и (X, у) нейросетевые аппроксимации реше-
ния в области П и О \ П соответственно, получаем следующее представление для функционала ошибки J(и+, и ) :
( ди + ^ ( ди + | ёхёУ - Ц В (ди ^ Г ди |
дх J ' 1 дУ ) _ дх >1 ' 1 дУ J _
дхйу +
-я
ди
■У (
дх
ди
У
ду
ёЗ.
dxdy + 2 А| и+ёхёу + 80 • |
В дО
Каждое из первых двух выражений заменой переменных сводится к первому слагаемому в выписанном выше представлении функционала J(и) для измененных значений параметров
а- ^ г2а±к,хк ^ (х± -хо)1г,У- ^ (Ук -УоУг,
последние же два выражения - в точности J(и ). Условия стыковки на границе
дВ могут быть включены в функционал, например, в виде слагаемых, имеющих структуру выражений, рассмотренных выше:
¿.л
£ с+ ехр!-а; [г2 - 2г(х+ соэ ф+у+ этф) +(х+)2 + (Ук)2 ]} -
к=1
N -
-2с- ехР{-а-[г2 -2г(хк соэф + У- зіпф^) + (хк)2 + (Ук)2]}
к=1
ёф.
Аналогично могут быть исследованы условия более гладкой склейки реше-»_» ± ний и .
Приведем другой возможный вариант выбора функционала ошибки:
J (и) = ||Ди -g\ дхйу = ||Ди - А| дхйу + | |Ди| ёхёу.
О П О\П
Подразумевается, что однородные краевые условия, как и ранее, вводятся в
С I I2
выражения для функционала ошибки штрафным слагаемым 50 • I и йЗ.
¿дО.' '
В случае построения единой аппроксимирующей сети перепишем функционал в виде
J(и) = {|Ди| Зхйу-2А^Ди&хйу + пг2А2.
О П
При подходе, использующем двухкомпонентную сеть, удобней представле-
ние
J(и+, и ) = ЦДи +| (Ъхйу + | |Ди | (Ъхйу - 2А^Ди+Зхйу + пг2А2 =
П О\П П
= ||Ди * |2 ёхёу - ||Ди -12 ёхёу + ||Ди 1 ёхёу - 2 А | Ди+ёхёу + пг2 А2.
ПП О П
Выражение для лапласиана в случае функции Гаусса имеет вид
N
Ди = 4^ С ехр[-аг ((х - х )2 + (у - уг )2)]а2[(х - х )2 + (у - у1 )2 - а-1 ].
2
+
2=1
Подставляя его в выражения для функционалов ошибки и учитывая при необходимости условие стыковки компонентов нейронной сети, как это сделано ранее, проведем упрощение. И в этих случаях также приходим к представлению каждого из функционалов в виде конечного числа слагаемых, содержащих интегралы типа К р, которые могут быть затабулированы и заданы изначально.
Таким образом, во всех этих постановках задачи симметрия позволяет построить аппроксимирующие нейросети, которые характеризуются существенно меньшим набором параметров в сравнении с предложенными подходами для общих случаев.
Ниже приведен график решения и, которое получено с помощью единой нейронной сети, составленной из 20 линейных элементов с коэффициентами -однослойными персептронами с функцией активации у(5) = 5) или КБР-
функциями в виде гауссовых пакетов. Обучение проводится на основе минимизации функционала второго типа. Результаты обучения сходны, но для второго случая достижение определенного уровня обучения происходит быстрее.
Рис.1. График нейросетевой аппроксимации решения и
В качестве другого модельного уравнения рассматривалось нестационарное нелинейное уравнение Шредингера вида
/¥ ( + А¥ + у\Ч\2 ¥ = я (х) ехр[/(к • х - М)],
к = (кх, ку) е К2,х =(х У) е К2, к • х = кхх + куу.
Это уравнение широко применяется для описания нелинейных волновых процессов - световых пучков в волноводах, колебаний в плазме, эффектов в теории сверхпроводимости и т.д. Если искать его решение в виде плоской волны ¥^,х) = и(х)ехр[/(к• х — М)], то для функции и = и(х) = и(х,у) получаем стационарное уравнение Шредингера с кубической нелинейностью
Ь(и) = Аи — {(|к|2 — а>')и — 2/к •У и — у\и|2 и} = g.
Кроме уравнения, необходимо задать и граничное условие. Можно задать два типа условий. Во-первых, можно рассматривать решение уравнения в ограниченной области а на плоскости - для численных расчетов и здесь в качестве модельной области выбирался круг О : X + у2 < 1 - и задать условие на границе области (круга). При этом если g ф 0, то это условие можно задать однородным. Во-вторых,
можно рассматривать решение уравнения во всей плоскости, при этом в качестве граничного условия обычно выступает требование ограниченности или квалифицированного стремления к нулю на бесконечности. Рассматриваемый класс КБР-сетей удовлетворяет этому условию автоматически, более того, получающиеся функции достаточно быстро стремятся к нулю на бесконечности. При обучении нейронной сети в этом случае часть тестовых точек бралась равномерно распределённой в окрестности особенности, а часть - нормально распределённой во всей плоскости.
В качестве g использовались функции двух типов с носителем в некотором
небольшом круге В : (х — х0)2 + (у — у0)2 < г2, х0 = 0.4, у0 = 0, г = 0.4, расположенном внутри исходного круга О. Одна функция g равна константе в круге В, т.е. является цилиндрической ступенькой: я = А = 10; (х, у) е В; я = 0;
(х, у) е а \ В . В этом случае получаются вполне приемлемые результаты, если исключить окрестность границы этой ступеньки (или выбирать при обучении специальный закон распределения тестовых точек).
Рис. 3. График решения и (ЯБЕО, N = 25, кх =— 1, ку = 1, м = 20, V = 1)
Вторая функция % - это гладкая функция с гладкой вершиной:
Я = 10{1-[((х- *0)2 +(У -Уо)2)1г2]2}(Xу)е А я = 0(Xу)\В
По понятным причинам для такой функции результаты получаются существенно лучше.
Несомненный интерес представляет рассмотрение аппроксимации решения для всей плоскости в случае гладкой правой части % в виде гауссова пакета
Я(* У) = А ехр{-(х - х°)2 - (у - у°)2}.
Здесь А = 100, х° = 0.4, у° = 0; обучалась Гауссова КВБ-сеть из 10 элементов.
Рис. 4. График решения и (ЯБЕО, N = 10, кх =-1, ку = 1,ф = 20, V = 10)
Особенно наглядно видно качество нейросетевой аппроксимации на следующем рисунке.
Соответствующие подходы можно было бы применить и для уравнения теплопроводности
ди 2 д2и
-----а —7 = Я
Ы дх
в случае разрывных коэффициентов для области составного типа при известной границе раздела. Однако гораздо интересней рассмотреть подобную задачу моделирования многокомпонентной системы, в которой эта свободная граница раздела
- фронт фазового перехода - изначально неизвестна и определяется в процессе решения задачи. Пример подобной нелинейной задачи - задачи Стефана - рассмотрен авторами в работе [12].
Рассмотренные выше задачи требуют большого объема вычислений. Они могут быть ускорены в сотни раз при аппаратной реализации нейросетей [4].
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Васильев А.Н., Тархов Д.А. Нейронные сети как новый универсальный подход к численному решению задач математической физики // Нейрокомпьютеры»: разработка, применение. М.: Радиотехника, 2004, №7-8.
2. Васильев, А.Н. Тархов Д.А. Новые подходы на основе RBF - сетей к решению краевых задач для уравнения Лапласа на плоскости // Нейрокомпьютеры»: разработка, применение. М.: Радиотехника, 2004, №7-8.
3. Simon S.Haykin, “Neural Networks: A Comprehensive Foundation”, Macmillan, New York, 1994. 696 p.
4. Горбаченко В. И. Нейрокомпьютеры в решении краевых задач теории поля // Научная серия «Нейрокомпьютеры и их применение» / Под. ред. А.И.Галушкин. Книга 10. М.: Радиотехника, 2003. 333с.
5. Terekhoff S.A., Fedorova N.N. “Cascade Neural Networks in Variational Methods For Boundary Value Problems”, Russian Federal Nuclear Center - VNIITF.
6. Edward J. Kansa, “Motivation for using radial basis functions to solve PDEs”, Lawrence Livermore National Laboratory and Embry-Riddle Aeronatical University, 1999, http://www.rbf-pde.uah.edu/kansaweb.ps.
7. Bengt Fornberg, Elisabeth Larsson, “A Numerical Study of some Radial Basis Function based Solution Methods for Elliptic PDEs”, Computers and Mathematics with Applications, 46 (2003), pp.891-902.
8. Васильев А., Тархов Д., Гущин Г. Моделирование калибратора переменного давления с помощью системы нейронных сетей // Сб. докладов Международной конференции по мягким вычислениям и измерениям - SCM'2004, Т.1. 2004. С.304-308,
9. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987. 120с.
10. Ivakhnenko A.G., Ivakhnenko G.A., Muller J.A. Self-organization of neural networks with active neurons, Pattern Recognition and Image analysis 2:185-196(1994).
11. Растригин Л.А., Пономарёв Ю.П. Экстраполяционные методы проектирования и управления. - М.: Машиностроение, 1986. 120с.
12. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей // Известия ТРТУ. № 9(44). Таганрог. Изд-во ТРТУ, 2004. С. 89-99.
А.Н. Васильев, Д.А. Тархов
ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ К МОДЕЛИРОВАНИЮ МНОГОКОМПОНЕНТНЫХ СИСТЕМ СО СВОБОДНОЙ ГРАНИЦЕЙ
Продолжим обсуждение некоторых конкретных приложений идей и методов, заявленных в программной работе авторов [1] и статье [2]. Рассмотрение многокомпонентных систем существенно усложняет процесс построения математической модели и ее исследование ввиду появления границы раздела компонентов
