CC BY
91
- фронт фазового перехода - изначально неизвестна и определяется в процессе решения задачи. Пример подобной нелинейной задачи - задачи Стефана - рассмотрен авторами в работе [12].
Рассмотренные выше задачи требуют большого объема вычислений. Они могут быть ускорены в сотни раз при аппаратной реализации нейросетей [4].
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Васильев А.Н., Тархов Д.А. Нейронные сети как новый универсальный подход к численному решению задач математической физики // Нейрокомпьютеры»: разработка, применение. М.: Радиотехника, 2004, №7-8.
2. Васильев, А.Н. Тархов Д.А. Новые подходы на основе RBF - сетей к решению краевых задач для уравнения Лапласа на плоскости // Нейрокомпьютеры»: разработка, применение. М.: Радиотехника, 2004, №7-8.
3. Simon S.Haykin, “Neural Networks: A Comprehensive Foundation”, Macmillan, New York, 1994. 696 p.
4. Горбаченко В. И. Нейрокомпьютеры в решении краевых задач теории поля // Научная серия «Нейрокомпьютеры и их применение» / Под. ред. А.И.Галушкин. Книга 10. М.: Радиотехника, 2003. 333с.
5. Terekhoff S.A., Fedorova N.N. “Cascade Neural Networks in Variational Methods For Boundary Value Problems”, Russian Federal Nuclear Center - VNIITF.
6. Edward J. Kansa, “Motivation for using radial basis functions to solve PDEs”, Lawrence Livermore National Laboratory and Embry-Riddle Aeronatical University, 1999, http://www.rbf-pde.uah.edu/kansaweb.ps.
7. Bengt Fornberg, Elisabeth Larsson, “A Numerical Study of some Radial Basis Function based Solution Methods for Elliptic PDEs”, Computers and Mathematics with Applications, 46 (2003), pp.891-902.
8. Васильев А., Тархов Д., Гущин Г. Моделирование калибратора переменного давления с помощью системы нейронных сетей // Сб. докладов Международной конференции по мягким вычислениям и измерениям - SCM'2004, Т.1. 2004. С.304-308,
9. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987. 120с.
10. Ivakhnenko A.G., Ivakhnenko G.A., Muller J.A. Self-organization of neural networks with active neurons, Pattern Recognition and Image analysis 2:185-196(1994).
11. Растригин Л.А., Пономарёв Ю.П. Экстраполяционные методы проектирования и управления. - М.: Машиностроение, 1986. 120с.
12. Васильев А.Н., Тархов Д.А. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей // Известия ТРТУ. № 9(44). Таганрог. Изд-во ТРТУ, 2004. С. 89-99.
А.Н. Васильев, Д.А. Тархов
ПРИМЕНЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ К МОДЕЛИРОВАНИЮ МНОГОКОМПОНЕНТНЫХ СИСТЕМ СО СВОБОДНОЙ ГРАНИЦЕЙ
Продолжим обсуждение некоторых конкретных приложений идей и методов, заявленных в программной работе авторов [1] и статье [2]. Рассмотрение многокомпонентных систем существенно усложняет процесс построения математической модели и ее исследование ввиду появления границы раздела компонентов
(сред) системы, которая также должна быть найдена в процессе решения задачи [3,4]. Особенно сложной становится задача в случае, когда присутствует фазовый переход, то есть одна компонент переходит в другой.
Будем строить модель многокомпонентной системы в виде начально-краевой задачи математической физики вида
Ь(и) = g, и = и(г, X), (г, X) ёПс Яр+1; В, (и) т = £, дО = Г = и Г,.,
1 ,
где Ь и В, - некоторые операторы в частных производных. При этом Г (или ее
часть) не фиксирована заранее, а находится в процессе решения задачи. Для её численного решения, в отличие от традиционных подходов (метод сеток, конечных элементов, граничных интегральных уравнений, асимптотических разложений и др.), нами предлагается подход, опирающийся на методологию нейронных сетей [5], которая в настоящее время все более расширяет сферу своих приложений.
В качестве модельной рассмотрим одномерную (р = 1) нелинейную задачу теории теплопроводности, связанную с фазовыми переходами - задачу Стефана, решение которой известно и может использоваться для контроля предлагаемого нейросетевого подхода. Пусть двухфазная система описывается следующим образом: в прямоугольнике
П+ = {(г,х) еП|0 < г < Т,0 < х <%(г)},
П = (0;Т) х (0;1) = П+ и П_, где ’
П_ = |(г, х) еП |о < г < Т ,%(г) < х < 1},
требуется найти решения уравнений теплопроводности для каждой из фаз
ди± 2 д и , .
-^ = а± —±-, (г, х) е П± .
дг ~ дх
2
Здесь а± - коэффициенты температуропроводности соответствующих фаз, и± (г, х) - температуры этих фаз, которые удовлетворяют начальным условиям
и_ (0, х) = ио( х) < 0, краевым условиям и+ (г, 0) = (р(г) > 0, и_ (г,1) = /(г) < 0 и условиям на свободной поверхности - фронте фазового перехода у, заданном некоторой неизвестной функцией х = ^ (г), г > 0 , которую требуется определить в процессе решения задачи в соответствии с условиями
и| = и| = 0 _ кдН_\ = Ж
и+|х=^_0 = и_|х=^° = 0, к+ дх М_° к_ дх 1х=^+0 = 4 СИ ’
где к± - коэффициенты теплопроводности; q - теплота фазового перехода, а
для вычисления------можно воспользоваться выражением--------= —-----------.
Сг Сг ди (^ г)
дх
Следует отметить, что это только модельная задача, рассматриваемая для простоты изложения. Несложные модификации рассматриваемых ниже подходов
позволяют рассмотреть случаи, когда функции и0(х), <р(г) и /(г) меняют знак, а граница у распадается на несколько компонентов связности.
Известно, что преобразованием Больцмана уравнение теплопроводности сводится к обыкновенному дифференциальному уравнению. Решения этого уравнения для каждой из фаз при постоянных начальных и граничных условиях для по-
лубесконечной области легко находятся как u±(t, x) = A± + В±Ф(xj2a+yft), где
i = 1,2, Ф(z) = erf (z) - интеграл ошибок. Определяется и закон движения
фронта фазового перехода <^(t) = Cyjt, c - постоянная, являющаяся единственным положительным решением трансцендентного уравнения, возникающего из условий на фронте у. Похожее (но несколько более сложное) решение получается и в рассматриваемом выше случае ограниченной области.
Мы предлагаем следующие естественные с точки зрения методологии нейронных сетей подходы к задаче Стефана:
1. Аппроксимация температурных полей для обеих фаз с помощью соответствующим образом обученной RBF сети или персептрона.
2. Построение гетерогенной сети, которая включает в себя, наряду с RBF сетями для каждой из фаз, описывающими температурные режимы, еще и персептрон с одним скрытым слоем, задающий фронт у, т.е.
функцию £(t) .
3. Поиск температурного поля с помощью пространственной RBF сети (т.е. сети, входом которой является переменная x), зависящего от времени веса, который находятся из системы обыкновенных дифференциальных уравнений.
4. Использование рекуррентных нейронных сетей для задания нестационарных температурных режимов фаз.
5. Переход от задачи Стефана к вариационному неравенству и решение его с помощью нейронных сетей.
В этой работе мы остановимся на первых четырёх подходах.
При первом подходе решение поставленной задачи сведём к минимизации функционала ошибки J (u) в форме
J (u) = j
du
dt
d 2u
--a
dx
dtdx + J
du
dt
d 2u
- a
dx
dtdx +
i l +Si ■ Jl u(0, x) - u0(x)|2 dx + S2 ■ J|u(t, 0) -^(t)|2 dt-
+S3 ■ J|u(t, 1) - /(t)|2 dt + S4 ■ J
du I
du I
dx|x=i-0 ,v-aJx=^+° q dt
dt,
kl —\„=? п_k
0 0 51 > 0 - штрафные параметры для слагаемых, отвечающих начальным и
краевым условиям. В более сложном случае, когда функции и0(х), <р(г) и /(г) меняют знак, третье, четвёртое и пятое слагаемые разбиваются на части, соответствующие отрезкам знакопостоянства этих функций, которые мы можем определить, так как эти функции известны. Последний интеграл в выражении для J (и) берётся по отрезку (или отрезкам), для которого существует граница. Если граница определяется неоднозначной функцией от переменной г , тогда нужно взять соответствующее число интегралов.
Сам процесс минимизации J на специальном классе нейросетевых функций мы трактуем как процесс обучения соответствующей нейронной сети. Здесь в качестве аппроксимирующей нейронной сети выбирается КБР-сеть или персептрон
с одним скрытым слоем. Таким образом, поиск минимума осуществляется на функциях вида
и
О, х) = 2 скик ^, х ак, Рк, Ч, хк )
к=1
путем подбора весов сети ск,ак,Рк, tk, хк,к = 1,...,N. В качестве ИВБ функций выбраны Гауссианы
Щ = ехр{-а (t - 4 )2-вк(х - хк )2}.
Возможен и другой вариант выбора радиальной базисной функции, когда
1
вместо Гауссова пакета V = ехр(-г ) используют функцию Коши V = ■ 2
1 + г
или другие функции (1 + г2)л, г2к, г2к 1п г и т.п. Для персептрона выбраны функции активации
ик = й{ак (Х - Тк ) + Рк (х - хк )},
хотя можно выбрать и другие функции аналогичного сигмоидного вида.
В процессе обучения сети (минимизации функционала) используется его дискретный аналог:
л=1
ди(ґ+, х+) 2 д2и(ґі , х+)
———-а,
дґ
дх2
м -
+2
і=1
ди(ґ-, х-) 2 д2и((-, х-)
———-а
дґ
дх2
+#1 • 2 |и(0, хі0 ) - ио( хі0 )| +5 -2 |и( л ’0) - ^(?л )|
Л =1 і+=1
м мь
+5, -2 |и (л ,і) -¥( л )| +^4 -2
Л-=1
к аи(ґЛ ^ (гл )) _ к ди«Л ,#- (ґЛ )) _ ^)
дх
дх
л
/ ± ± ч М±
где используются следующие наборы тестовых точек {( ^, хт )} внутри облас-
тей п±, {(0,хЛ)Г=,,{(.0)}*'=|,{( t,1)}*'=, на участках границы области.
Последняя сумма вычисляется в окрестности свободной границы, которая определяется как линия, на которой и(Х, х) = 0.
Процесс обучения сети основан на методе случайного поиска и устроен так, чтобы избежать слипания центров {( ^, хк )}= нейронной сети. Для этого тестовые точки внутри области через определённое число шагов итерационного процесса перегенерируются. Аналогичная процедура может использоваться и для точек на границе, хотя численные эксперименты показали, что в случае подобного контрольного множества точек это не так необходимо для эффективности вычислительного процесса, как в случае тестовых точек внутри области. При этом для оценки последнего слагаемого в сумме используются точки с минимальным
по модулю значением и , а производная ------ оценивается с помощью линейной
йХ
регрессии по этим точкам в достаточно малой подобласти. Производную можно оценить и по приведённой выше формуле, т. е. заменить ее на выражение
м
ди+ ,Ад )) , ди— ,Аь ))
дх дх
ди+ (^ ,А)),ди- (л ,А))'
дХ дХ
Для неограниченной области описанный выше алгоритм требует несложной модификации. Проблема состоит в том, что мы не можем взять точки для оценки сумм распределёнными равномерно - при удалении на бесконечность количество таких точек должно стремится к нулю. Наиболее подходящим для этого представляется нормальное распределение, хотя возможны и другие варианты, при которых это распределение зависит от скорости изменения температуры, т.е. точки берутся гуще всего там, где градиент температуры максимален.
Первый подход допускает следующую нетрадиционную модификацию. Будем искать решение в виде
N
и0, х) = 2 {акхик(Х, х а1к, в1к, г 1к, х1к)+
к=1
+ЬЛО, х,а2к, в2к, т 2к, х 2к) + с№ (Х, х,ак, Рк, 4, хк)},
где ик, Ук и wk - обычные КБР или персептронные функции. Если для персеп-трона в качестве этих функций выбрать ступеньку (например, я1£п{ак (Х - Хк) + вк (х — хк)}), суммарная функция будет кусочно-линейной, что позволяет получить такое же приближение, как и в методе конечных элементов. Рассматривая бесконечногладкие функции - вроде упомянутого выше ХИ(-) -
можно получить решение, близкое к конечноэлементному, но обладающее бесконечной гладкостью. При этом конечноэлементное решение может быть взято в качестве начального приближения.
Можно рассмотреть и гибридные сети, когда часть нейронов имеют функцию активации типа КБР, а часть - типа персептрона. При этом структура сети подбирается с помощью некоторого генетического алгоритма с использованием идеологии МГУА [6].
Второй подход отличается от первого тем, что для определения и+ и и- используются различные сети, а для нахождения границы раздела фаз у используется персептрон с одним скрытым слоем:
N
А) = 2 ¿А (>,К, %),
к=1
где А(Х, \, %к) = ХЬ{\($ — %)}. При этом необходимо добавить в функционал условие стыковки и+ | х=а0 = и— | х=а+0 . Поиск всех весов можно вести одновременно, а можно для поиска решений в каждой из подобластей и для нахождения границы использовать разные функционалы. Например, для поиска и+ можно использовать функционал
дЛ дх2
для и— функционал
м+ . .2 мь . .2
+ ^2 -2 К (Л ’ 0) — Ф(Хи )| + 5Ъ -2 |и+ (Л ’ А(ХЛ ))|
Л+=1 Л =1
м-
2
1=1
ди_ (Х., х.) - 2 дУ (Х., х.)
дх
дх
2
+3 -2и-(0, х0) - ио( х0)
.0 =1
М 2 Мь
+¿3 • 2 Iй-(х;-, 1) - /х;-) + ¿5 • 2 |и- (х., “ (х;ь))
У-=1 1ь =1
а границу “(Х) искать, минимизируя функционал
Мь
2 и+ (ХЛ ,£(.)) - и- (ХЛ ,£(.))
1ь=1
М„
+¿4-2
1 ь =1
к ди+ (Х1ь £(1ЬЬ )) - к ди- (Х.ь ,^(^ь )) )
5х дх дх
При этом в процессе оптимизации несколько шагов минимизации первых двух функционалов при фиксированной границе раздела фаз следует чередовать с несколькими шагами минимизации третьего функционала при фиксированных
и+ и и . Следует ожидать, что в этом варианте потребуется меньшее суммарное
количество функций, хотя вычислительный процесс может быть менее устойчивым.
Возможен и промежуточный между первым и вторым подход, при котором для определения и+ и и- используются различные сети как во втором подходе, при этом для поиска коэффициентов можно использовать функционал
ди,
дх
- а
д 2и,
дх2
п-
т
ди
дх
- а
д2 и
дх2
дХдх +
+51 • I |и- (0, х) - и0 (х)|2 дх + ¿2 • ||и+ (X, 0) - <р(Х)|2 дх -
+5Ъ • ||и- (X, 1) - /(Х)|2 дХ + 34 • |
или его дискретный вариант
ди+
дх
х=<“-0
- к
ди-
дх
д“ =“0 - «д
дХ,
у (и)=2
1=1
ди+ (Хи > х1 ) - а2 д и+ (х1 > х1)
дХ
дх
м _
+2
1=1
ди- (Х,-, х-) 2 ди(Х-,х-)
- - а,
дХ
дх
М0 I |2 М+ . |2 М- | |2
+¿1 2 |и-(0, х0) - и0( х0)| +¿2-2 |и+ (х1+,0) -^(хл )| +¿3 2 |и- (хи,!) )| +
.0 =1
1+=1
1-=1
+¿4 2
и =1
к ^+ (Х1ь “(Х. )) - к ди- (Хь “(Хь ))
ди+ (х1,#(х1)) ди- (х1,#(х1))
дх
дх
дХ
дХ
ди+ (х,ь ,#(х,ь)) . ди- (Х1ь ¿(К ))
дх дх
В соответствии с третьим подходом, который можно трактовать как некоторый вариант метода прямых, мы ищем решение в виде
2
и(Х, х) = 2 ск ехр{-вк (х - хк )2}, где ск , вк и хк являются неизвестными
к=1
функциями времени. При этом
ди N
■ 2(ск + 2сквк(х-хк)хк-ск(х-хк) ^к)ехр{-вк(х-хк
д'=2 (ск+2ск^к(х - хк) ^&к- ск(х - хк)2 Рк) ехр{-вк(х - хк)2} д к=1
д2и ^
= 2 ск(-2 Рк+4в (х - хк)2) ехр{-вк(х - хк)2}.
к=1
дх2
Далее можно, как в первом подходе, строить единую сеть для всей области
ди д 2и
— = а(и)—-дХ дх
П , записывая уравнение теплопроводности в виде — = а(и)——, где а(и) -
2
[ а+ при и > 01
кусочно-постоянная функция вида а (и) = < >. После этого можно
[а при и < 0]
подставить выражения для производных в уравнение, взять некоторое фиксированное множество точек х.; наиболее простой способ - взять 3N таких точек,
решить систему
N
2 (ск+2ск Рк(х- хк) %- ск(х- хк)2 рк) ехр {-вк(х- хк)2}=
к=1
N
= а (и (Х, х ))2 ск(-2 Рк + 4Р2к(х - хк )2)ехр{-вк(х - хк )2} ] = 1,•••,3N
к=1
относительно ск , (5к и хк, а далее - проинтегрировать каким-либо приближённым методом, например одним из вариантов метода Рунге-Кутта. При этом остаётся разрешить две проблемы. Во-первых, коэффициенты системы будут зависеть от всего решения, т.е. интегрируя уравнения, придётся отслеживать область, в которой находится получившееся решение, при этом моменты перехода от одной фазы к другой при разных х будут разными. Таким образом, разделить этап решения системы и этап интегрирования уравнений до конца не удаётся, и эти этапы надо будет проводить совместно, подправляя коэффициенты системы после каждого шага интегрирования. Во-вторых, для интегрирования уравнений необходимы начальные значения ск , Рк и хк. Мы не можем их найти только из начального условия задачи и(0, х) = и0(х) , так как тогда не остаётся параметров для удовлетворения граничных условий и(Х, 0) = <р(Х), и(Х, 1) = ^(Х) и условия
ди| 7 ди|
теплового баланса к+— I =»_0 -к_— I =»+0 = q----------. Для решения этой про-
дх1 дх1 ёХ
блемы нужно либо оставить часть начальных условий для возможно более точного удовлетворения этих условий, либо взять меньше точек х., например 3N - 3
и использовать эти условия в виде связей для системы.
Можно, как и во втором подходе, строить две сети - свою для каждой из фаз. При этом первая проблема исчезает, так как в каждой области коэффициент температуропроводности постоянен, вторую приходится преодолевать тем же способом, только для нахождения начальных значений коэффициентов каждой из сетей используются свои
условия. В рассматриваемом нами частном случае для и- это начальное условие задачи и_ (0, х) = и0 (х) , а для и+ - условия стыковки и+ | х=--0 = и_ | х=-+0 = 0 и теп-
ди+| ди | ё-
лового баланса к+----- х - 0 - к ---- х 0 = q-------.
+ дх |х=^0 - дх 0 ёХ
Ещё один вариант третьего подхода возникает, если в каждой из областей приравнять соответствующие слагаемые в обеих частях системы, т.е.
ск + 2скРк (х - хк)% - ск(х - хк)2 Л = а±ск (-2Рк + 4Р1(.х - хк)2).
Если в этом равенстве приравнять коэффициенты при одинаковых степенях х , то для каждого слагаемого в аппроксимации решения задачи получаем фундаментальное решение уравнения теплопроводности
\ 2
причём для нахождения коэффициентов ск, Хк и хк решения в каждой из фаз
можно применить те же соображения, что и для поиска начальных условий, приведённые выше.
В четвёртом подходе мы остановимся только на одной из возможных постановок, так как различных архитектур рекуррентных нейронных сетей достаточно много и применение каждой из них имеет свои особенности. Этот подход похож на метод сеток и обладает тем же принципиальным недостатком по сравнению с приведёнными выше подходами - решение вычисляется в отдельных точках, а не в области в целом. Разумеется, решение можно проинтерполировать на всю область, используя многие известные методы, в том числе и нейронные сети. Такая задача достаточно хорошо представлена в литературе [5], поэтому мы на ней останавливаться не будем.
/• \М1 Мх
Выберем в области П, к примеру, равномерную сетку {(Х. , х.)} ^ ^, где
Х. = / АХ , х. = .Дх , АХ = Т /М(, Ах = 1/Мх . Построим такую нейросеть, которая будет выдавать значения температуры и. = и(Х., х.), ] = 1,...,Мх -1 в произвольном слое по значениям и (Хг.-1, х.), ] = 0,..., Мх на предыдущем слое. При этом и0. = и0 (0, х.) значения подаются на вход сети на первом шаге,
и10 = р(Х,-), и/м = щ(Хг) в соответствии с граничными условиями подаются на
вход сети на соответствующем шаге. Выход сети в один момент времени подаётся на вход в следующий. Таким образом, если сеть строить на основе персептрона, получаем формулу
N Мх
и.
а = 2а^(2™шиг-и -^к0) + а.0 = к =1 1=1
где / - некоторая функция сигмоидального вида, например Хк( или
Для того чтобы применить описанную выше методологию необходимо, прежде всего, оценить ошибку. Так как начальные и граничные условия удовлетворяются автоматически, ошибка оценивается по уравнению и условию баланса. Для дискретизации первой производной по времени нужно, как минимум, две соседние точки, а для второй производной по х - три. Таким образом, для оценки необходим простейший шеститочечный набор соседних точек и эта часть функ-
ционала представляет собой сумму по всем таким наборам, для которых знак температуры сохраняется. Наборы, для которых знак меняется, можно использовать для оценки ошибки выполнения условия теплового баланса. При этом для оценки ди, | ди-|
-----х=г-0 и ----\х=г+0 можно использовать, например, параболическую интер-
дх ' дх '
ё-
поляцию по трём точкам, а для вычисления --------- - приведённую выше форму-
ёХ
я
лу---= — ----------- или эту же интерполяцию. Таким образом, получаем сле-
л £«.')
дх
дующий функционал:
и/,а-1 + и/,а + и/,а+1 - и,-и-1 - и,-1,; - и,-и+1
з (и) = 2 (
(г, а)± 3АХ
а2 иг,а-1 - 2иг,а + и,,а+1 + и,-1,а-1 - 2и,-1, а + и,-1,а +1 )2 ,
а± 2Дг2 ’
, 2 (к ~^ииа-1 + 4и,,а -и,,а+1 -3и,-1,а-1 + 4и,-1,а -и,-1,а+1
+<2.<к* 2Дх
и, ,■ 1 - 4и, ■ + 3и, ■+, + и, , ■ , - 4и, , ■ + 3и, , ■+,
к г, а -1_______^_____г, а+1_г-1, а-1_, -1, а__________а+1 +
- 2Ах
+ 4Дх(и,,а-1 + и,а + и,а+1 - и-и-1 - и-1,а - и-^ )2
3ДХ (и,-1, а+1 + и,, а+1 - и,-1, а-1 - и,, ;--1)
или соответствующую более сложную его модификацию. При этом (,, а )± - множества индексов, для которых значения температуры в соответствующих шеститочечных наборах сохраняют знак, а (,, ] )0 - множество индексов, для которого
и,-1 а-1 и и, а-1 имеют положительный знак, а и,-1 ].+1 и и, .+1 - отрицательный.
Далее этот функционал минимизируется по параметрам а -к и ~№к1, при этом
можно применить как метод, не требующий вычисления производных по подбираемым параметрам, например метод случайного поиска, так и какой-либо градиентный метод, так как производные по параметрам вычисляются аналитически. Следует заметить, что приведённый выше функционал не включает ещё один немаловажный аспект - начальные и граничные условия. Если обучать сеть только для фиксированных условий, то и решение она будет строить только для этих условий, что не очень интересно. Более интересный вариант возникает, если мы рассматриваем некоторое множество условий. Тогда вычислительный процесс в простейшем варианте может быть реализован следующим образом:
1. Выбираем некоторый набор начальных и граничных условий и0 (х), (р(Х), /(Х) или набор их поточечных вариантов.
2. Проводим некоторое число шагов выбранного метода оптимизации для суммарного функционала по всем условиям из набора.
3. Формируем новый набор начальных и граничных условий и доучиваем сеть столько раз, сколько потребуется.
Более сложная процедура возникает, если мы хотим подобрать не только вес сети, но и её структуру. Для этого можно применить один из подходов МГУА [4]. Один из вариантов реализации такой процедуры - берём некоторое множество сетей различной структуры (т.е. сетей, у которых отличны от нуля только некоторые из коэффициентов а к и wkl), обучаем их на двух различных наборах начальных и граничных данных и тестируем на третьем наборе. В результате отбирается та сеть (сети), выходы которых наименее зависят от того, на каком наборе она обучалась. Особенно привлекательным для подбора структуры сети представляется многорядный алгоритм МГУА [6].
Приведем некоторые результаты вычислений. Для модельной задачи выбирались значения параметров: а+ = 1.2, а— = 1, Т = 3, к+ = 1.2, к_ = 1, q = 1. Краевые условия: ф = X — 1, щ = -1; начальные условия: и0 = — 1
В качестве аппроксимирующей рассматривалась нейронная сеть из 10 линейных элементов с коэффициентами в виде однослойных персептронов с функцией активации у( ^) = й(^)
О 0.2 0.4 0.5 0.8 1
Рис. 1. График изотерм Интерес представляет и другой график температуры
Рис. 2. Графики вычисленной и заданной температуры на границе X = 0
Для нейронной сети другой архитектуры - для RBF-сети, составленной из 50 гауссовых пакетов, получаем
0 0.2 0.4 0.6 0.8 1
Рис. 3. График изотерм
Приведем для сравнения график температурного режима на левой границе и для КВР-сети:
Рис. 4. Графики вычисленной и заданной температуры на границе X = 0
Как уже отмечалось выше, при обсуждении предложенных нейросетевых подходов сети, построенные на основе персептронов, легче обучаются и лучше приближают решения нелинейных задач с разрывными коэффициентами, чем гладкие RBF-сети.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Васильев А.Н., Тархов Д.А. «Применение нейронных сетей к неклассическим задачам математической физики» //Сб. докл. Международной конференции по мягким вычислениям и измерениям - 8СМ'2003. Т.1. 2003. С.337-340.
2. Васильев А.Н., Тархов Д.А. Нейронные сети как новый универсальный подход к численному решению задач математической физики // Нейрокомпьютеры: разработка, применение, Москва, Радиотехника, 2004, №7-8.
3. Васильев А.Н., Тархов Д. А. «Нейросетевой подход к решению краевых задач в составных областях // «Искусственный интеллект. Интеллектуальные и многопроцессорные системы-2004», Материалы Международной научной конференции, Таганрог: Изд-во ТРТУ. Т.1. 2004. С.475-478.
4. Simon S.Haykin, “Neural Networks: A Comprehensive Foundation”, Macmillan, New York, 696 p., 1994.
5. Ивахненко А.Г., Юрачковский Ю.П., «Моделирование сложных систем по экспериментальным данным». М.: Радио и связь, 1987. 120с.
А.Ю. Дорогов, А.А. Алексеев, М.Ю. Шестопалов РАЗДЕЛЯЮЩАЯ МОЩНОСТЬ СЛАБОСВЯЗАННЫХ НЕЙРОННЫХ СЕТЕЙ
1. Введение
Определяющей оценкой качества нейронных сетей прямого распространения является их способность к распознаванию образов. Любая система распознавания обладает конечной информационной емкостью, поэтому зависимость ошибки распознавания от числа образов, как правило, имеет выраженный пороговой уровень. Число образов, соответствующее порогу, называют разделяющей мощностью [1].
Существует проблема выбора тестового набора образов для оценки качества систем распознавания. Когда образы представлены точками векторного пространства, то стандартно используют в качестве тестового набора образы в виде подмножеств точек «общего положения». По определению [1] множество, состоящее из N точек n - мерного пространства называют множеством общего положения, если ни одно из его подмножеств, состоящее из n +1 точек не лежит на (n -1) -
мерной гиперплоскости. Или иначе: любое подмножество из n +1 точек, образует n - мерный репер. Если N < n , то множество точек общего положения образует (N -1) - мерный репер.
Будем говорить, что система распознавания обладает разделяющей мощностью уровня к, если она способна распознать любой к -мерный репер. Факт распознавания к -мерного репера заключается в том, что в выходном пространстве образов ему можно однозначно сопоставить любой к -мерный репер. Для полного класса линейных решающих правил данная оценка совпадает с размерностью Вапника-Червоненкиса [2].
Вектора репера часто интерпретируют как ребра объемной фигуры с плоскими гранями (симплекса). Размеры симплекса могут быть сколь угодно малыми, поэтому в пределе можно считать, что множество операторов нейронной сети локально представимо множеством линейных аффинных отображений:
f (*)-f (*0) = (*- *0)W , где вектор х0 определяет позицию репера во входном аффинном пространстве.
При условии произвольного выбора к -мерных реперов на входе и выходе сети, множество линейных отображений W изоморфно тензорному произведению векторных пространств размерности к . Отсюда следует, что множество операторов нейронной сети с разделяющей мощностью к должно покрывать операторное пространство размерности к 2 и, следовательно, число степеней свободы нейронной сети должно удовлетворять неравенству SW > к2. Далее, если преобразова-
