Параметрические нейросетевые модели классических и неклассических задач для уравнения теплопроводности Текст научной статьи по специальности «Математика»

УДК 004.032.26+519.63:517.951

А.Н. Васильев, Д.А. Тархов

ПАРАМЕТРИЧЕСКИЕ НЕИРОСЕТЕВЫЕ МОДЕЛИ КЛАССИЧЕСКИХ И НЕКЛАССИЧЕСКИХ ЗАДАЧ ДЛЯ УРАВНЕНИЯ ТЕПЛОПРОВОДНОСТИ

Системы с распределенными параметрами, как правило, описываются краевыми или начально-краевыми задачами для уравнений в частных производных. На практике помимо дифференциальных уравнений и соотношений, описывающих с помощью формул необходимую информацию о системе (или часть такой информации): свойство симметрии, законы сохранения, уравнения состояния, граничные условия и условия стыка и т. п., — возможно также задание дополнительной неформализу-емой информации: например, в виде известных приближенно экспериментальных данных. Предлагаемый нами унифицированный подход [1, 5, 17, 19 — 22] позволяет объединить в ней-росетевой модели разнородную информацию о системе. Его можно эффективно применять для решения задач, данных в неклассической постановке, обратных задач, для построения регуляризаций решений некорректных задач. К таким задачам, в частности, относятся задачи построения параметризованных моделей. Подобная постановка возникает в случае, когда требуется исследовать поведение решения в зависимости от некоторого параметра, идентифицировать значение параметра по данным измерений или когда определяющие моделируемую систему характеристики известны не точно, а заданы значениями, распределенными в некоторых интервалах, — интервальными параметрами.

Важность подобных задач привела к возникновению нескольких принципиально разных подходов к их постановке и решению. Во-первых, во многих работах параметры предполагаются случайными и, соответственно, решение является случайной функцией, а это приводит к задачам определения ее характеристик — математического ожидания и прочих. Во-вторых, параметры могут рассматриваться как интервально заданные величины, и в соответствующем виде ищутся решения.

Мы рассматриваем классическую постановку, т. е. параметры включаются в число аргументов искомой функции, которая является приближенным решением задачи. Таким образом, находится продолжение функции по параметрам. Обычно в такой постановке решение ищут в виде разложения по малому параметру. Наш подход представляется более непосредственным.

Сущность нейросетевого подхода к построению

приближенных параметрических моделей

При рассмотрении подобных задач мы применяем развиваемый нами нейросетевой подход к построению устойчивых приближенных моделей сложных систем (см., например, работы [1 — 6, 14 — 21] и другие публикации), модифицировав его соответствующим образом. Он успешно был использован и при моделировании системы с сосредоточенными параметрами в случае их неточного задания: описание процесса тепломассопереноса в гранулах пористого катализатора [7].

Поясним суть этого подхода на простейшей (вообще говоря, нелинейной) краевой задаче:

А(и) = g, и = и(ж), x е^с Яр, В (и) г= /, (1)

где А(и) — некоторый дифференциальный оператор, т. е. алгебраическое выражение, содержащее обыкновенные или частные производные от неизвестной функции и; В (и) — оператор, позволяющий задать граничные условия; Г — граница области О..

Модификация задачи состоит в том, что в ее постановку входят параметры г = (г1,..., гк), меняющиеся на некоторых интервалах

Г е (г~; г+), I = 1,..., к; меняется и представление для приближенного решения задачи:

А(и, г) = g(г), и = и^, г),

x еП(г) с Яр, В(и, г)

Г(г)

= / (г).

(2)

Ищем приближенное решение задачи (2) в виде выхода искусственной нейронной сети заданной архитектуры:

N

«(Х, Г) = Х (Х Г, ^ ),

i=1

(3)

веса которой — линейно входящие параметры с1 и нелинейно входящие параметры а, — определяются в процессе поэтапного обучения сети на основе минимизации функционала ошибки вида

м

J(и) = X Л(и(х3, г3 )) - g(х3, г3 )

3=1

м'

5ХВ(и(х}, Г)) - Дх}, г;).

3=1

Здесь {х;, Г; М — периодически перегенерируемые пробные точки в области

к

)ХП(Г '{х},г'3}М=1 — пробные точки

г=1

на ее границе Г(г;); 8 —положительный штрафной параметр.

Нейронная сеть (3), задающая приближенное решение задачи в этом случае, может включать однотипные нейроэлементы vi = V , порожденные одной и той же активационной функцией (например, гауссианы), но может иметь и более сложную гетерогенную структуру (см. далее примеры).

Построение нейросетевой модели температурного поля в случае интервально заданного коэффициента температуропроводности

Построение по начально-краевым данным. В

этом разделе рассмотрена классическая постановка начально-краевой задачи для уравнения теплопроводности в предположении, что коэффициент температуропроводности известен приближенно: его значения г лежат в некотором интервале. Подчеркнем, что искомое приближенное решение зависит от этого параметра как от входной переменной, за границами данного интервала задача не рассматривается и решение не строится.

Постановка задачи имеет вид

(4)

щ = гихх, (х; 0 е (0;1)х(0;Т), г е (г";г+); и(х,0,г) = ф(х), х е (0;1),

и(0,t,г) = и(1,иг) = 0, t е [0;Т]. (5)

Будем искать приближенное решение задачи в виде выхода нейронной сети:

N

и(х, t, г) = ^ сг- ехр -а1 (х - х1 )2 -

г=1 1

- Ь (х - Xi )(t - и) - di ^ - и )2 х (г - г)), г е (г"; г+).

Обучение сети осуществляется через минимизацию функционала ошибки:

йе/

J (и) = J (w) = + ЪbJb + ЪCJC

где w = (^1,..., ) — вектор весов сети;

щ 2

J1(w) = X {щ ^ 3, Т 3 , Ц; ) - г;ихх £ 3, * 3, п 3 )}

3=1

— слагаемое, отвечающее уравнению;

N

Jb (w) = Е{и 2(0, X 3, л 3) + и 2(1, X 3, л 3)}

3=1

— слагаемое, отвечающее граничным условиям;

Щс

2

Jс = X {и(х3,0, Г3) - ф(х7-)}

3=1

— слагаемое, отвечающее начальным условиям (одинаковым для образцов с разными значениями г); 5Ь,5с > 0 — «штрафные» множители.

Здесь в слагаемых J1(w) и Jb используются периодически перегенерируемые пробные точки:

{(^ 3, ^ 3, Ц3 3 — в области П = (0; 1) X (0; Т)х (г" ;г+);

{(0, - 3, Л 3 ),(1. X 3, Л 3 )1Щ,

— на частях границы.

Для подбора структуры используется вариант метода растущих сетей с отбраковкой

2

добавляемых элементов [5, 19 — 21]. Основная идея состоит в том, что нейроны добавляются последовательно, поэтому на каждом шаге производится минимизация функционала, зависящего от меньшего числа переменных, а нейроны, добавленные ранее, остаются при этом «замороженными». В процессе данного исследования была реализована растущая сеть с добавлением нейронов по одному с обучением всей сети после очередного добавления. После каждого добавления нейрона и его обучения вычисляется ошибка на тестовой выборке сети с добавленным нейроном и без него. Если добавление нейрона не приводит к уменьшению ошибки, то он удаляется из сети.

Приведем некоторые результаты вычислений. Выбранные значения параметров для рассмотренных примеров применения нейросете-вого подхода сведены для удобства в табл. 1. Для каждого примера указано число нейронов, а также максимальные, минимальные и средние значения параметра г . В подписях к рисункам указаны номера примеров из табл. 1.

Таблица 1

Выбранные значения исходных данных для рассмотренных примеров применения нейросетево-го подхода в классической постановке

Номер примера

1

5

Число нейронов

153

158

Значение параметра

0,50

- 0,5

2,00

0,5

1,25

0,0

Амплитуда зашумления начальных данных

0

0,01

0,1

1,0

0,1

0,0 2,0

б)

П р и м е ч а н и я. Для всех случаев число попыток добавить нейрон составляло 200. Начальные данные выражены функцией ф(X) = зт(тсх).

П р и м е р 1. При наборе исходных значений базовых переменных, представленных в табл. 1, рассматриваются начальные данные без зашумления; другими словами, амплитуда зашумления равна нулю. На рис. 1 представлено восстановление начальных условий ф и ошибка Лф восстановления начальных условий в зависимости от значений параметра г .

Рис. 1. Пример 1 (см. табл. 1). Восстановление начальных условий (а) и ошибка восстановления (б) в зависимости от значений параметра г

П р и м е р 2. Если амплитуда зашумления начальных данных ф(х) = зт(пх) равна 0,01, то вид решения, по сравнению с решением примера 1, меняется мало. Ввиду ограниченного объема статьи приводим лишь некоторые иллюстрации. Интересными являются графики восстановления начальных данных при среднем и крайних значениях параметра (рис. 2). Здесь и далее точками показаны зашумленные начальные данные, использовавшиеся при обучении сети. Восстановление практически идеальное при га = 1,25. Качество восстановления на границе (г" = 0,5, г+ = 2,0) заметно ухудшается.

П р и м е р 3. По сравнению с примером 2 немного увеличилось число нейронов; амплитуда зашумления начальных данных ф( х ) = зт(пх) увеличена в десять раз - равна 0,1. Поскольку вид решения меняется незначительно, приведем только результаты вычислений, аналогичных представленным на рис. 2 (рис. 3).

п

2

3

4

0,2 0,4 0,6 0,8

Рис. 2. Пример 2. Восстановление начальных условий при среднем (а), минимальном (б) и макси мальном (в) значениях параметра г

Рис. 3. Пример 3. Восстановление начальных условий при среднем (а), минимальном (б) и максимальном (в) значениях параметра г

—0,5

Рис. 4. Пример 4. Восстановление начальных условий в зависимости от параметра (а) и 2D-изобрaжение восстановления при среднем значении параметра г (б)

Для нейросетевого подхода характерно, что ошибка восстановления существенно меньше ошибки в исходных данных.

П р и м е р 4. Если амплитуда зашумления начальных данных ф(х) = $т(лх) равна 1,0 (вновь увеличена на порядок), то характерные

особенности решения все еще не теряются (рис. 4).

П р и м е р 5. Немного хуже получаются результаты для г е (-0,5; 0,5), т. е. когда коэффициент температуропроводности меняет знак. Приведем результаты для случая, когда ампли-

Рис. 5. Пример 5 (см. табл. 1). Восстановление начальных условий (а), ошибка восстановления (б) в зависимости от значений параметра г, а также восстановление начальных условий при среднем (в), минимальном (г) и максимальном (д) значениях параметра г

туда зашумления начальных данных ф(х) = sin(лx) равна 0,1 (рис. 5).

Результаты нейрокомпьютинга показали, что и в случае зашумленных данных Коши возможно продолжение решения по параметру г в достаточно широкий интервал изменения, причем увеличение амплитуды шума от значения 0,01 до значения 0,1 по существу не влияет на полученное нейросетевое решение. Дальнейшее увеличение амплитуды шума увеличивает погрешность восстановления, однако не меняет качественный характер решения.

Построение по экспериментальным данным. В данном разделе рассмотрена модификация решавшейся ранее задачи [19—22] восстановления температурного поля по экспериментальным данным при условии, когда остывающие образцы имеют разный коэффициент температуропроводности. При этом начальное распределение температуры одинаково. Такая постановка задачи является неклассической.

Формальная постановка задачи выглядит следующим образом:

щ = гихх, (х; ^ е (0;1)х (0; Т), г е (г";г+); и(0,^ г) = и(и, г) = 0, t е [0; Т]; (6)

и(х ,tI■ г) = /,1 = 1,...,.

Будем искать решение задачи в виде

N

и(х, t, г) = X сI ехр -а1 (х - х1) -

I=1 1

\2"

(7)

- Ь (х - XI - и) - ^ ^ - и У х (г - г)), г е (г"; г+).

Подбор весов осуществлялся через минимизацию функционала ошибки, который в данной задаче имел вид:

йе/

J (и) = J (w) = + ЪbJb + где w = (^1,..., ) — вектор весов сети;

N 2

^ (w) = X К £ 3, * 3, Лу ) - гуихх £ 3, * 3, л у )}

у=1

— слагаемое, отвечающее дифференциальному уравнению;

Jb Ы = £ {и 2(0, X у, л у ) + и 2(1, X у, л у )}

у=1

— слагаемое, отвечающее граничным условиям;

2

Jd (w) = Х{и(ху ^, Гу ) - / }

у=1

— слагаемое, отвечающее «экспериментально полученным» значениям; Ъь,Ъй > 0 — «штрафные» множители.

Здесь в слагаемых J1(w) и Jb используются периодически перегенерируемые пробные точки:

{(^у, ^у, Чу — в области П = (0;1)х (0; Т) х (г"; г+);

0, х у, Цу), (1, х у, Цу ) | ^ — на частях границы.

Помимо применявшихся ранее методов подбора весов сети [1, 5, 19, 20] тестировались различные способы сочетания нейросетевого и классического подходов (представлены ниже).

1. Использование вместо гауссианов функций сплайнового вида с компактным носителем и постоянными параметрами (характерных для метода конечных элементов); при этом минимизацией функционала подбираются только линейно входящие коэффициенты (см. с в выражении (7)).

2. В отличие от предыдущего способа, методами нелинейной оптимизации подбираются все параметры сплайнов.

3. Подбираются не только параметры сплайнов , но и их количество с использованием одного из эволюционных алгоритмов, приведенных в книге [1].

4. После применения одного из трех предыдущих методов сплайновые функции приближаются нейросетевыми вида (7) с последующим пересчетом коэффициентов с.

5. В отличие от предыдущего способа, нейронная сеть дообучается, т. е. методами нелинейной оптимизации подбираются все веса сети.

6. Уточняется и структура сети, а не только ее веса.

7. В вариантах 3 — 5 сплайновые и нейросе-тевые функции меняются местами, т. е. сначала обучается нейронная сеть, затем гауссианы аппроксимируются сплайнами, параметры которых уточняются при необходимости.

8. Обучается нейронная сеть с помощью выбранного эволюционного алгоритма, а затем коэффициенты cj подбираются с помощью решения соответствующей линейной системы, как это происходит для данных задач, когда применяется один из классических методов сеток или конечных элементов.

При решении данной задачи наилучшие результаты показал последний подход. В качестве эволюционного алгоритма, как и ранее, применялся метод добавления и дообучения одного нейрона с последующей проверкой целесообразности сохранения добавленного нейрона.

Приведем некоторые результаты вычислений для неклассической постановки. Как и ранее, значения параметров для рассмотренных примеров применения нейросетевого подхода удобно свести в табл. 2. Для каждого примера указано число нейронов, а также максимальные, минимальные и средние значения параметра г . В подписях к рисункам указаны номера примеров из табл. 2.

П р и м е р 6. При наборе исходных значений базовых переменных, представленных в табл. 2, рассматриваются экспериментальные данные со слабым зашумлением: максимальная ошибка в их задании равна 0,01. На рис. 6 представлено восстановление начальных условий ф и ошибка Аф восстановления начальных условий в зависимости от значений параметра г .

Рис. 6. Пример 6. Восстановление начальных условий (а) и ошибка восстановления начальных условий (б) в зависимости от параметра г

Ошибка в определении решения при других значениях времени также невелика.

П р и м е р 7. Увеличение интервала изменения параметра не влияет существенным образом на ошибки восстановления. Приведем результат для г ~ = 0,5, г+ = 1,5: число нейронов уменьшилось до 159, остальные параметры — прежние, по сравнению с использованными в примере 6 (рис. 7). Ошибка в определении решения при других значениях времени t е (0; Т), здесь Т = 1, также невелика.

Таблица 2

Выбранные значения исходных данных для рассмотренных примеров применения нейросетевого подхода в неклассической постановке

Значение параметра Амплитуда зашумления экспериментальных данных

Номер примера Число нейронов г г+ га

6 172 0,9 1,1 1,0 0,01

7 159 0,5 1,5 1,0 0,01

8 159 0,5 1,5 1,0 0,1

П р и м е ч а н и я. Для всех случаев число попыток добавить нейрон составляло 200. Начальные данные во всех примерах предполагаются одинаковыми, они неизвестны и подлежат определению. Набор данных эксперимента состоит из Nd = 150 «измерений».

в)

0,01{ 0,001

—0,01 ^ 0,0 4

^1,0

Рис. 7. Пример 7. Восстановление начальных условий (а) и ошибка восстановления начальных условий (б) в зависимости от параметра г, а также ошибка восстановления решения (в) при среднем значении параметра га = 1 для разных значений времени

П р и м е р 8. Рассмотрим случай, когда при том же интервале изменения параметров ошибка в задании экспериментальных данных имеет равномерное распределение с амплитудой 0,1. Результаты нейрокомпьютинга приведены на рис. 8.

Рис. 8. Пример 8. Восстановление начальных условий (а) в зависимости от параметра г , а также ошибка восстановления решения (б) при среднем значении параметра га = 1 для разных значений времени

Итак, предлагаемый подход представляет собой определенную процедуру применения разработанного авторами унифицированного метода построения приближенных параметрических решений задач с уточняемой постановкой, которая может и отличаться от классической (в частности, быть некорректной). Он не приводит к «кризису размерности», позволяет рассматривать случаи неточно заданных коэффициентов, задачи со сложной геометрией; при этом соответствующие алгоритмы допускают естественное распараллеливание .

СПИСОК ЛИТЕРАТУРЫ

1. Васильев, А.Н. Нейросетевое моделирование. Принципы. Алгоритмы. Приложения [Текст] / А.Н. Васильев, Д.А. Тархов. — СПб.: Изд-во СПбГПУ, 2009. — 528 с.

2. Васильев, А.Н. Нейросетевое моделирование в математической физике [Текст] / А.Н. Васильев //

Нейрокомпьютеры: разработка, применение. — 2009. — № 5. — С. 25—38.

3. Васильев, А.Н. Нейросетевая методология построения приближенных математических моделей распределенных систем [Текст] / А.Н. Васильев,

Д.А. Тархов // Труды научно-методического семинара кафедры высшей математики. Вып. 1. — СПб.: Изд-во Политехн. ун-та, 2008. - С. 115-170.

4. Васильев, А.Н. Построение приближенных математических моделей распределенных систем на основе нейросетевой методологии [Текст]/ А.Н. Васильев// Нейрокомпьютеры: разработка, применение. - 2007. - № 9. - С. 103-116.

5. Васильев, А.Н. Унифицированный процесс моделирования физико-технических объектов с распределенными параметрами [Текст] / А.Н. Васильев, В.П. Осипов, Д.А. Тархов // Научно-технические ведомости СПбГПУ. Физико-математические науки. -2010. - № 3(104). - С. 39-52.

6. Тархов, Д.А. Нейронные сети: модели и алгоритмы. Кн. 18. [Текст] / Д.А. Тархов. - М.: Радиотехника, 2005. - 256 с.

7. Васильев, А.Н. Нейросетевое решение задачи о пористом катализаторе [Текст] / А.Н. Васильев, Д.А. Тархов // Научно-технические ведомости СПбГПУ. Физико-математические науки. - 2008. -№ 6 (67). - С. 110-113.

8. Hlavacek, V. Modelling of chemical reactors. Part X [Текст] / V. Hlavacek, M. Marek, M. Kubicek // Chem. Eng. Sci. - 1968. - Vol. 23. - P. 1083-1097.

9. Kubicek, M. Solution of nonlinear boundary value problems. Part VIII [Текст] / M. Kubicek, V. Hlavacek// Chem. Eng. Sci. - 1974. - Vol. 29. - P. 1695-1699.

10. Дмитриев, С.С. Перенос тепла и массы в пористом катализаторе [Текст] / С.С. Дмитриев, Е.Б. Кузнецов // Матер. VI Междунар. конф. по неравновесным процессам в соплах и струях - NPNJ-2006, СПб. - М.: Вузовская книга, 2006. - С. 159-160.

11. Lahae, M.E. Solution of systems of transcendental equations [Текст] / M.E. Lahae // Acad. R. Belg. Bull.Cl. Sci. 5. - 1948. - P. 805- 822.

12. Кузнецов, Е.Б. Наилучшая параметризация при построении кривой итерационным методом [Текст] / Е.Б. Кузнецов // Докл. РАН. - 2004. - Т. 396, № 6. - С. 746-748.

13. На, Ц. Вычислительные методы решения прикладных граничных задач [Текст] / Ц. На. - М.: Мир, 1982. - 296 с.

14. Васильев, А.Н. Нейросетевые подходы к решению краевых задач в многомерных составных областях [Текст] / А.Н. Васильев, Д.А. Тархов // Известия ТРТУ. - 2004. - № 9. - С. 80 - 89.

15. Васильев, А.Н. Применение искусственных нейронных сетей к моделированию многокомпонентных систем со свободной границей [Текст] / А.Н. Васильев, Д.А. Тархов// Известия ТРТУ. - 2004. - № 9. -С. 89-100.

16. Васильев, А.Н. Расчет теплообмена в системе «сосуды-ткани» на основе нейронных сетей [Текст] / А.Н. Васильев, Д.А. Тархов // Нейрокомпьютеры: разработка, применение. - 2006. - № 7. - С. 48-53.

17. Васильев, А.Н. Сравнительный анализ традиционного и нейросетевого подходов к построению приближенной модели калибратора переменного давления [Текст] / А.Н. Васильев // Нейрокомпьютеры: разработка, применение. - 2007. - № 9. - С. 14-23.

18. Васильев, А.Н. Эволюционные алгоритмы решения краевых задач в областях, допускающих декомпозицию (NPNJ-2006) [Текст] / А.Н. Васильев, Д.А. Тархов // Математическое моделирование. -2007. - Т. 19, № 12. - С. 52- 62.

19. Васильев, А.Н. Нейросетевые подходы к регуляризации решения задачи продолжения температурных полей по данным точечных измерений [Текст] / А.Н. Васильев, Д.А. Тархов // Нейрокомпьютеры: разработка, применение. - 2010. - № 7. -С. 13-19.

20. Васильев, А.Н. Нейросетевой подход к решению некорректных задач теплопереноса [Текст] / А.Н. Васильев, Ф.В. Порубаев, Д.А. Тархов // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. - 2011. - № 1(115). -С. 133-142.

21. Васильев, А.Н. Построение приближенных нейросетевых моделей по разнородным данным [Текст] / А.Н. Васильев, Д.А. Тархов // Математическое моделирование. - 2007. - Т. 19, № 12. - С. 43-51.

22. Самарский, А.А. Численные методы решения обратных задач математической физики [Текст] / А.А. Самарский, П.Н. Вабищевич. - М.: Едиториал УРСС, 2004. - 480 с.