CC BY
22
Васильев А.Н.1, Тархов Д.А.2, Шемякина Т.А.3
1 Санкт-Петербургский государственный политехнический университет,
г. Санкт-Петербург, д.т.н., профессор кафедры «Высшая математика»,
a. n.vasilyev@ gmail.com
2 Санкт-Петербургский государственный политехнический университет,
г. Санкт-Петербург, д.т.н., профессор кафедры «Высшая математика»,
dtarkhov@gmail.com
3 Санкт-Петербургский государственный политехнический университет,
г. Санкт-Петербург, к.ф.-м.н., доцент кафедры «Высшая математика»,
sh . ш
Гибридный метод построения параметрической нейросетевой модели катализатора
КЛЮЧЕВЫЕ СЛОВА:
Тепломассообмен, гранула катализатора, система дифференциальных уравнений, нейросетевое моделирование, искусственная нейронная сеть (ИНС), настройка ИНС, глобальная оптимизация, гибридный метод.
АННОТАЦИЯ:
Обсуждаются методы построения нейросетевой модели процессов тепломассообмена в плоской грануле пористого катализатора. Приближённое решение задачи ищется в виде выхода искусственной нейронной сети, параметры которой настраиваются на основе глобальной оптимизации. Используются гибридные методы, состоящие в применении при обучении нейронной сети результатов численных расчётов. Анализируются результаты нейрокомпьютинга.
ВВЕДЕНИЕ. Моделирование химических и физических реакций, экологических и биологических процессов и т. д. (см.[1-3]) приводит к решению граничных задач для нелинейных обыкновенных дифференциальных уравнений:
ах ах
или для нелинейных дифференциальных уравнений с частными производными:
^ 0 = &(*0)) + Д*Л. ■ У, 1 'Ж0 е Пх[Т„,Г];
С?
д. (д, о У. (Л 0 + (* 0 — (л, 0 = с. СО, * е Г =
ЙЗ
у{и,Тъ) = {1 (к), хеЦ ¡=1,...,н. (2)
На практике коэффициенты и параметры, входящие в уравнения или в дополнительные условия (граничные или начальные), задаются неточно: изменяются на некотором интервале. Точные решения задач (1) или (2) в общем случае, за редким исключением, найти невозможно. Для построения приближённых решений подобных задач применяются численные методы, например, разработанный авторами [4-7] нейросетевой подход к построению устойчивых приближённых моделей сложных систем. В данной работе рассматривается частный случай задачи (1) - модель процессов тепломассопереноса в грануле пористого катализатора. Для наглядности изложения метода рассмотрим упрощённые математические модели из [1,2,8].
ПОСТАНОВКА ЗАДАЧИ. Ряд математических задач химической кинетики описывают процессы, происходящие в каталитических реакторах. В сосуде или трубе расположены одинакового размера частицы некоторого вещества - катализатора. Через эти частицы прогоняют реакционную смесь - газ или жидкость. При взаимодействии с катализатором происходят химические реакции, перенос реакционной смеси и продуктов реакции, выделение или потребление тепла, движение жидкости или газа. Рассмотрим взятые из работ [1,2] дифференциальные уравнения, описывающие химические процессы типа «реакция-диффузия». Такие математические модели описывают перенос и превращение реагирующих компонентов в одномерных системах сплошной среды (иногда можно сделать обобщение на многомерные системы). В частности, математическая модель такого типа применяется для описания реакций и процессов переноса (тепла, массы и т.д.) внутри частицы пористого катализатора. Процессы тепло- и массообмена внутри пористой частицы и на её поверхности часто существенно влияют на результирующую скорость реакции. Поэтому анализ указанных процессов имеет большое практическое значение. Математические модели, описывающие взаимодействие процессов тепло- и массообмена с реакцией на пористом катализаторе, обычно рассматриваются для частиц трёх геометрических форм: бесконечная пластина или одна пора, проходящая через частицу -а=0 , бесконечный цилиндр - а =1 и шар - а=2 (параметр а относится к выписанным ниже уравнениям баланса).
Рассмотрим каталитический процесс в реакторе.
В безразмерных переменных [2] уравнения баланса при стационарном процессе записываются в следующем виде:
Л~у асЬ г в ,
Й?"6> длАЭ 3 б
+ —г- = У ехр[
с условиями:
¿¿Г X ¡¿Г 1+Й/7
ай: дл
¿иг ах
где а о,а 1 ,Ь о ,Ь1 ,со ,С1 - известные константы,
у - относительное изменение концентрации - конверсия, х - относительное изменение длины - безразмерная координата, 6 - относительное изменение температуры - безразмерная температура,
Ф=- параметр,
R - универсальная газовая постоянная, De - эффективный коэффициент диффузии, У - безразмерная энергия активации, в - безразмерный коэффициент теплопередачи.
Для приведённой выше системы уравнений выбор начальных и граничных условий для неизвестных функций зависит от конкретной физической задачи:
• условия Дирихле задаются, если известны значения концентрации и температуры на границе рассматриваемой области у (0 ) = у о ,у (1 ) = у 1,6(0 )=60,6(1 ) = 6, .
• условия Неймана задаются, если известны значения непроницаемости границ области для концентрации и температуры:
<$У ... , й19 _
-^(0) = ^; -у-(1) = аг, — (О )=Ь0- —(Т) = Ь1,
ах ах ах ах
• граничные условия третьего типа описывают частичную проницаемость границ для концентрации и температуры:
й0]/(0) + а0 Ао) = с01; +¿1^(1) =
ах ах
Iй9 <19
д02 т + ¿02 — (°) = С02 ; а12 ОД + ■^12 — 0) = С12 ■
.
В случае установившегося состояния находится соотношение между безразмерными величинами концентрации и температуры внутри частицы: 6 = ув(1 - у) [2]. При этом считаем, что интенсивность тепло- и массообмена на внешней поверхности частицы оказывается высокой. Тогда приведённые выше уравнения баланса тепла и массы в плоской грануле
пористого катализатора при каталитическом реакции можно записать в следующем виде (здесь):
-j- (0) = 0; y(Y) = 0. dx 1-jBy dx (3)
ОПИСАНИЕ НЕЙРОСЕТЕВОГО ПОДХОДА. Авторы применяли нейросетевой подход [5,6], при котором один или все три параметра являются входами нейронной сети, к построению устойчивых параметрических решений данной задачи в случае интервально заданных параметров.
Приближённое решение для одного параметра строится в виде искусственной нейронной сети
N
y(x,a) = ^lcivi(x,a, аД
В случае трёх параметров ищется нейросетевое решение
N
В качестве базисных нейроэлементов используются функции вида:
v(x, а,,a2i,as,a4i) = exp{-аЕ (х-a2i f }tk{-<hi С«-)}, i = \,...,N,
t
здесь ^ = (an>a2i>a3i>au')> или соответственно функции вида:
ехр[-дщ (х-a2i)2Щ-а^Щ-a^jS-a6i)2]th[-a7i (y-aSi)2], ¡ = \,...,N.
Веса нейронной сети - это линейно входящие параметры и нелинейно входящие параметры at. Они определяются в процессе обучения сети на основе минимизации функционала ошибки, включающего в себя невязки в удовлетворении уравнения и граничных условий:
РУ
i J-í
а,
Функционал вычисляется в наборе пробных точек (хуау), (0-' (1 ,aj), ] = 1, ... ,М, таким образом, рассматривается минимизация набора функционалов.
При глобальной минимизации имеется опасность попадания в точки локального экстремума. Процесс перегенерации семейств пробных точек после определённого числа шагов процесса минимизации позволяет избежать такого «зависания» и способствует устойчивости вычислительного процесса.
В этой публикации авторы возвращаются к исследованию проблемы, ограничиваясь интервальным заданием одного параметра, но существенно расширяя интервал его изменения (а';а+).
Было проведено три серии вычислительных экспериментов. В первой серии применялся вышеприведённый подход без изменений. Недостатками такого подхода являются большая ресурсоёмкость процесса обучения нейронной сети и существенное возрастание ошибок при расширении
интервала изменения параметра.
Во второй и третьей серии для преодоления этих недостатков применялся гибридный метод, при котором использовались численные поточечные решения задачи при граничных значениях параметра а . Для этого в функционал ошибки добавляется невязка численного решения у к и выхода нейронной сети в соответствующих точках хк', к=1,...т\
и ^
Численные эксперименты показали существенное ускорение процесса обучения нейронной сети и более высокую точность решения по сравнению с численным решением и нейронной сетью без использования численного решения.
Во второй серии численных экспериментов весовой множитель д' при слагаемом, соответствующем разности между выходом сети и упомянутым выше поточечным решением не менялся в процессе обучения. Использование приближённого решения позволило гораздо лучше обучить нейронную сеть при малых значениях параметра. Особо следует отметить, что при а= 0.01 ошибка, которую даёт нейронная сеть, меньше ошибки используемых дополнительных данных.
В третьей серии экспериментов уменьшался вес д' (умножался на 0.95 при каждой перегенерации пробных точек). Результат получился заметно лучше, чем при предыдущем подходе (при постоянном весовом множителе). Данное обстоятельство объясняется тем фактом, что на начальном этапе обучения нейронной сети её ошибка существенно выше, чем у используемого поточечного приближения, которое позволяет ускорить обучение нейронной сети. На этапе, когда нейронная сеть даёт ошибку, сравнимую с ошибкой поточечного приближения, использование последнего становится нецелесообразным, и его влияние на процесс обучения уменьшается указанной выше регулировкой веса при соответствующем слагаемом в функционале ошибки.
Заметим, что обученную таким образом нейронную сеть можно использовать для определения параметров по данным измерений, проводя минимизацию по этим параметрам невязки между данными измерений и выходом нейронной сети.
РЕЗУЛЬТАТЫ ЧИСЛЕННЫХ ЭКСПЕРИМЕНТОВ. Обучение нейронной сети проводилось на основе минимизации функционала ошибки методом RProp с перегенерацией пробных точек ( ), ] = 1,...,М(М =100) через каждые 5 шагов работы алгоритма; делается 200 таких перегенераций. Использовались сети из N нейроэлементов: N выбиралось равным 10, 30 и 100.
м
(+ [У со. +Х1, ]+
Первая серия
Приведём характерные срезы графиков решений в интервале изменения параметра ае(0; 0.25) - нейросетевого решения и М9-решения, найденного в пакете «Mathematica 9».
Дальнейшее обучение нейронной сети не приводит к существенному уменьшению ошибки.
а) а = 0.1, б) а = 0.01 Для данной нейронной сети хорошая точность решения при а = 0.1 сопровождается недостаточной точностью для а = 0.01.
Для сети из 100 элементов заданное число итераций недостаточно для обучения - ошибка больше чем для сети из 30 элементов:
а) а = 0.1, б) а = 0.01 Хотя абсолютная ошибка достаточно мала, характер решения при малых значениях параметра а (например, при а = 0.01) отражается нейросетевой моделью недостаточно точно.
Дальнейшее обучение приводит к существенному улучшению результатов, но только при многократном увеличении временных затрат. Вторая серия
Для получения более качественного нейросетевого приближения используем гибридный метод. Для этого строим на равномерной одномерной сетке приближённое поточечное решение при а = 0.01, расхождение с которым будем включать в виде слагаемого со штрафным (весовым) множителем в функционал ошибки, рассматривая эти поточечные значения как дополнительные поступившие данные для решения.
Так же, как и в предыдущем случае, приведём срезы нейросетевого решения и М9-решения для тех же значений параметра а . На рисунках б) при а= 0.01 - добавлен график используемого поточечного приближения.
Для сети из 10 элементов данный подход приводит к незначительному улучшению результатов:
а) а = 0.1, б) а = 0.01 Для сети из 30 элементов улучшение гораздо заметнее:
а) а = 0.1, б) а = 0.01 Для сети из 100 элементов ещё более заметное улучшение, но при результат не лучше, чем для сети из 30 элементов:
Видно, что использование приближённого решения позволило
гораздо лучше обучить нейронную сеть при малых значениях параметра, сохранив точность приближения при . При остальных нейронная сеть даёт приближение аналогичного качества.
Третья серия
Для дальнейшего улучшения решения будем уменьшать 8' - вес слагаемого в функционале ошибки, которое отвечает за рассогласование нейросетевой модели и дискретного приближения, умножая этот вес на у = 0.95 при каждой перегенерации пробных точек.
Приводим соответствующие срезы решений.
Для сети из 10 нейронов данный подход существенного выигрыша не
дал.
Аналогичные численные эксперименты проводились для сети из 30 и 100 нейроэлементов.
Для сети из 30 элементов подход дал заметное уточнение при а = 0.1 ,
а) а = 0.1, б) а = 0.01 Для сети из 100 элементов указанный гибридный алгоритм позволяет получить нейросетевое приближение, которое существенно лучше не только нейросетевого приближения, построенного без привлечения дополнительной информации, но и используемого поточечного приближения:
а) а = 0.1, б) а = 0.01 Такой результат показывает, что 100 нейронов достаточно для усвоения всей используемой при обучении информации - уравнения, граничных условий и поточечного приближения.
Следует ещё раз подчеркнуть, что подобные методы построения нейросетевых моделей сложных систем с использованием в качестве
данных информации от приближений (даже не очень точных), полученных на основе традиционных численных методов, существенно улучшают само нейросетевое решение. Эти подходы, например, могут быть применены к уравнениям параболического типа (уравнение диффузии), участвующим в описании влияния автотранспортной системы на окружающую среду, в случае как классических, так и неклассических (обычно некорректных) постановок задач.
ЗАКЛЮЧЕНИЕ. Полученные результаты позволяют высказать предположение, что такого рода гибридные алгоритмы могут оказаться эффективными для достаточно представительного класса задач построения приближённых решений обыкновенных дифференциальных уравнений и уравнений в частных производных.
Работа поддержана грантами РФФИ №14-01-00660А и 14-01-00733А.
Литература
1. Kubicek M., Hlavacek V. Solution of nonlinear boundary value problems -VIII. evaluation of branching points based on shooting method and GMP technique// Chem. Eng. Sci. - 1974. - V. 29.
- pp.1695-1699.
2. Холодниок М., Клич А., Кубичек М., Марек М. Методы анализа нелинейных динамических моделей. - М.: Мир, 1991. - 368 с.
3. И.Л. Хабибуллин, A.T. Хамитов, Ф.Ф. ^змутдинов, "Моделирование процессов тепло- и массоопереноса в пористых средах при фазовых превращениях, инициируемых микроволновым нагревом", ТВТ, 52:5 (2014), 727-733.
4. Васильев A.H., Tархов Д.А. ^йросетевое моделирование. Принципы. Алгоритмы. Приложения. -СПб.: Изд-во СПбГПУ, 2009. - 528 с.
5. Васильев А.^, Tархов Д.А. Перенос тепла и массы в пористом катализаторе// Материалы VI Международной конференции по неравновесным процессам в соплах и струях - NPNJ-2006, СПб. - М.: Вузовская книга, 2006. - С.159-160.
6. Васильев АЛ., Tархов Д.А. ^йросетевое решение задачи о пористом катализаторе // ^учно-технические ведомости СПбГПУ Физико-математические науки. - 2008. - №6 (67).
- С.110-113.
7. Tархов Д.А. ^йросетевые модели и алгоритмы. - М.: Радиотехника, 2014. - 348 с.
8. Francisco J. Valdes-Parada , Mauricio Sales-Cruz , J. Alberto Ochoa-Tapia , Jose Alvarez-Ramirez On Green's function methods to solve nonlinear reaction-diffusion systems// Computers and Chemical Engineering. - 32 (2008). - pp.503-511.
