CC BY
7CONSERVATION LAWS IN A NEURAL NETWORK APPROACH TO NUMERICAL SOLVING OF THE NONLINEAR SCHRODINGER EQUATION
Yu. Gurieva, E. Vasiliev, L. Smirnov
Lobachevsky State University,
603022, Xizhny Novgorod, Russia
DOI: 10.24412/2073-0667-2023-2-5-20 EDX: LFBXWY
We consider a possible modification of a neural network approach to numerical solving of nonlinear partial differential expiations (PDE), describing physical systems with integrals of motion. In this approach, we approximate solutions of the expiations by deep neural networks, using physics-informed method.
Physics-informed neural network (PINN) approach proposes nonlinear function approximators that integrate the observational data, initial and boundary conditions and description of physical system in form of PDE by embedding the corresponding residuals into the loss function of a neural network. Therefore, the problem of solving nonlinear differential expiations turns into the problem of minimizing the scpiarcd residuals over domain which is achieved by automatic differentiation and stochastic gradient descent.
The proposed modification of this method means consider at ion and implementation of corresponding conservation laws for training of the neural networks, and is expected to improve the physical properties of the trained nonlinear regression models. The purpose of this work is to modify a neural network using the conservation law constraint, such that the predicted solution will satisfy the continuity equation better and faster as well as speed up the rate of convergence and provide better accuracy. Improvement of the conservative properties of the approximation is provided by the specific loss function regularization: addition of the conserved quantities’ residuals to the loss function to train the neural network.
To test this method, we considered one-dimensional nonlinear Schrodingcr equation and its conservation laws in integral form. Number of quants and energy were used as conserved physical quantities. In our experiments, their values were calculated in several equidistant time moments and compared with reference to find the corresponding residuals and implement the conservation constraint in the loss function. Therefore, the average residuals of number of quants and energy for the prediction arc considered as quality metrics in the problem, as well as pointwise difference from the predicted and reference solution (validation error). Reference functions for validation datasets arc derived from the analytical expressions for the exact solutions.
This modified neural network approach is applied to the different classes of analytic solutions of the nonlinear Schrodingcr equation: one soliton, interaction of two solitons (in breather form), first-order rogue wave. For each solution, we apply three forms of the conservative regularization: quants’ number constraint, energy constraint and the sum of them. The training curves and predictions arc compared with the solution obtained with the initial loss function (baseline).
It is shown that introduction of the additional conservative constraints to loss function reduces the conserved quantities’ residuals for training and prediction in all eases. For the simplest one-soliton
(c) Yu. Gurieva, E. Vasiliev, L. Smirnov, 2023
solution, the regularizations improve not only conservation quality metrics, but also pointwise difference with the reference in the same training time. The best result was obtained by the combination of constraints: validation error is reduced by more than three times. However, for more complex solution forms, such as two solitons and rogue wave, the results are not as good. The conservative constraints significantly change the form of loss function, so the training curves start to plateau, and the training process becomes more unstable. For the most complex two soliton interaction, it requires about two times more optimization steps to converge. The validation error is improved only for the energy constraint for both cases: for two-soliton solution, validation error is reduced by 13 %; for rogue wave, it is reduced by 67 %. Therefore, the effect of conservative modification of the deep learning approach for nonlinear partial differential equations is individual for different systems and conserved quantities. Generalization ability of such neural networks should be further investigated and tested for different problems.
Key words: deep learning, neural networks, nonlinear Schrodinger equation, conservation laws, solitons.
References
1. Moxlev F., Chuss D., Dai W. A generalized finite-difference time domain scheme for solving nonlinear Schrodinger equations // Computer Physics Communications, 2013. N 184 (8). P. 18341841. [El. Res.]: https://doi.Org/10.1016/j .cpc.2013.03.006.
2. Vasiliev E.P., Bolotov D.I., Bolotov M.I., Smirnov L.A. Nevrosetevov podhod к reshenivu zadachi samovozdejstviva volnovvh polej v nelinejnvh sredah // Problemv Informatiki. 2022. N 1. P. 5-16. [El. Res.]: https://doi.org/10.24412/2073-0667-2022-l-5-16.
3. Karniadakis, G.E., Kevrekidis, I.G., Lu, L. et al. Physics-informed machine learning // Nature Reviews Physics. 2021. N 3. P. 422-440. [El. Res.]: https://doi.org/10.1038/s42254-021-00314-5.
4. Raissi M., Perdikaris P., Karniadakis G.E.: Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations // Journal of Computational Physics. 2019. N 378. P. 686-707. [El. Res.]: https://doi.org/10.1016/ j.jcp.2018.10.045.
5. Pu J.C., Li J., Chen Y. Soliton, breather, and rogue wave solutions for solving the nonlinear Schrodinger equation using a deep learning method with physical constraints // Chinese Physics B, 2021. N 30 (6), 060202. [El. Res.]: https://dx.doi.org/10.1088/1674-1056/abd7e3.
6. Wu G. Z., Fang Y., Wang Y. Y., Wu G. C., Dai C. Q. Predicting the dynamic process and model parameters of the vector optical solitons in birefringent fibers via the modified FINN // Chaos, Solitons and Fractals. 2021. N 152, 111393. [El. Res.]: https://doi.Org/10.1016/j.chaos.2021.111393.
7. Wang L., Yan. Z. Data-driven rogue waves and parameter discovery in the defocusing nonlinear Schrodinger equation with a potential using the FINN deep learning // Physics Letters A. 2021. V. 404. P. 127408. [El. Res.]: https://doi.Org/10.1016/j.physleta.2021.127408.
8. Jagtap, A., Kharazmi, E., Karniadakis. G.E. Conservative physics-informed neural networks on discrete domains for conservation laws: Applications to forward and inverse problems // Computer Methods in Applied Mechanics and Engineering. 2020. N 365, 113028. [El. Res.]: https://doi.org/ 10.1016/j.cma.2020.113028.
9. Wu G.Z., Fang Y., Kudryashov N., Wang Y.Y., Dai C.Q. Prediction of optical solitons using an improved physics-informed neural network method with the conservation law constraint // Chaos, Solitons and Fractals, 2022. 159(C), 112143. [El. Res.]: https://doi.Org/10.1016/j.chaos.2022. 112143.
10. Lin S., Chen Y. A two-stage physics-informed neural network method based on conserved quantities and applications in localized wave solutions // Journal of Computational Physics, 2022. 457(C), 111053. [El. Res.]: https://doi.Org/10.1016/j.jcp.2022.111053.
11. [El. Res.]: https://docs.nvidia.com/deeplearning/modulus/user_guide/theory/
recommended_practices.html.
12. Zakharov V., Manakov S. On the complete integrabilitv of a nonlinear Schrodinger equation // Theoretical and Mathematical Physics. 1974. N 19 (3). P. 551-559. [El. Res.]: https://doi.org/10. 1007/BF01035568.
13. [El. Res.]: https://docs.nvidia.com/deeplearning/modulus/user_guide/foundational/ scalar_transport.html.
14. Stein M. Large sample properties of simulations using Latin hvpercube sampling, Technometrics. 1987. N 29. P. 143-151. [El. Res.]: https://www.jstor.org/stable/1269769.
15. Schraudolph N.N., Yu J., Gunter S. A Stochastic Quasi-Newton Method for Online Convex Optimization // International Conference on Artificial Intelligence and Statistics, 2007. P. 436-443. [El. Res.]: http: //proceedings.mlr.press/v2/schraudolph07a/schraudolph07a.pdf.
УЧЕТ ЗАКОНОВ СОХРАНЕНИЯ ПРИ НЕЙРОСЕТЕВОМ ПОДХОДЕ К ЧИСЛЕННОМУ РЕШЕНИЮ НЕЛИНЕЙНОГО
УРАВНЕНИЯ ШРЕДИНГЕРА
Ю. В. Гурьева, Е. П. Васильев, Л. А. Смирнов
Нижегородский государственный университет им, Н, И, Лобачевского,
603022, Нижний Новгород, Россия
УДК 517.957
DOI: 10.24412/2073-0667-2023-2-5-20 EDX: LFBXWY
В работе рассматривается один ив возможных вариантов модификации нейроеетевого подхода к численному решению нелинейных уравнений в частных производных, у которых благодаря физическим свойствам описываемых явлений имеются интегралы движения. Представленный метод подразумевает учет и непосредственное использование соответствующих законов сохранения при построении и обучении нейронных сетей, аппроксимирующих решения такого класса задач, что позволяет улучшить характеристики и качество получаемых нелинейных регрессионных моделей. Болес точное выполнение консервативных свойств физических систем для аиироксиматора обеспечивается регуляризацией функции потерь: добавлением невязки сохраняющейся величины нейроеетевого решения. Данная концепция рассмотрена и апробирована на примере нелинейного уравнения Шредингера и двух его интегралов движения, отвечающих законам сохранения числа квантов и энергии. Для вычисления невязки этих сохраняющихся величин и реализации консервативной регуляризации функции потерь был использован метод плоскостей непрерывности (вычисление величин в фиксированные моменты времени). Полученные результаты показывают улучшение консервативных свойств, а также в некоторых случаях точности нейроеетевого решения но сравнению с регрессионной моделью, построенной с помощью глубокого обучения без учета предложенной в работе модификации.
Ключевые слова: глубокое обучение, нейронные сети, нелинейное уравнение Шредингера, законы сохранения, солитоны.
Введение. Нелинейное уравнение Шредингера (НУШ) представляет собой одно из ключевых уравнений, описывающее волновые процессы в различных областях физики, включая распространение электромагнитных волн в нелинейных оптических волокнах и волноводах, динамику возбуждений конечной амплитуды в плазме и бозе-эйнштейновском конденсате и др. Для моделирования распространения оптического импульса в нелинейном волокне на основе НУШ был разработан целый ряд численных схем. Одним из наиболее популярных и эффективных алгоритмов является неевдоенектральный метод расщепления 111. Тем не менее, данная задача остается достаточно сложной с точки зрения
Работа проведена при поддержке Проекта У 0729-2021-013, в рамках Государственного задания на выполнение научно-исследовательских работ лабораториями, прошедших конкурсный отбор в ходе реализации национальной программы «Наука и университеты».
(с) Ю. В, Гурьева, Е, П, Васильев, Л. А, Смирнов, 2023
вычислений, особенно когда в системе появляются все более мелкие характерные масштабы, например, вследствие самофокусировки волнового поля.
Одно из основных ограничений, возникающих при моделировании динамики нелинейных систем, состоит в том, что в какой-то момент размеры неоднородностей волнового поля могут стать сопоставимы с шагом дискретизации пространственной координаты, который, в свою очередь, ограничивает шаг по времени в конечно-разностных схемах [2]. Поэтому во избежание численной неустойчивости необходимый объем обрабатываемых данных и число итераций по эволюционной переменной сильно возрастают. Таким образом, существует потребность в альтернативных методах расчета нелинейных волновых процессов в различных областях физики. Нейросете вой подход позволяет снять ограничения классических алгоритмов решения дифференциальных уравнений в частных производных, которые подразумевают дискретизацию пространственно-временной области.
Методы машинного обучения представляются перспективной альтернативой прямому численному моделированию благодаря своей эффективности для многомерных, обратных и некорректно поставленных задач [3]. Методы глубокого обучения, в частности, позволяют выделять закономерности из большого объема неоднородных данных и делать предсказания динамики волновых полей на основе физических законов (дифференциальных уравнений в частных производных) и ограничений (в том числе законов сохранения: массы, импульса, энергии и др,).
Метод глубокого обучения Physics-Informed Neural Network (PINN) был разработан и применен для решения прямых и обратных (восстановление параметров уравнений по данным) задач нелинейной динамики [4]. Построенная при этом нейронная сеть агрегирует наблюдаемые данные, начальные и граничные условия, а также описание физической системы (уравнения), включая соответствующие остатки в функцию потерь, В итоге задача численной аппроксимации решения нелинейного дифференциального уравнения в частных производных сводится к минимизации суммы квадратов невязок в точках пространственно-временной области [3, 4], Отметим, что в настоящее время применимость и эффективность PINN активно изучается в рамках модельных уравнений, к которым, в частности, относится НУШ, Например, рассматривались возможность предсказания разных сценариев поведения комплексных волновых полей [5], в том числе различные варианты взаимодействия светлых и темных солитонов [6], а также возникновение волн-убийц [7].
Было предложено множество улучшений оригинальной версии PINN [4], основанных на законах сохранения, с целью улучшить качество и характеристики аппроксимации решений нелинейных дифференциальных уравнений в частных производных, В частности, была предложена консервативная модификация метода PINN с разделением области (геометрии) задачи на части [8]. Дополнительная регуляризация функции потерь использует закон сохранения потока на соприкасающихся границах областей и улучшает точность решения, В [9] наряду с основными динамическими уравнениями рассматривалось включение законов сохранения в дифференциальной форме в функцию потерь, В представленной нами работе выбран способ учета законов сохранения в интегральной форме [10, 11],
Целью данного исследования является проверка гипотетической возможности улучшения фундаментальных физических свойств нейросетевого решения НУШ с помощью консервативной модификации функции потерь, состоящей в специфической регуляризации с использованием интегралов движений. Соответствующий анализ проведен для законов сохранения числа квантов и энергии, а нейроеетевые решения НУШ, полученные методом PINN, сравнивались с известными аналитическими решениями в виде одного солитона, су-
Automatic
differentiation
Loss
Neura Network
L
«W
Loss
L
I ()NS
L
LOSS/;
Ni
l/»W
L
LOSS/;
Ni
Loss
Loss
-f Loss
Loss f
+ Loss/;
End
Рис. 1. Общая схема нойросотового подхода при построении аппроксимации решения нелинейного
динамического уравнения в частных производных
нернозиции двух солитопов в форме бризера, а также волны-убийцы первого порядка 1121. Показано, что дня модифицированной па основе интегралов движения нелинейной регрессионной модели качество выполнения законов сохранения улучшается, благодаря чему в нескольких случаях точность предсказания (но метрике среднеквадратичного отклонения от точного решения) возрастает при увеличении длительности обучения.
1. Нейросетевой подход к численному решению нелинейного уравнения Шредингера.
1.1. Глубокое обучение для построения, аппроксимации решений нелинейных динамических уравнений. В данной работе рассматриваются нолпосвязпые нейронные сети, построенные с помощью методов глубокого обучения и позволяющие предсказывать в указанной области П по заданным начальным условиям ф0 (x) решение НУШ с граничными условиями Дирихле:
гж + “И +в|ф|2ф
0, x Е П, t Е \tmin,tmax\
(1)
C(x,tmin) = фо(х),
^(x,t) = (x,t), x Е дП,
где а и в ~ действительные постоянные, которые определяются свойствами описываемой с помощью (1) физической системы, а ф(х,б) — комплексная волновая функция, характеризующая распределение ноля. Соответственно, невязка уравнения определяется
выражением
f := гж + “И +в|ф|2ф.
(2)
Нейронная сеть имеет два входа x,t и два выхода, аппроксимирующие действительную и мнимую часть решения ^(x,t) = u(x,t) + iv(x,t).
Для задачи (1) функция потерь в оригинальном методе PINN имеет следующий вид:
