СИМУЛЯЦИЯ ЖИДКОСТИ С ПОМОЩЬЮ ТРЕХМЕРНЫХ СВЁРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.876.5

DOI: 10.53815/20726759„2021_13_3_109

Е. А. Туманов

Московский физико-технический институт (национальный исследовательский университет)

NVIDIA

Симуляция жидкости с помощью трехмерных свёрточиых нейронных сетей

Рассматривается решение задачи аппроксимации классического метода симуляции жидкости — позиционного метода симуляции (PBF) [1]. Предлагаемое решение основывается на использовании субпиксельных свёрточных нейронных сетей, которые часто применяются в глубоком обучении для задачи умного повышения размерности изображений и видео. В нашем методе с их помощью повышается размерность поля коррекций скоростей частиц, которыми представлена жидкость. Итоговый метод симуляции поддерживает возможность интерактивного взаимодействия между жидкостью и окружением в реальном времени. В зависимости от точности приближения и соотношения между объемом домена вычислений и количеством частиц предлагаемый метод способен работать до 200 раз быстрее, чем метод-учитель (PBF).

Ключевые слова: Симуляция жидкости, аппроксимация физических процессов.

Е. A. Tumanov

Moscow Institute of Physics and Technology NVIDIA

Fluid simulation utilizing 3D convolutional networks

In this work, we propose a data driven method of fluid simulation which approximates the classic Lagrangian method - position based fluids (PBF) [1]. Our method is based on subpixel convolutional networks which serve the solution to image and video superresolution problems. In out method we use subpixel convolutional layers to upsamle velocity correction field. Our final solution supports real-time interaction with a scene. Depending on the accuracy of approximation and ration between domain volume and the number of particles our method runs up to 200 times faster than supervisor method (PBF).

Key words: fluid simulation, physics approximation, upsampling.

1. Введение

Развитие графических процессоров и библиотек для работы с нейронными сетями в последние годы привело к заметному ускорению как алгоритмов прямого прохода по свёр-точным нейронным сетям, так и к ускорению их обучения. Данное техническое изменение вдохновило множество проектов, нацеленных на ускорение физических симуляций путём их аппроксимации с помощью алгоритмов машинного обучения и глубокого обучения. В представленной работе предлагается метод, который эффективно аппроксимирует классический позиционный метод симуляции жидкости (Position Based Fluid, сокращение — PBF) [1]. Эффективное или качественное решение поставленной задачи предполагает, что модель, в нашем случае нейронная сеть, точно аппроксимирует решение, полученное методом PBF, и одновременно требует меньше времени для вычисления в сравнении с PBF. В рамках

© Туманов Е. А., 2021

(с) Федеральное государственное автономное образовательное учреждение высшего образования

«Московский физико-технический институт (национальный исследовательский университет)», 2021

данной работы нам удалось прийти к такому решению с помощью использования специфической архитектуры нейронной сети, которая использует субпиксельные сверточные слои для повышения пространственного разрешения. В наших экспериментах нам удалось получить солвер, основанный на нейронной сети, работающий до 200 раз быстрее в сравнении с аппроксимируемым методом. Предлагаемое решение позволяет симулировать жидкость в реальном времени и поддерживает интерактивное взаимодействие между жидкостью и окружением.

2. Обзор литературы: существующие методы симуляции, построенные на принципе аппроксимации данных

Сегодня в литературе и научных статьях можно встретить множество работ, посвященных задаче симуляции жидкости с помощью методов машинного обучения и глубокого обучения. Таблица 1 иллюстрирует детальное сравнение наиболее известных методов, предложенных на текущий момент времени.

Метод, предложенный в работе [3], является наиболее близким к методу, предлагаемому в рамках данной работы. В солвере, предложенном в [3], также используется регулярная сетка и также в каждом узле сетки вычисляется некоторое латентное представление, описывающее динамику жидкости. В этом методе используется схожая схема адвекции и коррекции, но и отличий много: в солвере, предложенном в [3], для аппрокцимации используются решающие деревья, иначе строится латентное представление, аппроксимирующий алгоритм использует идею повышения размерности решения, в ином виде аппроксимирующий алгоритм получает информацию о твердых телах.

Таблица1

Сравнение различных методов симуляции жидкости, которые основываются на идее аппроксимации классических методов симуляции с применением методов машинного обучения или глубокого обучения

М-д М-д учитель ML/DL м-д Признаки Целевая пер.

[3] PBF Решающие деревья Интегралы плотности и давления Несколько опций

[4] FLIP/PIC из [9] LSTM поверх 3D свёр-й сети Поле давлений Поле давлений

[5] Без учителя RESNET [111 Маска тв. тел и дивергенция поля скоростей после адвекции Поле давлений

[6] PBF, DFSPH [101 Непрерывная сверточная нейрон, сеть Положения и скорости частиц, оценка вязкости Коррекции положений частиц

Наш PBF См. пункты (6)-(7) Плотность и маска тв. тел Коррекции скоростей

Latent Space Physics (физика в латентном пространстве) - метод, предложенный в работе [4], был разработан для задачи симуляции жидкостей и аэрозольных сред (например, дыма). Важным преимуществом этого метода является его общность, потенциально он может быть использован для аппроксимации множества физических процессов, связанных с динамикой во времени физических полей, заданных в R3. Базовая идея этого метода заключается в том, что любое трехмерное поле, заданное на регулярной сетке, можно с

помощью некоторого нейросетевого кодировщика перевести в латентное пространство, где в свою очередь временную динамику можно аппроксимировать с помощью рекуррентных нейронных сетей. Авторы работы протестировали свои результаты на жидкостях и аэрозольных средах и получили многообещающие результаты. Однако этот метод имеет и свои недостатки, в частности - он не предполагает интерактивности, т.е. воздействия на поле в «runtime», в процессе непосредственного вычисления алгоритма шаг за шагом по времени.

Другой популярной работой, посвященной симуляции жидкости с помощью алгоритмов глубокого обучения, является [5]. Солвер, предложенный в этой работе, имитирует FLIP-метод [9]. Имея некоторое текущее представление состояния системы на входе в нейронную сеть, метод, предложенный в [5], начинает с адвекции, аналогичной той, что используется в методе FLIP. Далее вычисляется дивергенция поля скоростей на регулярной сетке и также бинарная макса, описывающая положение твердых тел в домене вычислений. Эти два тензора попадают в сверточную нейронную сеть, которая прогнозирует поле давления. Ключевая особенность метода заключается в том, что его обучение, в сущности, происходит без учителя, т.е. не требует оценки давления с помощью альтернативного, классического метода. Действительно, в этом нет никакой необходимости, т.к. функционал ошибки для такой нейронной сети можно построить из разницы между левой и правой частью уравнения Пуассона. Таким образом, единственное, что необходимо иметь для обучения такой нейронной сети, это достаточно большой набор возможных состояний системы (жидкость в разных состояниях, в доменах разной геометрии, взаимодействия с твердыми телами разной формы и размера).

Работа [6] - это одна из наиболее новых статей среди работ, посвященных аппроксимации динамики жидкости. Уммхофер и его соавторы предложили использовать континуальную версию свертки для аппроксимации коррекции положения частиц после шага адвекции. Таким образом, вход в нейронную сеть, предложенную в [6], не имеет какой-либо регулярной структуры. Вход для нейронной сети состоит из величин, рассчитанных для произвольно расположенных частиц, и выход, коррекция положения, также сформулированы для частицы. Нейронная сеть в этой работе обрабатывает каждую частицу в отдельности, рассматривая её соседей. Как итог, нейронная сеть, действуя на данном уровне представления (на частицах), позволяет получить крайне большую точность аппроксимации. Однако в то же время эта нейронная сеть является вычислительно сложной и не может быть вычислена в реальном времени для больших систем частиц. Также стоит отметить, что Уммхофер и соавторы рассматривали в своих экспериментах системы частиц значительно меньшего размера в сравнении с теми, что будут рассмотрены в рамках данной статьи.

Сверточная нейронная сеть на графе, предложенная в работе [7], использовалась для симуляции жидкости, песка и эластичных тел [8]. Причем во всех приложениях использовалась одна и та же нейросетевая архитектура. Качество аппроксимации, которое можно получить с помощью данной нейронной сети, очень высоко. Однако эта архитектура также является крайне вычислительно емкой для больших систем частиц.

3. Постановка задачи регрессии

Позиционный метод симуляций (PBF) принадлежит группе лагранжевых методов, а значит, этот метод моделирует жидкость как множество частиц. Каждая частица в этом методе на шаге по времени п описывается скоростью v? и позицией в пространстве х™. Размер шага по времени обозначим At. Имея текущее состояние частиц метод

PBF рассчитывает состояние системы в следующий шаг по времени, обновляя значения скоростей и позиций частиц в пространстве {ж™+1, v^1}. Чтобы аппроксимировать вычисления PBF, наш метод в качестве первого шага осуществляет адвекцию частиц, принимая во внимание текущую скорость и гравитационное взаимодействие. Шаг адвекции описывается следующими уравнениями.

V? = V? + дА1, (1)

хГ = х? + АЬ (2)

Имея промежуточное состояние системы {ж™* }, далее в рамках алгоритма нашего метода происходит детектирование проникновения частиц в твердые тела, расположенные в домене вычислений. Далее те частицы, которые проникли в твердые тела после шагов адвекции (1), (2), переносятся на поверхность геометрических тел по кратчайшему вектору. Функцию, выполняющую данный перенос, обозначим С. Для реализации функции С мы воспользовались методом на основе полей расстояний со знаком из монографии [9]. Отметим лишь одну важную деталь - перенос С затрагивает только положение частиц и никаким образом не влияет на промежуточные скорости частиц V.

х™ = С« ,Qn). (3)

Дескриптор Qn обозначает дополнительную информацию, необходимую для выполнения шага С, эта информация включает в себя положение твердых тел в пространстве на момент шага по времени п и их геометрию. В качестве следующего шага, наш метод обновляет значения скоростей и положений частиц в пространстве в соответствии со следующими уравнениями:

<+1 = vf + ¿Г, (4)

= xf + «+1 - vf (5)

5™ в уравнении 4 обозначают разницу между промежуточным значением скоростей частиц после шага адвекции и итоговым, т.е. тем, который был рассчитан с помощью аппроксимируемого метода PBF. Таким образом, именно и будет целевой переменной в задаче регрессии, которую нам предстоит решить. Из анализа предложенной схемы решения и алгоритма PBF (алгоритм 1 в работе [2]) следует, что решение регрессии с целевой переменной 5f фактически имитирует самую вычислительно емкую часть алгоритма PBF, а именно итеративную процедуру коррекции положения частиц, обеспечивающую выполнение условия несжимаемости жидкости. Таким образом, задача регрессии, которую мы будем решать с целью аппроксимации солвера PBF, выражается следующим соотношением:

* F(Q,Sf ,xf), (6)

F - это алгоритм регрессии (нейронная сеть в нашем случае) с весами В. Дескриптор Sn описывает состояние системы после шага адвекции и является входом нейронной сети. Подробно включаемые в Sn* признаки и его структура будут описаны в следующем пункте.

4. Дескриптор системы частиц Sn*

Так как коррекция скорости и коррекция положения частиц связаны линейным образом в уравнениях (4), (5), решение задачи регрессии, предложенной в предыдущем пункте, заменяет цикл итераций коррекции положения частиц в методе PBF. Этот цикл коррекций, напоминающий итеративный метод Якоби, поддерживает в PBF выполнение условия несжимаемости жидкости. Таким образом, дескриптор Sn* должен включать в себя ту информацию, которая используется в цикле коррекций в методе PBF. Согласно алгоритму 1 в статье [2], итоговое значение обновления положения частицы в результате выполнения цикла коррекций зависит от положения частиц в некоторой окрестности вокруг нее, а также от положения твердых тел. Чтобы учесть расположение частиц и твердых тел при решении

задачи регрессии, в нашем методе информация о положениях частиц и твердых тел переносится на регулярную решетку. Чтобы учесть положение частиц в Зп*, мы рассчитываем для каждой ячейки регулярной сетки, сколько частиц в ней находится. Также для каждой ячейки рассчитывается бинарное значение, равное 1, если центр ячейки находится внутри какого-либо твердого тела, и равное 0 в противном случае. Эти две величины, плотность и бинарная маска, описывающая положение твердых тел в домене вычислений, образуют два канала тензора 5"*, общим размером (В, 2, Н, Ш, И), где Н, Ш, Б — это пространственные размеры решетки, накрывающей домен вычислений, а В — размер батча.

Рис. 1. Примеры симуляций жидкости, которые были получены с помощью нашего метода и сети ANN (1R)

5. Сбор данных для обучения

Мы создали 40 сцен для использования во время обучения, 10 сцен для оптимизации нейросетевых архитектур (валидации) и 10 сцен для итогового тестирования. Каждая сцена характеризуется начальным положением жидкости, положением эмиттеров, которые порождают частицы, имитируя потоки жидкости, приносящие на сцену какое-то количество жидкости за один шаг но времени. Также при создании сцен мы использовали твердые тела разных примитивных форм: сферы, конусы, цилиндры, кубы.

Как известно, алгоритм PBF имеет множество параметров, и может быть по-разному реализован. Для эксперимента мы использовали реализацию из программного пакета NVIDIA FleX [12] с параметрами, представленными в табл. 2.

Т а б л и ц а 2

Параметры метода PBF, которые были использованы при сборе данных для

обучения

dt 16 ms surfaeeTension 0.0

substeps 5 adhesion 0.0

numlterations 50 vorticitvConfincmcnt 0.0

cohesion le-3 radius 0.1

viscosity 0.0 fluidRestDistance 0.06

Для остальных параметров мы использовали значения по умолчанию, которые можно найти в публичном программном коде NVIDIA FleX.

6. Оператор перевода глубины тензора в объем

Прежде чем переходить к описанию нейронной сети, которую использует наш метод для решения задачи регрессии 6, нам необходимо описать оператор перевода глубины тензора в объем. Предположим, что свободная размерность тензора А (размер батча), который обрабатывает ЗО-свёрточная сеть в процессе вычислений, равна N, а количество каналов

в нём — Се3. Тогда описываемый оператор берёт вектор вдоль канала размером Се3 и перераспределяет ячейки вектора так, чтобы они сформировали соседствующие в3 ячеек в пространственных измерениях выходного тензора В, в каждой из в3 при этом находится вектор размера С. Таким образом, для всех п € {0, 1, ..., N — 1} и всех с € {0, 1, ..., С — 1} выполнено:

B[n,c,i,j,k] = A[n,q,i/s,j/s,k/s\, q = с + С((i mod s)s2 + (j mod s)s + (k mod s)).

(7)

(8)

7. Архитектура нейронной сети

Для решения задачи регрессии 6 мы рассмотрели широкий класс архитектур В, который мы опишем в рамках данного параграфа. Вход свёрточной части нашей нейронной сети — это дескриптор Бп , описаный ранее. Все архитектуры нейронных сетей из множества В состоят из двух частей. Первая часть — это последовательность из п ЗБ свёрток с нелинейностью Г» (1.1, и произвольными параметрами пропуска, размера ядра, количества входных и выходных карт, количества групп и т. д.; единственное условие, что в результате выполнения первой части архитектуры, тензор латентного представления для некоторого целого числа к имеет размер

^, 2к, 2к , 2к).

(9)

Вторая часть всех архитектур из класса В состоит из субпиксельных сверток (размер ядра — 1 х 1 х 1) с нелинейностью ЫеЬи (для всех кроме последнего). Причем между применениями субпиксельных сверток может использоваться или не использоваться оператор перевода глубины тензора в объем. В результате работы второй части тензор должен иметь размерность

(В, 3, 2rН, 2rW, 2rD).

(10)

Рис. 2. Скорости метода симуляции при использовании ANN (1R) и FNN (1.25R) на сценах с различным соотношением объема домена вычислений и количества частиц

Таким образом, задача второй части сети получить значения поля коррекций на решетке с пространственной размерностью в г раз превышающую исходную. Выполнение второй части завершается переносом коррекции с решетки на частицы с помощью трилинейной интерполяции или интерполяции по принципу ближайшего соседа. Все архитектуры класса В мы оптимизировали, исходя из следующего функционала ошибки:

р

J2(F(©, Sn',xf) - «+1 - ))2 + Л

г=1

11©1|2

11—--> mm .

2 ©

(11)

В результате эксперимента мы обнаружили, что архитектуры из класса В отлично решают задачу регрессии 6, и при этом дают хороший контроль над соотношением между скоростью работы и точностью аппроксимации. Никакие наши попытки расширить класс В не увенчались успехом, несмотря на то что мы пробовали и архитектуры с непоследовательными связями между слоями, и альтернативные способы повышения пространственной размерности, и прочее.

Рис. 3. Примеры симуляций жидкости, которые были получены с помощью нашего метода и сети ANN (1R). Случай более сложных геометрических препятствий

Т а б л и ц а 3

Параметры сетей ANN и FNN. d — это параметр пропуска, s — страйд (значение по умолчанию — 1), параметр групп равен 1 для всех слоев, оставшиеся параметры — это количество выходных, входных каналов и

пространственный размер ядер

ANN (1R) FNN (1.25R)

32x3x3x3 64x2x2x2 (s 2)

8x3x3x3 64x3x3x3

32x3x3x3(d 3) 64x3x3x3

32x3x3x3 256x3x3x3

32x1x1x1 256x1x1x1

24x1x1x1 256x1x1x1

192x1x1x1

Мы обучили и протестировали множество архитектур класса D, и для практических целей, например для приложений, где требуется интерактивная в реальном времени симуляция жидкости, мы рекомендуем следующие две сети. Первая сеть ANN для разрешения дескриптора 1R, т.е. когда размер ячейки решетки 1R х 1R х 1Д, где R - параметр радиус частицы в алгоритме PBF. Архитектура ANN была выбрана нами как самая точная среди архитектур из класса D, которая, при запуске на графическом процессоре NVIDIA GeForce RTX 2080 Ti, сохраняет требования вычислимости в реальном времени для определенной ецены-бенчмарка. В качестве бенчмарка мы взяли сцену, где в бассейне бесконечно вращается куб, взаимодействуя с 560 тысячами частиц. Вторая сеть FNN для разрешения 1.25R является самой быстрой сетью, которая сохраняет визуальную схожесть жидкостной динамики но сравнению с методом-учителем, т.е. PBF с параметрами, которые мы указали.

Параметры сетей ANN и FNN представлены в табл. 3. Замеры скорости работы ANN и FNN относительно метода учителя продемонстрированы на рис. 1.

8. Заключение

В этой работе мы предложили новый метод симуляции жидкости, который для широкого спектра сцен является более быстрой альтернативой методу PBF. Частично наш метод может быть переиспользован во множестве других задач, где вход и выход нейронной сети задан в произвольных точках в 3D. Хороший пример похожей задачи из области компьютерной графики — это рендеринг газообразных сред и аэрозолей. Классический алгоритм решения данной задачи, основанный на Монте-Карло интегрировании, является крайне вычислительно ёмким, однако его также можно попробовать ускорить посредством аппроксимации. Мы оставляем данную задачу для будущего исследования. Также мы надеемся, что наша идея обучаемого повышения размерности поможет достичь лучших соотношений между качеством и временем работы и в других схожих задачах.

Литература

1. Маклин М., Мюллер М. Позиционный метод симуляции жидкости // ACM Transactions on Graphics(TOG). 2013. V. 32, N 4. С. 1 12.

2. Мюллер М. Позиционный метод для физических симуляций // Journal of Visual Communication and Image Representation. 2007. V. 18, N 2. P. Ю9—118.

3. Ладицки Л. [и др.]. Симуляция жидкости с помощью алгоритма Случайный лес // ACM Transactions on Graphics (TOG). 2015. V. 34, N 6. P. 1-9.

4. Вийвел С. \u др.]. Физика в латентном пространстве: обучение аппроксимации динамики жидкости // Computer Graphics Forum. V. 38. Wiley Online Library. 2019. P. 71^82.

5. Томсон Док.. \u др.]. Ускорение Эйлеровской симуляции жидкости с помощью свёрточ-ных нейронных сетей // Proceedings of the 34th International Conference on Machine Learning. V. 70. JMLR. org. 2017. P. 3424^3433.

6. Уммхофер Б. \u др.]. Метод Лагранжевского типа для симуляции жидкости на основе непрерывных свёрточных сетей // International Conference on Learning Representations. 2020.

7. Баттаглиа П.В. Байесовский вывод, глубокое обучение и нейронные сети на графах. 2018. arXiv.

8. Санчез-Гонзалес А. Аппроксимация физических симуляций с помощью нейронных сетей на графах. 2020. arXiv

9. Бридсон Р. Симуляции жидкости в компьютреной графике. CRC press, 2015.

10. Бендер Док., Кошиер Д. Бездевергентная гидродинамика сглаженных частиц // Proceedings of the 14th ACM SIGGRAPH/Eurographics symposium on computer animation. 2015. P. 117 155.

11. Жегеда К. Архитектуры Inception-v4, inception-resnet и их влияние на нейронные сети с непоследовательными связями между слоями // Pattern Recognition, 2019. Elsevier.

12. https://docs.nvidia.com/gameworks/content/gameworkslibrarv/phvsx/flex/index.html References

1. Macklin M. , Muller M. Position based fluids, ACM Transactions on Graphics(TOG). 2013. V. 32, N 4. P. 1 12.

2. Muller M. Position based dynamics, Journal of Visual Communication and Image Representation. 2007. V. 18, N2. P. 109-118.

3. Ladicky L., et al, Data-driven fluid simulations using regression forests, ACM Transactions on Graphics (TOG). 2015. V. 34, N 6. P. 1-9.

4. Wiewel S., et al, Latent space physics: Towards learning thetemporal evolution of fluid flow, Computer Graphics Forum. V. 38. Wiley Online Library. 2019. P. 71^82.

5. Tompson J., et al, Accelerating eulerian fluid simulation with convolutional networks, Proceedings of the 34th International Conference on Machine Learning. V. 70. JMLR. org. 2017. P. 3 12 I 3133.

6. Ummenhofer B., et al., Lagrangian fluid simulation with continuous convolutions, International Conference on Learning Representations. 2020.

7. Battaglia P.W. Bavesian inference, deep learning and graph neural networks. 2018. arXiv.

8. Sanchez-Gonzalez A. Learning to Simulate Complex Physics with Graph Networks. 2020. arXiv.

9. R. Bridson Fluid simulation for computer graphics. CRC press, 2015.

10. Bender J., Koschier D. Divergence-free smoothed particle hydrodynamics, Proceedings of the 14th ACM SIGGRAPH/Eurographics symposium on computer animation. 2015. P. 117 155.

11. C. Szegedy Inception-v4, inception-resnet and the impact of residual connections on learning. Pattern Recognition. 2019. Elsevier.

12. https://docs.nvidia.com/gameworks/content/gameworkslibrary/physx/flex/index.html

Поступим в редакцию 04-08.2021