CC BY
19
2022 ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА Т. 9 (67). Вып. 1
МАТЕМАТИКА. МЕХАНИКА. АСТРОНОМИЯ
МЕХАНИКА
УДК 533.6.011
МБС 76Ь05, 82С40, 82С70
Моделирование скорости колебательной релаксации с помощью методов машинного обучения*
М. А. Бушмакова, Е. В. Кустова
Санкт-Петербургский государственный университет,
Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7—9
Для цитирования: Бушмакова М. А., Кустова Е. В. Моделирование скорости колебательной релаксации с помощью методов машинного обучения // Вестник Санкт-Петербургского университета. Математика. Механика. Астрономия. 2022. Т. 9 (67). Вып. 1. С. 113-125. https://doi.org/10.21638/spbu01.2022.111
Цель исследования — разработка эффективного алгоритма решения задач неравновесной газовой динамики в приближении детальной поуровневой колебательно-химической кинетики. Обсуждается оптимизация расчета скорости колебательной релаксации с использованием алгоритмов машинного обучения. Поскольку традиционные методы расчета требуют большого числа операций, затрат времени и памяти, предлагается вместо прямых вычислений прогнозировать скорость релаксации. Рассмотрены алгоритмы К-ближайших соседей и градиентного бустинга на основе гистограмм. Алгоритмы были обучены на наборах данных, полученных с использованием двух классических моделей коэффициентов скорости реакций: модели нагруженного гармонического осциллятора и модели Шварца— Славского — Герцфельда. Обученные алгоритмы использовались для решения задачи пространственно однородной релаксации смеси 02-0. Проведено сравнение точности и времени расчета разными методами. Показано, что используемые алгоритмы позволяют с хорошей точностью аппроксимировать значения релаксационных членов и приближенно решить систему уравнений для макропараметров. На основании полученных данных можно рекомендовать использование методов машинного обучения в задачах неравновесной газовой динамики с детальной колебательно-химической кинетикой. Обсуждаются пути дальнейшей оптимизации рассмотренных методов.
Ключевые слова: неравновесные течения, колебательная кинетика, машинное обучение.
* Исследование выполнено при финансовой поддержке Санкт-Петербургского государственного университета (ГО проекта 84912260).
(¡5 Санкт-Петербургский государственный университет, 2022
1. Введение. В условиях, когда внутренние физико-химические процессы в газах (обмен энергией между поступательными и внутренними степенями свободы, химические реакции, ионизация и т.д.) заметно нарушают термодинамическое равновесие системы, классических газодинамических уравнений становится недостаточно для замкнутого описания неравновесных течений. Тогда газодинамические уравнения решаются совместно с уравнениями кинетики неравновесных процессов [1]. Наиболее детальным является поуровневый подход, при котором уравнения кинетики записываются для каждого колебательного состояния молекул. Эти уравнения в качестве правых частей содержат скорость колебательно-химической релаксации, расчет которой подразумевает многократное суммирование, а также вычисление и хранение большого количества коэффициентов скорости переходов колебательной энергии и химических реакций. Это вычислительно затратный процесс, который заметно осложняет моделирование неравновесных течений и нуждается в оптимизации.
В настоящее время широкое применение в науке находит машинное обучение [2— 5]. Методы машинного обучения — современный и универсальный инструмент для исследования, который применим и в задаче расчета скорости релаксации. Регрессионные алгоритмы, обученные на малой выборке, позволяют предсказывать новые значения релаксационных членов, не прибегая к их прямому вычислению, что может заметно сократить и время вычислений, и объем используемой памяти. Стоит отметить, что задача о расчете релаксационных членов в уравнениях детальной по-уровневой кинетики с помощью алгоритмов машинного обучения ранее в литературе не рассматривалась и в настоящей работе исследуется впервые.
Цель работы — разработка эффективного алгоритма решения задач неравновесной газовой динамики с учетом детальной колебательно-химической кинетики. Для этого используются методы машинного обучения. Работа включает следующие этапы: 1) анализ и выбор алгоритмов машинного обучения (ML); 2) вычисление релаксационных членов в уравнениях поуровневой кинетики с помощью алгоритмов ML, оценка погрешности вычисления релаксационных членов; 3) оценка эффективности решения системы для макропараметров на основе данных алгоритмов на примере решения нульмерной задачи релаксации; 4) интеграция алгоритмов в существующие решатели.
2. Теоретическая модель. Рассмотрим смесь газов в условиях сильной колебательно-химической неравновесности. Будем использовать детальную поуров-невую модель течения, для которой характерные времена релаксации удовлетворяют условию
Tel < Trot << Tvibr < Treact ~ 0. (1)
Здесь Tei, Trot, Tvibr, Treact — соответственно времена релаксации поступательных, вращательных и колебательных степеней свободы и характерное время химических реакций, 0 — характерное время изменения макропараметров течения. Такие условия возникают, например, при входе космического аппарата в атмосферу планеты, в разрядах, в лазерной технике.
Система уравнений для макропараметров в случае поуровневого описания включает законы сохранения массы, импульса и энергии, дополненные уравнени-
ями колебательной и химической кинетики для каждого колебательного уровня [1]:
dnc. ~dt
+ UciV ■ v + V ■ (nciVci) = Rci,
c = 1,... ,L, i = 0,..., Lc, dv
dU „ ^
p— + V • q+P : Vv = 0.
dt
(2)
В этих уравнениях п^ — заселенности г-го колебательного уровня молекулы сорта с (с =1,..., Ь — химический сорт, г = 0,..., Ьс — возбужденные колебательные уровни молекул сорта с), V — скорость потока, — скорость диффузии для каждого колебательного состояния молекулы сорта с, р — плотность, и — полная энергия единицы массы, Р — тензор напряжений, q — тепловой поток. Релаксационные члены ДС4 определяют скорость изменения заселенностей пс^ вследствие медленных процессов — обменов колебательной энергией и химических реакций. Они выражаются через интегральные операторы медленных процессов следующим образом:
Rci = Е / Jjduc = RVfr + Rreact, (3)
j
j — вращательный уровень молекулы, uc — скорость частицы сорта c.
Чтобы замкнуть систему уравнений (2), необходимо выразить потоковые и релаксационные члены через макропараметры и их производные. Замыкание системы проводится с помощью обобщенного метода Энскога — Чепмена [1]. В нулевом приближении метода Энскога — Чепмена имеем Vci = q = 0, P = pI (I — единичный тензор, p — давление), и уравнения соответствуют уравнениям движения невязкой нетеплопроводной жидкости (уравнениям Эйлера), дополненным уравнениями колебательно-химической кинетики. В первом приближении получаем расширенную систему уравнений Навье — Стокса, в которых кроме расчета релаксационных членов необходим расчет коэффициентов вязкости, теплопроводности и диффузии.
Сложность численного интегрирования системы уравнений (2) определяется различными причинами. Во-первых, это система уравнений в частных производных, содержащая несколько десятков или, для сложных смесей, сотен уравнений в частных производных. Во-вторых, потоковые члены P, Vci, q в общем случае включают коэффициенты переноса, зависящие от внутреннего состояния молекул [1]; их расчет требует значительных вычислительных затрат и сведений об интегралах столкновений быстрых процессов. В третьих, расчет скорости релаксации Rci также является трудоемкой задачей и требует моделирования коэффициентов скорости медленных процессов. В работе [6] впервые была сделана попытка применить методы машинного обучения для расчета коэффициентов переноса. В настоящей работе мы ограничиваемся нулевым приближением в разложении функции распределения. В этом приближении основная сложность — расчет релаксационных членов Rci.
Выражая Дсг через макропараметры, получим следующие формулы [1]:
щгЪг _ ^ (пЫ'пак' к^,? — Пл^к^ )
г а,к к 7 а,кк
кс,г 'г — ПаПйккс„
акг ' к '
дтеасЬ _ -2^2 + -2^3
Дсг Дсг + Дсг ,
Дсг _ \Пс'г' Па'к' кс'г',сг псгпакксг,с'г' ) ,
ас ' с' кг' к'
_ Е пак (пс'ПГ какс,сг — Псг^аг^) ■
ак
Здесь Д2^2, — скорости обменных реакций и реакций диссоциации-рекомбина-
ции, кас',кг' , к^^, к^ес,сг, к — коэффициенты скорости переходов колебательной энергии и различных типов химических реакций, которые вычисляются для каждого колебательного уровня частиц-участников реакции. Вычисление и хранение данных коэффициентов представляет собой наиболее трудоемкую часть при численном решении системы уравнений (2) в приближении Эйлера.
В данной работе мы рассматриваем несколько упрощенную задачу, а именно бинарную смесь двухатомных молекул А2 и атомов А без химических реакций. Тогда в кинетическую схему включаются только процессы обмена колебательной энергией — УТ-переходы колебательной энергии в поступательную и УУ-обмены между разными колебательными уровнями:
А2(г) + М ^ А2(г') + М, М _ А, А2,
А2« + А2(к) ^ А2(г') + А2(к'), (5)
г,к _ 0, ■■., Ьа2,
штрих обозначает колебательный уровень молекулы после столкновения. Релаксационные члены для этих процессов имеют вид
_ЕЕЕ (ккк Пг' Пк' - ккк' пгпк) ,
к к'=кг' =г (6) ДГ _ Е пм Е^МгПг' - кМпг) ■
М г=г '
Для численного решения системы уравнений необходимо конкретизировать вид коэффициентов скорости переходов колебательной энергии ккк , км,. В настоящей работе мы рассмотрим две теоретические модели: модель Шварца — Славского — Герцфельда (ББИ) [7] и модель нагруженного гармонического осциллятора (ЕИО) [8].
3. Традиционные методы моделирования. Рассмотрим стандартный способ расчета релаксационных членов. Как видно из формулы (4), расчет Д подразумевает около (Ьл2 — 1) • ЬА2 операций суммирования, а также вычисление и хранение коэффициентов ккк , км,. Число колебательных уровней Ьа2 зависит от сорта молекулы и модели колебательного спектра и обычно насчитывает несколько десятков. Вычислительные затраты также зависят от сложности модели коэффициентов скорости обменов колебательной энергией.
Первая из рассмотренных моделей — модель ББИ [7], базирующаяся на теории возмущения первого порядка. В основе модели лежит решение задачи столкновения в квазиклассическом приближении. Колебания молекул моделируются радиальными колебаниями сферы, возбуждение и дезактивация которых вызывается только относительным радиальным движением молекул, так что задача сводится к линейной задаче, а вращение не участвует в энергообмене. В результате получаются достаточно простые явные аналитические формулы для коэффициентов скорости переходов энергии, зависящие от колебательных уровней сталкивающихся частиц и множителя, являющегося функцией температуры и спектроскопических постоянных. Недостатком модели является то, что она не описывает многоквантовые обмены энергией, а также приводит к существенной погрешности при вычислении коэффициентов скорости обменов при высоких температурах [8].
В основе модели ЕИО лежит решение волнового уравнения Шрёдингера в полуклассическом приближении по методу Кернера — Тринора [8]. Рассматриваются многоквантовые колебательные переходы, которые реализуются в виде последовательности одноквантовых переходов между соседними состояниями, происходящих в течение одного столкновения. Колебания молекул также моделируются радиальными колебаниями сферы, однако при этом с помощью стерических факторов учитывается анизотропия взаимодействия. Модель ЕИО — одна из наиболее точных моделей, обеспечивающих хорошее совпадение с результатами современных квазиклассических траекторных расчетов вероятностей переходов колебательной энергии. Однако ее реализация представляет значительные сложности, поскольку для расчета коэффициентов скорости нет явных аналитических формул, и для каждого колебательного уровня требуется численное решение трансцендентного уравнения.
Таким образом, используемые в работе модели имеют различные точность и вычислительную сложность, что существенно влияет на эффективность численного моделирования при традиционном подходе. При использовании методов машинного обучения мы будем решать задачу расчета скорости релаксации с помощью регрессионных алгоритмов, не вычисляя напрямую , .
4. Решение задачи регрессии. Для машинного обучения задача вычисления релаксационных членов в уравнениях поуровневой кинетики является задачей регрессии. В общем случае релаксационные члены зависят от вектора заселенностей колебательных уровней пг и температуры Т в данный момент времени:
Л = /(по, ...,пЬд2 ,Т,г). (7)
Поскольку мы не знаем ни вектор заселенностей, ни температуру в любой момент времени (для этого необходимо решить систему (2), а релаксационные члены мы ищем раньше), предположим более простую зависимость. Пусть Дг зависит от времени заселенностей г-го колебательного уровня и температуры в начальный момент времени:
Л = / (по(0),...,пьД2 (0), Т (0), £). (8)
Имеем нелинейную зависимость от Ьа2 +3 переменных. Из-за существенной нелинейности данных возникают трудности с преобразованием параметров под обобщенную линейную модель. Коэффициенты скорости обменов энергией зависят от температуры Т. Чтобы получить линейную зависимость, надо от Т, пг перейти к одночленам вида С(г,А, Т)пгп^, что существенно усложняет алгоритм и многократно увеличивает количество задействованных данных. Такой способ решения будет, по сути,
эквивалентен поиску коэффициентов скоростей реакции и никакого выигрыша не даст.
Таким образом, линейные модели плохо подходят под рассматриваемую задачу. Мы рассмотрим два алгоритма, которые работают на нелинейных данных — Histogram Gradient Boosting и k-Nearest Neighbours Regression (алгоритм k-ближайших соседей). При этом используются Python-библиотеки Pandas для обработки данных, scikit-learn для работы с алгоритмами машинного обучения, joblib для сериализации обученных алгоритмов.
Для вычисления выборки R с помощью моделей SSH и FHO, а также для численного решения нульмерной задачи методом Гира для интегрирования жестких систем обыкновенных дифференциальных уравнений мы используем код, написанный в среде Matlab [9]. В данной работе рассматривается смесь O2-O, колебания молекул моделируются гармоническим осциллятором, число колебательных уровней Lo2 равно 27. Время t меняется от 0 до 1 сек, температура To — от 14000 до 15000 К с шагом 50 К. Давление p =10 Торр. Начальная концентрация молекул и атомов 1:1. Заселенности в нулевой момент времени nj(0) заданы неравновесным больцмановским распределением с колебательной температурой Tv:
где по2 — числовая плотность молекул кислорода, ег — колебательная энергия г-го уровня молекулы, температура Ту известна из условия задачи (возьмем, например,
Набор целевых переменных считается двумя способами: с помощью моделей ББИ и ЕИО. Для обучения берем 1/4 выборки. Анализ результатов показывает, что Д^, полученные с помощью моделей ББИ и ЕИО, различаются в несколько раз. Различаются также и времена релаксации. Это связано с тем, что модель ББИ менее точна, чем модель ЕИО, поэтому нам важно успешно реализовать именно модель
Рассмотрим подробнее два алгоритма — k-ближайших соседей (k-NN) и градиентный бустинг на основе гистограмм (HGB). Оба алгоритма имеют настраиваемые гиперпараметры, которые были подобраны на основе кроссвалидации. Для кроссва-лидации бралась случайная треть обучающей выборки и делилась на пять подмножеств, затем находились средняя оценка и стандартное отклонение по пяти значениям. Алгоритм обучался на данных для релаксационных членов, посчитанных двумя разными моделями; обе модели дают одинаковые лучшие гиперпараметры. Алгоритм тем лучше предсказывает значения релаксационных членов, чем больше отрицательная среднеквадратичная ошибка и меньше стандартное отклонение.
Алгоритм k-ближайших соседей — это метрический алгоритм, используемый для задач классификации и регрессии. Идея алгоритма состоит в следующем: метка, присвоенная точке запроса, вычисляется на основе среднего значения меток ее ближайших соседей [10]. В нашем случае k-NN-регрессия использует веса «расстояния»: вклад каждого объекта пропорционален обратной величине расстояния от предсказываемого объекта.
Эффективность алгоритма k-NN зависит от нескольких факторов [10]: 1) для количества элементов в выборке N и размерности D время запроса растет примерно как O(D log N); 2) время запроса будет уменьшаться по мере увеличения k
(9)
Tv =0.1To).
FHO.
(k приближается к N/2). Поскольку алгоритм k-NN зависит от масштабирования, проведем для него min-max-нормализацию:
xi — min xj
Xi = -т1-• (10)
max Xj — min Xj
По результатам анализа были найдены рекомендуемые гиперпараметры алгоритма k-NN, которые приведены в табл. 1.
Таблица 1. Рекомендуемые гиперпараметры метода fc-NN
Количество соседей 2
Веса обратно пропорциональны расстоянию
Минимальный размер «листа» 30
Метрика расстояния расстояние Минковского
ИСБ — модификация алгоритма градиентного бустинга. Алгоритм основан на построении ансамбля решающих деревьев, которые последовательно минимизируют функцию потерь. Отличие модификации состоит в том, что сначала входные данные дискретизируются. Это значительно сокращает количество рассматриваемых точек разделения и позволяет алгоритму использовать целочисленные структуры данных (гистограммы) вместо того, чтобы полагаться на отсортированные непрерывные значения при построении деревьев. Преимуществом этого алгоритма является возможность обновления его параметров при добавлении новых данных вместо повторного обучения. Для нашей задачи мы рекомендуем использовать гиперпараметры, приведенные в табл. 2.
Таблица 2. Рекомендуемые гиперпараметры метода ИйВ
Функция потери Среднеквадратичная ошибка
Количество ячеек дискретизации 255
Максимальное количество деревьев 100
Минимальный размер «листа» 20
Максимальная глубина деревьев -
Коэффициент скорости обучения 0.1
В нелинейных задачах регрессии обычно используется функция потерь наименьшей среднеквадратичной ошибки. В табл. 3 приведено сравнение оценок для разных функций потерь.
Таблица 3. Сравнение оценок для разных функций потерь
Функция потерь Средняя оценка Стандартное отклонение
Среднеквадратичная ошибка -9.59 • 10~10 1.97 • 10~10
Среднее абсолютное отклонение -2.56 • 10~8 7.97 • IQ"9
Время обучения алгоритмов для моделей ББИ и ЕИО представлено в табл. 4. Сравнение показывает, что для алгоритма ИСБ времена обучения по двум моделям сравнимы, а для алгоритма 2-ММ обучение на основе модели ББИ происходит примерно в 4 раза быстрее. При этом для обеих моделей коэффициентов скорости переходов энергии алгоритм 2-ММ обучается существенно быстрее.
Алгоритм 2-NN HGB
Выборка FHO 0.364672 1.548994
Выборка SSH 0.084237 1.621949
Таблица 5. Оценка алгоритмов, обученных на разных выборках
Алгоритм Модель Оценка Стандартное отклонение
fc-NN SSH -7.81 • Ю-8 8.62 • Ю-9
fc-NN FHO -3.59 • Ю-9 -2.17- Ю-9
HGB SSH -9.59 • КГ10 1.97 • Ю-10
HGB FHO -7.14 • Ю-9 8.86 • 1Q—10
Сравним оценки для выбранных гиперпараметров для выборок, полученных на основе моделей ББИ и ЕИО (см. табл. 5). Следует отметить, что данные, вычисленные с помощью модели ЕИО, аппроксимируются лучше. Алгоритмы к-ММ и ИСБ дают примерно одинаковую точность, при этом к-ММ оказывается несколько точнее.
Для возможности дальнейшего использования обученных алгоритмов машинного обучения необходимо интегрировать их в существующие решатели. В нашей работе обученный алгоритм сериализуется и загружается в решатель уравнений по-уровневой кинетики, написанный ранее в среде МаЙаЪ [9].
5. Решение нульмерной задачи. В качестве модельной задачи для проверки эффективности алгоритмов к-ММ и ИСБ будем решать задачу о пространственно-однородной релаксации смеси О2-О. В такой задаче газ находится в состоянии покоя, поэтому в системе уравнений (2) отсутствуют скорость и производные по координатам. Уравнение движения не выписывается, а уравнение сохранения энергии заметно упрощается. В результате получаем систему обыкновенных дифференциальных уравнений (уравнения поуровневой колебательной и химической кинетики), которые решаются совместно с законом сохранения энергии:
dnj lit
Rvibr + ROeac, i = 0,..., L
O2i , i = 0 ...,LO2,
(11)
dno = Q
dt O U(no, ...,nLo2 ,no, T) = const.
Уравнения решаются методом Гира. Находятся заселенности nj, числовые плотности атомов no и температура T (из уравнения энергии).
Правые части уравнений кинетики находились традиционно (через коэффициенты скорости реакций по моделям SSH и FHO), а также с помощью алгоритмов машинного обучения. На рис. 1, 2 представлены результаты решения нульмерной задачи разными методами. Обозначения SSH, FHO соответствуют традиционному способу решения, а обозначения SSH-HGB, FHO-HGB, SSH-k-NN, FHO-k-NN — разным алгоритмам машинного обучения. Приведено распределение температуры и за-селенностей 4 и 24 колебательных уровней в логарифмическом масштабе по времени при T0 = 14000 K, Tv = 1400 K.
По графикам видно, что чем сильнее отклонение от равновесия, тем лучшее приближение мы получаем. Для первых уровней решение гораздо точнее, чем для
Рис. 1. Распределение температуры Т при То = 14000 К, Т = 1400 X, полученное разными методами.
11000
— ээн
ББН-НСВ
— ББН-к-М \д\
----- РНО \\
— РНО-НСВ у\-—
----- РНО-к-Ш
10"7 10" время, г, сек
с 4
1е20_
- ЭБН
ББН-НСВ
- ЗБН-к-М
---РНО
---РНО-НСВ
---РНО-к-М
10"
- ББН г~
ББН-НСВ 1
- ББН-к-ММ 1
---РНО / ,
---РНО-НвВ игр"
---РНО-к-М Т
1
Ю"7 10 ■ время, г, сек
10"9 10"7 10" время, г, сек
Рис. 2. Заселенности П4 (а) и П24 (б), полученные разными методами при То = 14000 К, Т = 1400 К.
а
последних. Вероятно, это связано с тем, что с выходом на равновесие значения релаксационных членов, во-первых, близки к нулю, а во-вторых, меняются очень незначительно и реже попадают в выборку. Следует также отметить, что для модели ЕИО сходимость к истинному решению значительно лучше, чем для исходно менее точной модели ББИ.
Метод ИСБ довольно хорошо предсказывает начало процесса релаксации, но с увеличением времени заметно отклоняется от истинного решения и дает неправдоподобные результаты, встречаются артефакты (например, на рис. 2, б, — неправдоподобная зависимость в конце процесса). Это связано с ограниченным количеством ячеек дискретизации: значения, которые меняются незначительно, не учитываются, и зависимость сильно искажается. Макропараметры, полученные методом к-ближайших соседей, выходят на равновесие, но также с некоторой погрешностью. Это происходит из-за того, что время в выборке менялось с переменным шагом и где-то не хватило соседей для хорошей аппроксимации этого участка. Кроме того, при использовании алгоритмов машинного обучения возможна погрешность в соотношениях детального баланса, связывающих коэффициенты скорости прямых и обратных реакций. Эти проблемы можно попытаться решить подходящей предобработкой данных, например, разделив значения на классы и считая вклад каждого в зависимости от времени процесса (близко/далеко от равновесия). В нашем же случае большую значимость имеет неравновесная часть процесса (больше значения, быстрее меняются, соответственно — больше меток).
Алгоритм Модель Г14 "-24 Т
ЭЭН 0.007 0.65 0.06
РНО 1.84 • КГ6 0.12 0.013
нсв ЭЭН 0.0149 0.15 0.033
нсв РНО 0.0148 1.8 0.018
Таблица 7. Время решения нульмерной задачи
Алгоритм Модель Время работы, сек
ЭЭН 82.956
РНО 83.067
НСВ ЭЭН 24.971
НСВ РНО 89.941
Стандартный метод РНО 100.846
Стандартный метод ээн 0.747
Тем не менее в целом можно отметить хорошее совпадение решений, полученных при использовании стандартных методов расчета и алгоритмов машинного обучения. В табл. 6 приведены наибольшие относительные погрешности методов. Лучшие результаты дает метод к-ближайших соседей, обученный на выборке, полученной с помощью модели ЕИО.
В табл. 7 приведено время работы алгоритмов. Выигрыш за счет использования алгоритмов машинного обучения получается, если брать модель ЕИО; для модели ББИ стандартные методы работают заметно быстрее. Это хороший результат, так как модель ЕИО значительно более точная, и ее использование при моделировании предпочтительнее. В случаях, когда решается двумерная или трехмерная система уравнений поуровневой кинетики, многократно возрастают количество уравнений и количество хранимых данных, а также время работы программы. Поэтому незначительный выигрыш для нульмерной задачи может быть весомым в более сложных случаях. Время работы алгоритмов машинного обучения также зависит от точности приближения, которая может быть улучшена.
6. Заключение. В работе рассмотрена возможность применения алгоритмов машинного обучения для расчета релаксационных членов в уравнениях детальной поуровневой кинетики. На примере нульмерной задачи о пространственно однородной релаксации и двух моделей коэффициентов скорости обменов колебательной энергией исследована точность алгоритмов и возможность повышения эффективности численного моделирования задач неравновесной газовой динамики.
В данной работе рассматривалась упрощенная задача: достаточно малая выборка и решение только нульмерной задачи. Но результаты, полученные для простого случая, дают понимание того, что делать в более сложных задачах, когда, например, в каждом узле сетки пространства решается нульмерная задача. В этом случае небольшой выигрыш по времени при использовании алгоритмов машинного обучения может стать существенным.
Рассмотренные алгоритмы позволяют аппроксимировать с хорошей точностью значения релаксационных членов и приближенно решать систему уравнений для макропараметров. Лучшие результаты дает метод к-ближайших соседей, обученный на выборке, вычисленной согласно модели ЕИО. Время численного интегрирования
системы жестких обыкновенных дифференциальных уравнений с помощью методов машинного обучения при использовании модели SSH становится больше по сравнению со стандартными подходами. Для более точной физической модели FHO есть некоторый выигрыш по времени. Проигрыш по времени, в частности, происходит из-за потери точности при приближении Rj, так что требуется большее количество итераций метода Гира. Отметим, что эта проблема не будет возникать при решении системы уравнений в частных производных, когда жесткость частично снимается. Поэтому можно рекомендовать методы машинного обучения при решении двумерных и трехмерных задач.
В перспективе можно улучшить точность приближения, что значительно ускорит алгоритмы. Необходимо также определить зависимость решения от размера, состава, качества выборки, посмотреть, когда наступит переобучение и что с ним делать. Это позволит нам определить, насколько универсальные (и большие) данные мы сможем использовать, каковы будут границы применимости приведенных алгоритмов.
Литература
1. Нагнибеда Е. А., Кустова Е. В. Кинетическая теория процессов переноса и релаксации в потоках неравновесных реагирующих газов. Санкт-Петербург, Изд-во С.-Петерб. ун-та (2003).
2. Фрадков А.Л. Машинное обучение и искусственный интеллект в работах В.А.Якубовича. Вестник Санкт-Петербургского университета. Математика. Механика. Астрономия 8 (66), вып. 4, 620-624 (2021). https://doi.org/10.21638/spbu01.2021.407
3. Mott A., Job J., Vlimant J.R., Lidar D., Spiropulu M. Solving a Higgs optimization problem with quantum annealing for machine learning. Nature 550, 375-379 (2017). https://doi.org/10.1038/nature24047
4. Koch-Janusz M., Ringel Z. Mutual information, neural networks and the renormalization group. Nature Phys. 14, 578-582 (2018). https://doi.org/10.1038/s41567-018-0081-4
5. Carleo G., Troyer M. Solving the quantum many-body problem with artificial neural networks. Science 335, 602-606 (2017). https://doi.org/10.1126/science.aag2302
6. Istomin V.A., Kustova E.V. PAINeT: Implementation of neural networks for transport coefficients calculation. Journal of Physics: Conference Series 1959 (8), 012024 (2021). https://doi.org/ 10.1088/1742-6596/1959/1/012024
7. Schwartz R., Slawsky Z., Herzfeld K. Calculation of vibrational relaxation times in gases. J. Chem. Phys. 20, 1591 (1952). https://doi.org/10.1063/L1700221
8. Adamovich I., Macheret S., Rich J., Treanor C. Vibrational energy transfer rates using a forced harmonic oscillator model. J. Thermophys. Heat Transfer 12, 57-65 (1998). https://doi.org/10.2514/2.6302
9. Кунова О. В., Кустова Е. В., Мельник М.Ю., Савельев А. С. Валидация моделей поуров-невой кинетики кислорода за фронтом ударной волны. Физико-химическая кинетика в газовой динамике 19 (3) (2018). http://doi.org/10.33257/PhChGD.19.3.765
10. Python-библиотека scikit-learn. Доступно на: https://scikit-learn.org/ (дата обращения: 01.11.2021).
Статья поступила в редакцию 31 июля 2021 г.;
доработана 31 июля 2021 г.; рекомендована к печати 2 сентября 2021 г.
Контактная информация:
Бушмакова Мария Андреевна — студент; st063874@student.spbu.ru Кустова Елена Владимировна — д-р физ.-мат. наук, проф.; e.kustova@spbu.ru
Modeling vibrational relaxation rate using machine learning methods*
M. A. Bushmakova, E. V. Kustova
St Petersburg State University, 7—9, Universitetskaya nab., St Petersburg, 199034, Russian Federation
For citation: Bushmakova M. A., Kustova E. V. Modeling vibrational relaxation rate using machine learning methods. Vestnik of Saint Petersburg University. Mathematics. Mechanics. Astronomy, 2022, vol. 9(67), issue 1, pp. 113-125. https://doi.org/10.21638/spbu01.2022.111 (In Russian)
The aim of the present study is to develop an efficient algorithm for simulating nonequi-librium gas-dynamic problems using the detailed state-to-state approach for vibrational-chemical kinetics. Optimization of the vibrational relaxation rate computation using machine learning algorithms is discussed. Since traditional calculation methods require a large number of operations, time and memory, it is proposed to predict the relaxation rates instead of explicit calculations. K-nearest neighbour and histogram based gradient boosting algorithms are applied. The algorithms were trained on datasets obtained using two classical models for the rate coefficients: the forced harmonic oscillator model and that of Schwartz — Slawsky — Herzfeld. Trained algorithms were used to solve the problem of spatially homogeneous relaxation of the O2-O mixture. Comparison of accuracy and calculation time by different methods is carried out. It is shown that the proposed algorithms allow one to predict the relaxation rates with good accuracy and to solve approximately the set of governing equations for the fluid-dynamic variables. Thus, we can recommend the use of machine learning methods in nonequilibrium gas dynamics coupled with detailed vibrational-chemical kinetics. The ways of further optimization of the considered methods are discussed.
Keywords: nonequilibrium flows, vibrational kinetics, machine learning. References
1. Nagnibeda E. A., Kustova E. V. Kineticheskaia teoriia protsessov perenosa i relaksatsii v po-tokakh neravnovesnykh reagiruiushchikh gazov. St Petersburg, St Petersburg Univ. Press (2009). (In Russian) [Eng. transl.: Nagnibeda E. A., Kustova E. V. Nonequilibrium Reacting Gas Flows. Kinetic Theory of Transport and Relaxation Processes. Berlin, Heidelberg, Springer-Verlag (2009)].
2. Fradkov A. L. Machine learning and artificial intelligence in the works of V. A. Yakubovich. Vestnik of Saint Petersburg University. Mathematics. Mechanics. Astronomy 8 (66), iss.4, 620—624 (2021). https://doi.org/10.21638/spbu01.2021.407 (In Russian) [Eng. transl.: Vestnik St Petersburg University, Mathematics 54 (4), 381-383 (2021). https://doi.org/10.1134/S1063454121040075].
3. Mott A., Job J., Vlimant J.R., Lidar D., Spiropulu M. Solving a Higgs optimization problem with quantum annealing for machine learning. Nature 550, 375-379 (2017). https://doi.org/10.1038/nature24047
4. Koch-Janusz M., Ringel Z. Mutual information, neural networks and the renormalization group. Nature Phys. 14, 578-582 (2018). https://doi.org/10.1038/s41567-018-0081-4
5. Carleo G., Troyer M. Solving the quantum many-body problem with artificial neural networks. Science 335, 602-606 (2017). https://doi.org/10.1126/science.aag2302
6. Istomin V.A., Kustova E.V. PAINeT: Implementation of neural networks for transport coefficients calculation. Journal of Physics: Conference Series 1959 (8), 012024 (2021). https://doi.org/ 10.1088/1742-6596/1959/1/012024
7. Schwartz R., Slawsky Z., Herzfeld K. Calculation of vibrational relaxation times in gases. J. Chem. Phys. 20, 1591 (1952). https://doi.org/10.1063/L1700221
8. Adamovich I., Macheret S., Rich J., Treanor C. Vibrational energy transfer rates using a forced harmonic oscillator model. J. Thermophys. Heat Transfer 12, 57-65 (1998). https://doi.org/10.2514/2.6302
*The work is supported by Saint Petersburg State University (project ID 84912260).
9. Kunova O. V., Kustova E. V., Melnik M. Yu., Savelev A. S. Validation of Models of State-to-State Oxygen Kinetics behind Shock Waves. Physical-Chemical Kinetics in Gas Dynamics 19 (3) (2018). http://doi.org/ 10.33257/PhChGD.19.3.765 (In Russian)
10. Python-library scikit-learn. Available at: https://scikit-learn.org/ (accessed: November 01, 2021).
Received: July 31, 2021 Revised: July 31, 2021 Accepted: September 2, 2021
Authors' information:
Maria А. Bushmakova — st063874@student.spbu.ru Elena V. Kustova — e.kustova@spbu.ru
