CC BY
0
Графовые нейронные сети и XANES спектроскопия для исследования
структуры центров меди в Cu-MOR
Я.Н. Гладченко-Джевелекис, К.Д. Кулаев, Е.Е. Поносова, А.С. Бабаянц, А.М. Ермакова, Г.Б. Сухарина, В.В. Прядченко, Л.А. Авакян Южный федеральный университет, Ростов-на-Дону
Аннотация: В данной работе рассмотрена возможность применения графовых нейронных сетей для изучения структуры медных центров цеолитов. Используемый для обучения нейронной сети набор данных был подготовлен с использованием программного комплекса FDMNES на основе метода конечных разностей и содержал более 2100 Cu K-XANES спектров для Cu-MOR. В результате выполненного исследования графовые нейронные сети продемонстрировали возможность воспроизведения Cu K-XANES спектра, соответствующего конкретной модели медного центра в каркасе цеолита. Ключевые слова: цеолит, морденит, атомная структура, XANES, машинное обучение, графовые нейронные сети.
Введение
Машинное обучение - это инструмент, позволяющий обрабатывать массивы данных для решения различных задач, в частности спектральных данных для нетривиальных задач структурного материаловедения [1, 2]. Для изучения структуры различных материалов на основе обработанных входных данных перспективным является подход с использованием графовых нейронных сетей.
Графовые нейронные сети (GNN) — это нейронные модели, которые фиксируют зависимость графов посредством передачи сообщений между узлами графов [3]. Функционально они представляют собой оптимизируемое преобразование атрибутов графа, например узлов и ребер, которое сохраняет симметрию графа (инвариантность перестановок). Такие нейронные сети, основанные на алгоритме сверточных нейронных сетей (CNN) и их обобщении на графе, агрегируют информацию из его структуры и могут моделировать ввод и/или вывод сети, состоящий из элементов и их зависимостей.
Концепция представления графов уже была успешно применена для предсказания свойств различных молекул из базы данных QM9 с более низкой ошибкой предсказания, чем гибридный DFT-анализ и стандартные модели машинного обучения [4]. S. Banik и другие соавторы работы [5] представили нейронную сеть Crystal Edge Graph Attention Neural Network (CEGANN), которая использует архитектуру на основе графа для классификации материалов в различных масштабах и классах веществ - от оксидов до цеолитов. В другом исследовании графовую нейронную сеть использовали для прогнозирования адсорбции СО2 в металлоорганических каркасах (MOF), изучаемых, как газоуловители [6]. Таким образом, графовые нейронные сети могут быть перспективным инструментом в задачах прогнозирования структуры различных материалов, в частности цеолитов. Цеолиты - это кристаллические пористые алюмосиликатные материалы, которые широко используются в различных промышленных приложениях. Их каталитическая эффективность (сорбционная емкость, каталитическая активность, селективность, стабильность) во многом зависит от структурных характеристик металлических центров [7].
В данной работе предлагается использовать графовые нейронные сети для разработки подхода, позволяющего упростить и автоматизировать процесс определения локальной структуры центров меди в цеолите типа Cu-MOR. Сложность таких исследований заключается в неравномерном распределении сформированных медных центров в разных неэквивалентных частях каркаса цеолита [8, 9].
Методы и подходы
В данном исследовании использовалась графовая нейронная сеть с архитектурой MEGNet. На вход подается граф, описывающий структуру медного центра, и выполняется его сопоставление с Cu K-XANES спектром. В узлах графа сохраняется информация о типе атома, а в связях - расстояние
и
между парами атомов. Модуль графовой сети содержит серию операций обновления, конечным результатом которого является новое представление графа (рис.1).
Рис. 1. - Схематичное представление принципа работы графовой
нейронной сети
Расчет спектров рентгеновского поглощения XANES за ^-краем меди в образцах Cu-MOR был реализован в программном комплексе FDMNES [10, 11], в котором уравнение Шредингера решается на дискретной сетке методом конечных разностей.
Обсуждение и результаты
На первом этапе предложенного в работе подхода была сгенерирована выборка, содержащая более 2000 структур меди в каркасе цеолита типа морденит и соответствующих им ^ ^-XANES спектров, рассчитанных в программном комплексе FDMNES. Далее, прежде чем перейти к рассмотрению подхода с использованием графовых нейронных сетей, была выполнена попытка определения структуры медного центра с применением классических алгоритмов машинного обучения.
Для точного описания ^ £-XANES спектра необходимо учитывать вклады, соответствующие всем неэквивалентным позициям меди. В работе был использован метод, позволяющий разложить вектор значений экспериментального ^ £-XANES по базису векторов значений
теоретических Cu £-XANES спектров, рассчитанных для различного окружения меди в каркасе цеолита Cu-MOR и оксидах меди (I) и (II).
В данном случае был применен алгоритм SFS-MLR (Stepwise Feature Selection - Multiple Linear Regression), в котором для выбора N теоретических Cu £-XANES спектров применялся последовательный выбор признаков (SFS), а для получения итогового теоретического Cu £-XANES спектра, который должен иметь наилучшее согласие с экспериментом - многомерная линейная регрессия (MLR). На рис. 2 представлен результат, полученный с
Рис. 2. - Сопоставление экспериментального Си ^-ХАЫЕЗ спектра для Cu-MOR [8] и теоретического, полученного посредством алгоритма SFS-MLR с использованием сгенерированного набора данных Из рис. 2 видно, что применяемый классический алгоритм не позволяет достигнуть необходимой сходимости с экспериментальными данными. Таким образом, было решено применить подход с использованием графовых нейронных сетей, а также дополнить имеющийся набор данных выборкой из моделей центров меди в каркасе цеолита, сгенерированных случайным образом с учетом Ван-Дер-Ваальсовых радиусов атомов, для которых была выполнена геометрическая оптимизация методом силовых полей, описанном в работе [12]. После чего была выполнена аппроксимация связи локального
окружения медного центра с ^ ^-XANES спектром с использованием графовой нейронной сети, обученной на подготовленном наборе данных (рис.3).
Рис. 3. - Взаимосвязь локальной структуры цеолита и ^ £-XANES спектра с использованием графовой нейронной сети Использование графовой нейронной сети необходимо для быстрой оценки спектров, соответствующих случайно выбранным медным центрам. Таким образом, модели, построенные с использованием графовых нейронных сетей, содержат в явном виде всю информацию о трехмерной структуре, что обуславливает их высокую эффективность. Структура графовой нейронной сети была взята из фреймворка MeGNet, описанного в работе [1], сконструированного для предсказания свойств молекул и материалов на основе атомной структуры, апробированного в задачах квантовой химии.
Набор данных был разделен на тренировочную и тестовую выборку в соотношении 8:2. Графовая нейронная сеть была обучена получать на вход граф, сохраняющий в узлах информацию о типе атома, связях, расстоянии между атомами. Таким образом нейронная сеть использовала всю информацию о трехмерной структуре ближайшего окружения медных центров. На выходе нейронная сеть выдает вектор из 66 значений, соответствующих ^ £-XANES спектру в соответствии с набором данных. В результате, нейронная сеть была обучена получать результаты аналогичные расчетам с использованием программного комплекса FDMNES (рис. 4, 5).
М Инженерный вестник Дона, №12 (2023) ivdon.ru/ru/magazine/arcliive/nl2y2023/8892
Рис. 4. - - каркас цеолита типа морденит; (Ь) - локальное атомное окружение меди, для которой осуществлялся расчет; (с) - сопоставление теоретических ^ £-XANES спектров в Cu-MOR, выполненных с
использованием FDMNES и графовой нейронной сети
Рис. 5. - Сопоставление теоретических ^ £-XANES спектров в Cu-MOR для случайного набора моделей медных центров, рассчитанных с
использованием пакета FDMNES и графовой нейронной сети Точность графовой нейронной сети была проверена в рамках тренировочной и тестовой выборок.
Таким образом, на данном этапе графовая нейронная сеть обучена воспроизводить расчеты ^ £-XANES спектров, соответствующие конкретным моделям медных центров в каркасе цеолита типа Cu-MOR, аналогичные расчетам FDMNES, что в дальнейшем позволит упростить и
автоматизировать процесс определения структуры металлических центров в цеолитах.
Заключение
В данной работе предложен подход определения структуры медных центров цеолитов типа Cu-MOR с использованием графовых нейронных сетей. С использованием выборки, содержащей более 2000 Cu K-XANES спектров, нейронная сеть обучена с высокой степенью точности воспроизводить Cu K-XANES, соответствующий конкретной модели медного центра в каркасе цеолита. Валидация полученного результата была выполнена на основе традиционного расчета спектров методом конечных разностей, реализованного в программном комплексе FDMNES.
Благодарности
Работа выполнена при поддержке Российского научного фонда № 2322-00438 на базе Южного федерального университета.
Литература
1. Chen C., Ye W., Zuo Y., Zheng C., Ong S.P. Graph networks as a universal machine learning framework for molecules and crystals // Chemistry of Materials. 2019. №31. pp. 3564-3572.
2. Schmidt J., Marques M. R., Botti S., Marques M. A. Recent advances and applications of machine learning in solid-state materials science // Computational Materials. 2019. №5 (1). p. 83.
3. Zhou J., Cui G., Hu S., Zhang Z., Yang C., Liu Z., Wang L., Li C., Sun M. Graph neural networks: A review of methods and applications // AI Open. 2020. №1. pp. 57-81.
4. Faber F.A., Hutchison L., Huang B., Gilmer J., Schoenholz S.S., Dahl G.E., Vinyals O., Kearnes S., Riley P.F., von Lilienfeld O.A. Prediction errors of
molecular machine learning models lower than hybrid DFT error // Journal of Chemical Theory and Computation. 2017. №13. pp.5255-5264.
5. Banik S., Dhabal D., Chan H., Manna S., Cherukara M., Molinero V., Sankaranarayanan S.K. CEGANN: Crystal Edge Graph Attention Neural Network for multiscale classification of materials environment // Npj Computational Materials. 2023. №9. pp.23.
6. Choudhary K., Yildirim T., Siderius D.W., Kusne A.G., McDannald A., Ortiz-Montalvo D.L. Graph neural network predictions of metal organic framework CO2 adsorption properties // Computational Materials Science. 2022. №210. pp.111388.
7. Li X., Han H., Evangelou N., Wichrowski N.J., Lu P., Xu W., Hwang S.-J., Zhao W., Song C., Guo X., Bhan A., Kevrekidis I.G., Tsapatsis M. Machine learning-assisted crystal engineering of a zeolite // Nature Communications. 2023. №14. pp.3152.
8. Srabionyan V. V., Sukharina G.B., Kurzina T.I., Durymanov V.A., Ermakova A.M., Avakyan L.A., Alayon E.M.C., Nachtegaal M., van Bokhoven J.A., Bugaev L.A. Atomic structure of Cu centers in mordenite formed by interaction of copper chloride with H-MOR zeolite and temperature treatment // The Journal of Physical Chemistry C. 2021. №125. pp.25867-25878.
9. Бдоян К.Э., Раздоров В.Н., Ермакова А.М., Дурыманов В.А., Авакян Л.А., Сухарина Г.Б., Прядченко В.В. Твердофазный синтез медьсодержащих цеолитов: локальная атомная структура каталитически активных центров меди по данным XAS спектроскопии и DFT моделирования // Инженерный вестник Дона. 2019. №1. URL:ivdonru/ru/magazme/archive/n1y2019/5521
10. Кременная М.А., Солдатов М.А., Чайников А.П., Подковырина Ю.С., Бугаев А.Л., Ломаченко К.А., Кравцова А.Н. Рентгеноспектральное исследование и компьютерное моделирование локальной атомной структуры
центра связывания иона меди в бетаамилоиде // Инженерный вестник Дона. 2013. №2. URL:ivdon.ru/ru/magazine/archive/n2y2013/1640
11. Joly Y. X-ray absorption near-edge structure calculations beyond the muffin-tin approximation // Physical Review B. 2001. v. 63. №. 12. p. 125120.
12. Psofogiannakis G. M., McCleerey J. F., Jaramillo E., Van Duin A. C. ReaxFF reactive molecular dynamics simulation of the hydration of Cu-SSZ-13 zeolite and the formation of Cu dimers // The Journal of Physical Chemistry C. 2015. №119 (12). pp. 6678-6686.
References
1. Chen C., Ye W., Zuo Y., Zheng C., Ong S.P., Chemistry of Materials. 2019. №31. pp. 3564-3572.
2. Schmidt J., Marques M. R., Botti S., Marques M. A. Computational Materials. 2019. №5 (1). p. 83.
3. Zhou J., Cui G., Hu S., Zhang Z., Yang C., Liu Z., Wang L., Li C., Sun M., AI Open. 2020. №1. pp.57-81.
4. Faber F.A., Hutchison L., Huang B., Gilmer J., Schoenholz S.S., Dahl G.E., Vinyals O., Kearnes S., Riley P.F., von Lilienfeld O.A. Journal of Chemical Theory and Computation. 2017. №13. pp.5255-5264.
5. Banik S., Dhabal D., Chan H., Manna S., Cherukara M., Molinero V., Sankaranarayanan S.K. Npj Computational Materials. 2023. №9. pp.23.
6. Choudhary K., Yildirim T., Siderius D.W., Kusne A.G., McDannald A., Ortiz-Montalvo D.L. Computational Materials Science. 2022. №210. pp.111388.
7. Li X., Han H., Evangelou N., Wichrowski N.J., Lu P., Xu W., Hwang S.-J., Zhao W., Song C., Guo X., Bhan A., Kevrekidis I.G., Tsapatsis M. Nature Communications. 2023. №14. pp.3152.
8. Srabionyan V.V., Sukharina G.B., Kurzina T.I., Durymanov V.A., Ermakova A.M., Avakyan L.A., Alayon E.M.C., Nachtegaal M., van Bokhoven
J.A., Bugaev L.A. The Journal of Physical Chemistry C. 2021. №125. pp.2586725878.
9. Bdoyan K.E., Razdorov V.N., Ermakova A.M., Durymanov V.A., Avakyan L.A., Sukharina G.B., Pryadchenko V.V. Inzhenernyj vestnik Dona. 2019. №1. URL: ivdon.ru/ru/magazine/archive/n 1y2019/5521
10. Kremennaya M.A., Soldatov M.A., Chaynikov A.P., Podkovyrina Y.S., Bugaev A.L., Lomachenko K.A., Kravtsova A.N. Inzhenernyj vestnik Dona. 2013. №2. URL: ivdon.ru/ru/magazine/archive/n2y2013/1640
11. Joly Y. Physical Review B. 2001. v. 63. №. 12. p. 125120.
12. Psofogiannakis G. M., McCleerey J. F., Jaramillo E., Van Duin A. C. The Journal of Physical Chemistry C. 2015. №119 (12). pp. 6678-6686.
Дата поступления: 9.11.2023 Дата публикации: 15.12.2023
