CC BY
1Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 3 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 3 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 3 | 2024 год
Применение графовые нейронные сети и его модификации с обучения с подкреплением в
системах рекомендаций
А.Н.Шарифбаев, Ассистент кафедры «Искусственный интеллект» Ташкентского университета информационных технологий имени Мухаммада аль-Хорезми
Х.Н.Зайниддинов, Профессор кафедры «Искусственного интеллекта» Ташкентского университета информационных технологий имени Мухаммада аль-Хорезми
Аннотация: В статье рассматривается интеграция графовых нейронных сетей (GNN) и методов обучения с подкреплением (RL) для повышения эффективности рекомендательных систем. Цель исследования — разработка гибридной модели GNN-RL, превосходящей текущие лучшие решения в этой области. Были выбраны и усовершенствованы модели GNN: LightGCL, XSimGCL, GFormer, AutoCF и MGDCF с использованием метода "skip-connection" для улучшения их обучаемости. Эти модели были интегрированы с алгоритмом двойной глубокой Q-сети (DDQN), применяя векторные представления пользователей и продуктов как состояния в RL. Эксперименты на наборах данных Gowalla, Yelp и Amazon-books показали значительное улучшение рекомендаций (по метрике NDCG@20) по сравнению с базовыми моделями. Наиболее эффективными оказались модели MGDCF-Skip, XSimGCL-Skip и AutoCF. Это исследование подтверждает новизну интеграции GNN и RL, а также эффективность использования skip-connection, открывая перспективы для дальнейшего развития адаптивных рекомендательных систем.
Ключевые слова: Графовые нейронные сети, Обучение с подкреплением, Рекомендательные системы, Гибридная модель GNN-RL, Контрастивное обучение, Skip-connection, Двойная глубокая Q-сеть, NDCG@20, LightGCL, XSimGCL, GFormer, AutoCF, MGDCF
ВВЕДЕНИЕ. Современные рекомендательные системы играют важную роль в разнообразных сферах, включая электронную коммерцию, социальные сети и онлайн-развлечения. В условиях быстрого роста объема данных и возрастания сложности пользовательских предпочтений становится всё более актуальной задача разработки методов, способных не только учитывать эти особенности, но и обеспечивать высокую точность рекомендаций. Одними из наиболее перспективных подходов в последние годы стали графовые нейронные сети (ОЫЫ) и методы обучения с подкреплением (КЬ), которые демонстрируют впечатляющие результаты в
повышении качества рекомендаций. Настоящее исследование нацелено на интеграцию этих двух направлений с целью создания гибридной модели ОЫЫ-КЬ, которая бы превзошла существующие лучшие решения в области рекомендательных систем.
Основной целью исследования является разработка новой гибридной модели, которая объединяет в себе мощные инструменты графовых нейронных сетей для анализа сложных структур данных и методы обучения с подкреплением, позволяющие учитывать долгосрочные взаимодействия пользователя с системой. В рамках работы были выбраны и проанализированы
26
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 3 | 2024 year Том: 1 | Выпуск: 3 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 3 | 2024-yil
несколько ведущих моделей GNN, таких как LightGCL, XSimGCL, GFormer, AutoCF и MGDCF, каждая из которых была усовершенствована с помощью техники "skip-connection". Этот метод позволил улучшить обучаемость моделей и их способность запоминать информацию, что особенно важно для сложных и динамичных рекомендательных систем.
Для создания гибридной системы эти усовершенствованные модели были
интегрированы с алгоритмом двойной глубокой Q-сети (DDQN), который использует векторные представления пользователей и продуктов в качестве состояний в процессе обучения с подкреплением. Это позволило системе учитывать долгосрочные вознаграждения и более точно подбирать рекомендации, основываясь на поведении пользователя и его предпочтениях.
Экспериментальная оценка предложенной гибридной модели была проведена на трех реальных наборах данных: Gowalla, Yelp и Amazon-books. Результаты показали значительное улучшение качества рекомендаций, измеряемого с помощью метрики NDCG@20, по сравнению с базовыми моделями. Наибольшую эффективность продемонстрировали такие модели, как MGDCF-Skip, XSimGCL-Skip и AutoCF, которые показали лучшие результаты на соответствующих наборах данных.
Исследование не только подчеркивает научную новизну интеграции GNN и RL, но и демонстрирует эффективность использования метода " skip-connection" для повышения производительности моделей. Полученные результаты открывают новые перспективы для дальнейших исследований и развития гибридных моделей в различных приложениях, требующих точных и адаптивных рекомендаций, таких как онлайн-платформы, торговля и развлекательные сервисы.
ЛИТЕРАТУРНЫЙ ОБЗОР. Графовые нейронные сети (GNN) зарекомендовали себя как мощный инструмент для обработки данных,
представленных в виде графов. Они эффективно захватывают сложные зависимости между объектами, что особенно полезно для рекомендательных систем. Среди существующих моделей GNN можно выделить LightGCL[1], XSimGCL[2], GFormer[3], AutoCF[4] и MGDCF[5], каждая из которых предлагает уникальные подходы к обработке графовых данных для улучшения рекомендаций.
Методы обучения с подкреплением (RL) также нашли применение в рекомендательных системах, предоставляя механизм для адаптивного улучшения рекомендаций на основе обратной связи от пользователей. Интеграция GNN и RL рассматривается как перспективный путь для создания более интеллектуальных и адаптивных рекомендательных систем. Ранее исследования показали, что комбинация этих подходов может значительно повысить производительность моделей [7].
Особое внимание уделяется использованию "skip-connection" — техники, которая помогает моделям лучше обучаться и запоминать информацию, улучшая общую эффективность сети [6]. Это достигается за счет прямых путей передачи информации через сеть, что способствует более глубокому и устойчивому обучению.
МЕТОДОЛОГИЯ. Выбор Моделей GNN. В нашем исследовании были выбраны пять современных моделей графовых нейронных сетей для рекомендательных систем:
1. LightGCL [1]: Простая, но эффективная модель контрастивного обучения для графов.
2. XSimGCL[2]: Модель, направленная на упрощение графового контрастивного обучения.
3. GFormer[3]: Трансформер на основе графов для рекомендаций.
4. AutoCF[4]: Автоматизированное самоконтролируемое обучение для рекомендаций.
27
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 | Son: 3 | 2024-yil
"Descendants of Al-Farghani" electronic scientific journal of Fergana branch of TATU named after Muhammad al-Khorazmi. ISSN 2181-4252 Vol: 1 | Iss: 3 | 2024 year
Электронный научный журнал "Потомки Аль-Фаргани" Ферганского филиала ТАТУ имени Мухаммада аль-Хоразми ISSN 2181-4252 Том: 1 | Выпуск: 3 | 2024 год
5. MGDCF[5]: Модель, использующая марковское диффузионное обучение для коллаборативной фильтрации.
Для повышения эффективности выбранных моделей был применен прием "skip-connection". Этот метод был выбран на основе результатов предыдущих исследований, демонстрирующих его эффективность в улучшении обучения нейронных сетей [6]. Улучшенные модели получили суффикс "-Skip" (например, LightGCL-Skip), что указывает на использование skip-connection.
Рис.1. Модификация архитектуры для GNN с помощью skip-connection
Интеграция с Методами Обучения с Подкреплением
После выбора и улучшения моделей GNN, они интегрируются с методом обучения с подкреплением. Векторные представления пользователей и продуктов, полученные из GNN, используются как часть состояния в алгоритме RL. Это обеспечивает более глубокий контекст для принятия решений агентом RL.
Используется модифицированная версия алгоритма DQN — метод двойной глубокой Q-сети (DDQN). Функция ошибок определяется следующим образом:
^DDQw(ö) _ Е,
st,at,st+1
п +
ymaxÇ(st+i,a;9')) -Q(st,at;Q)2
(1)
Где, s — текущее состояние среды; а — действие; выбранное агентом в состоянии s; г — вознаграждение, полученное после выполнения действия а в состоянии s; s' — новое состояние среды после выполнения действия а; у —
коэффициент дисконтирования, который используется для уменьшения влияния будущих вознаграждений на текущее решение; Q(s',a';9) — значение функции Q для нового состояния s' и всех возможных действий а', используя текущие параметры сети 0; argmaxQ(s',a';9) — операция выбора действия a', которое максимизирует значение функции Q в новом состоянии s', снова используя текущие параметры сети 0; 0' — параметры целевой сети, которые обычно обновляются менее часто, чем 0, для устойчивости обучения.
Наборы Данных. Для оценки эффективности предложенной модели были использованы три реальных набора данных:
• Gowalla : Социальная сеть для обмена геолокационными отметками.
• Yelp: Отзывы и рейтинги мест бизнеса.
• Amazon-books: Рекомендации книг на основе покупок и оценок пользователей. Для оценки качества рекомендаций
использовалась метрика NDCG@20 (Normalized Discounted Cumulative Gain), которая учитывает порядок релевантных рекомендаций.
РЕЗУЛЬТАТЫ. Анализ результатов продемонстрировал значительное улучшение качества рекомендаций при использовании интегрированной модели GNN-RL. Наибольшие достижения были зафиксированы на наборе данных Gowalla, где модели XSimGCL и MGDCF-Skip показали наивысшие значения NDCG@20. На наборах данных Yelp и Amazon-books лидировали модели XSimGCL-Skip и AutoCF.
Использование skip-connection оказало положительное влияние на все модели, особенно заметное в модели LightGCL-Skip на наборе данных Gowalla, где наблюдалось улучшение качества рекомендаций на 15% по сравнению с базовой версией модели.
Кроме того, интеграция с методом обучения с подкреплением способствовала более быстрой сходимости моделей, что подтверждается
28
2
"Descendants of Al-Farghani" electronic scientific Электронный научный журнал "Потомки Аль-
journal of Fergana branch of TATU named after Фаргани" Ферганского филиала ТАТУ имени
Muhammad al-Khorazmi. ISSN 2181-4252 Мухаммада аль-Хоразми ISSN 2181-4252
Vol: 1 | Iss: 3 | 2024 year Том: 1 | Выпуск: 3 | 2024 год
Muhammad al-Xorazmiy nomidagi TATU Farg'ona filiali "Al-Farg'oniy avlodlari" elektron ilmiy jurnali ISSN 2181-4252 Tom: 1 I Son: 3 I 2024-yil
рисунком 1, демонстрирующим значения NDCG@20 на протяжении эпох обучения.
Рис. 2. Значение КЭСО@20 на протяжении эпох обучения для каждого набора данных
На основании полученных результатов были выбраны три наиболее эффективные модели для дальнейшего улучшения с использованием обучения с подкреплением: MGDCF-Skip, XSimGCL-Skip и AutoCF.
ЗАКЛЮЧЕНИЕ. В данном исследовании была разработана и оценена гибридная модель GNN-RL для рекомендательных систем, объединяющая графовые нейронные сети и методы обучения с подкреплением. Проведенные эксперименты на реальных наборах данных показали, что предложенная модель превосходит существующие лучшие подходы по качеству рекомендаций и эффективности обучения.
Научная новизна работы заключается в успешной интеграции GNN и RL, а также в использовании skip-connection для повышения производительности моделей. Результаты исследования открывают новые перспективы для дальнейших исследований, направленных на улучшение рекомендательных систем с использованием передовых методов машинного обучения.
В будущем планируется дальнейшая оптимизация выбранных моделей и исследование их применения в других областях, таких как персонализированное обучение и медицина, где точные рекомендации могут иметь критическое значение.
ЛИТЕРЕАТУРА
[1]. Xuheng Cai, Chao Huang, Lianghao Xia, Xubin Ren, "LightGCL: Simple Yet Effective Graph Contrastive Learning for
Recommendation," The Eleventh International Conference on Learning Representations. ICLR, 2023.
[2]. Yu J. et al. XSimGCL: Towards extremely simple graph contrastive learning for recommendation //IEEE Transactions on Knowledge and Data Engineering. - 2023.
[3]. Chaoliu Li, Lianghao Xia, Xubin Ren, Yaowen Ye, Yong Xu, and Chao Huang. 2023 Graph Transformer for Recommendation. In Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '23)
[4]. Xia L. et al. Automated self-supervised learning for recommendation //Proceedings of the ACM Web Conference 2023. - 2023. - c. 992-1002.
[5]. Jun Hu, Bryan Hooi, Shengsheng Qian, Quan Fang, Changsheng Xu, "MGDCF: Distance Learning via Markov Graph Diffusion for Neural Collaborative Filtering," IEEE Transactions on Knowledge and Data Engineering. IEEE, 2024.
[6]. Gerasimova O., Severin N., Makarov I. Comparative Analysis of Logic Reasoning and Graph Neural Networks for Ontology-Mediated Query Answering with a Covering Axiom //IEEE Access. - 2023.
[7]. Hongyang Liu, Zhu Sun b, Xinghua Qu, Fuyong Yuan, Top-aware recommender distillation with deep reinforcement learning. Information Sciences, 2021, pp. 642-657
29
