CC BY
2УДК 004.032.26 DOI: 10.46960/1816-210X_2023_3_43
ГРАФОВЫЕ НЕЙРОННЫЕ СЕТИ В РЕШЕНИИ ЗАДАЧ С СЕТЕВОЙ СТРУКТУРОЙ
О.П. Тимофеева
ORCID: 0000-0002-1935-7697 e-mail: optimofeeva@mail.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
М.М. Гордеев
ORCID: 0009-0005-2450-0274 e-mail: maximgrdv@gmail.com
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
А.Н. Санников
ORCID: 0000-0002-8418-506X e-mail: lexsannikov@yandex.ru
Нижегородский государственный технический университет им. Р.Е. Алексеева
Нижний Новгород, Россия
Рассматривается задача построения системы социальных рекомендаций на основе графовых нейронных сетей (GNN). Описывается математическая постановка задачи для построения социальных рекомендаций двух видов: пользователь-пользователь и пользователь-товар, на основании которой разработана рекомендательная система, способная учитывать совместное отображение взаимодействий и мнений в графе пользовательских элементов. Представлен сравнительный анализ алгоритмов на основе вычисления среднеквадратической ошибки (RMSE) и средней абсолютной ошибки степени несоответствия (MAE) между фактическими и предсказанными значениями. Экспериментальные результаты показывают, что предложенная модель графовой нейронной сети превосходит современные существующие методы: алгоритмы, базирующиеся на основе социальных влияний, алгоритмы на основе интересов пользователей и на основе взаимодействия между пользователями и товарами. Сетевые структуры являются одними из наиболее часто используемых средств представления информации в задачах управления. При помощи графов происходит моделирование управления цепями поставок в логистических системах, решаются задачи в области оптимизации перевозок, разрабатываются новые алгоритмы информационной безопасности.
Ключевые слова: задачи с сетевой структурой, рекомендательная система, графовые нейронные сети, искусственный интеллект, прогнозирование рейтинга, социальная агрегация.
ДЛЯ ЦИТИРОВАНИЯ: Тимофеева, О.П. Графовые нейронные сети в решении задач с сетевой структурой / О.П. Тимофеева, М.М. Гордеев, А.Н. Санников // Труды НГТУ им. Р.Е. Алексеева. 2023. № 3. С. 43-50. DOI: 10.46960/1816-210X_2023_3_43
GRAPHIC NEURAL NETWORKS IN SOLVING PROBLEMS WITH A NETWORK STRUCTURE
O.P. Timofeeva
ORCID: 0000-0002-1935-7697 e-mail: optimofeeva@mail.ru
Nizhny Novgorod State Technical University n.a. R.E. Alekseev Nizhny Novgorod, Russia
M.M. Gordeev
ORCID: 0009-0005-2450-0274 e-mail: maximgrdv@gmail.com
Nizhny Novgorod State Technical University n.a. R.E. Alekseev Nizhny Novgorod, Russia
© Тимофеева О.П., Гордеев М.М., Санников А.Н., 2023
A.N. Sannikov
ORCID: 0000-0002-8418-506X e-mail: lexsannikov@yandex.ru
Nizhny Novgorod State Technical University n.a. R.E. Alekseev Nizhny Novgorod, Russia
Abstract. Network structures are one of the most frequently used means of presenting information in management tasks. Graphs are used to model supply chain management in logistics systems, solve problems in the field of transportation optimization, develop new information security algorithms. One of the tasks with a network structure is the construction of systems of social recommendations. Creating such systems is one of the urgent tasks of information technology and artificial intelligence. The paper considers the problem of building a system of social recommendations based on graph neural networks (GNN). The mathematical formulation of the problem for building social recommendations of two types is described: user-user and user-product, on the basis of which a recommendation system has been developed that can take into account the joint display of interactions and opinions in the graph of user elements. The paper presents a comparative analysis of algorithms based on the calculation of the root mean square and the average absolute error of the degree of discrepancy (MAE) between the actual and predicted values. Experimental results show that the proposed graph neural network model is superior to modern existing methods: algorithms based on social influences, algorithms based on user interests and based on interaction between users and products.
Key words: tasks with a network structure, recommendation system, graph neural networks, artificial intelligence, rating forecasting, social aggregation.
FOR CITATION: O.P. Timofeeva, M.M. Gordeev, A.N. Sannikov. Graph neural networks in solving problems with a network structure. Transactions of NNSTU n.a. R.E. Alekseev. 2023. № 3. Pp. 43-50. DOI: 10.46960/1816-210X_2023_3_43
Введение
Сетевые структуры являются мощным механизмом представления информации и используются во многих прикладных задачах. С их помощью проводится как математическое, так и физическое моделирование процессов, например, движение товаров по цепям поставок для определения оптимального маршрута следования с целью минимизации затрат предприятий. В последнее время большую популярность обрели графовые нейронные сети (GNN), на основе которых решаются задачи оптимизации бизнес-процессов.
Основная идея графовых нейронных сетей заключается в итеративной агрегации информации об имеющихся объектах из локальных окрестностей графа. Информация об узле может быть распространена по графу после преобразования и агрегирования, т.е. GNN способны естественным образом интегрировать информацию о топологической структуре. Такие сети показали свою эффективность в различных практических задачах [1-7]. Так, в работе [1] описывается применение графовых сетей при проектировании систем социальных рекомендаций, а в работе [2] представлена модель DANSER, которая объединяет полученные из графовой системы данные для прогнозирования рейтингов и предпочтений пользователей в отношении рассмотренных товаров. Графовые нейронные сети могут быть использованы в качестве алгоритма оптимизации процессов. В [3] описано динамическое планирование рабочих мест компании при помощи GNN, а в [4] на базе пространственно-временного графа представлена прогностическая модель функционирования логистической сети управления цепочками поставок продукции.
Таким образом, графовые нейронные сети широко используются для решения задач комбинаторной оптимизации, прогнозирования свойств частиц и молекул, но еще больший потенциал они представляют для выполнения социальных рекомендаций, где происходит моделирование взаимодействия пользователей с товарами на различных онлайн платформах.
Постановка задачи
Задача рекомендательной системы заключается в том, чтобы проинформировать пользователя о товаре, который может быть интересен ему в текущий момент времени, а также обобщить имеющуюся информацию и предсказать отношение клиента к тем товарам, про
которые еще ничего неизвестно. Необходимые для обработки данные представляются в виде системы, состоящей из двух графов (рис. 1): социального графа, отражающего отношения между пользователями, и графа пользователь-товар, отражающего взаимодействия между пользователями и товарами. Естественным способом социальной рекомендации является включение информации из социальной сети в изучение скрытых факторов пользователя, характеризующих его предпочтения, и товара, характеризующих его особенности, например, популярность и т.п. Изучение представлений и о товарах, и о пользователях является ключом к созданию системы социальных рекомендаций.
Рис. 1. Взаимосвязи пользователей и товаров в системе социальных рекомендаций Fig. 1. The relationship between users and products in the system of social recommendations
Создание систем социальных рекомендаций, основанных на GNN, должно охватывать информацию о пользователях с разных точек зрения. Так, чтобы лучше изучить представления пользователей, необходимо агрегировать информацию с обоих графов. Граф пользователь-товар не только отражает взаимодействия между пользователями и товарами, но также включает мнения пользователей о товарах. Следовательно, необходимо одновременно учитывать и взаимодействия между пользователями и их мнения о товарах. Например, пользователь взаимодействует с товарами «радио» и «ноутбук», которые он готов купить, или уже покупал ранее, как следствие, он имеет мнение о них, отраженное в графе (рис. 1). Равнозначный учет социальных связей может привести к снижению эффективности рекомендаций. Следовательно, нужно найти способ различать социальные связи с неоднородной силой.
В данной работе ставится цель - разработать при помощи графовой нейронной сети систему рекомендаций, учитывающую социальные взаимодействия и решающую задачу прогнозирования рейтинга товаров на основе мнений и предпочтений пользователей. Для этого необходимо:
• создать и обучить графовую нейронную сеть, способную когерентно моделировать графовые представления данных в системе социальных рекомендаций;
• ввести метод математического учета разнородных сильных сторон социальных отношений;
• протестировать обученную модель нейронной сети на существующих реальных наборах данных.
Обозначим P = {pi, p2, ..., pn} - множество пользователей и T = {ti,t2, ..., tm} - множество товаров, где n - количество пользователей, и m - количество товаров. RGRnxm - матрица оценок товаров пользователями, которая также является графом пользователь-товар. Если pi дает оценку tj, то Гц - это рейтинговая оценка. Если оценки товара еще нет, то Гц = 0. Рейтинговая оценка rj может рассматриваться как мнение пользователя pi о товаре tj.
Пусть N(1) - множество пользователей, а С(-) - набор товаров, с которыми взаимодействовал пользователь р-; В(]) - множество пользователей, которые взаимодействовали с ^. Пользователи могут устанавливать социальные взаимосвязи друг с другом. Пусть £еКиХи -социальный граф пользователь-пользователь, где = 1, если р] имеет отношение к р- и = 0 в противном случае. Учитывая граф пользователь-товар Я и социальный граф 8, мы стремимся предсказать недостающее значение рейтинга в Я.
Архитектура системы
Архитектура предлагаемой модели сети состоит из трех основных компонентов: моделирование пользователей, моделирование товаров и прогнозирование рейтинга. Моделирование пользователей заключается в изучении скрытых факторов, характеризующих их предпочтения. Поскольку данные для построения системы представляются в виде двух графов - графа социальных отношений и графа пользователь-товар, то существует возможность изучить предпочтения пользователей с разных точек зрения. Для обработки этого вводятся два метода агрегирования. Один из них - агрегация товаров через взаимодействие между пользователями и товарами в пространстве товаров. Другой - социальная агрегация [8], учитывающая отношения между пользователями в графе социальных отношений, который помогает смоделировать социальное пространство. Чтобы получить и изучить скрытые факторы пользователей, необходимо объединить информацию из обоих пространств.
Поскольку граф пользователь-товар содержит не только взаимодействия между пользователями и товарами, но и мнения пользователей (рейтинговые оценки) по товарам, то, обрабатывая их, можно составить представления о скрытых факторах пользователя в пространстве товаров, которые характеризуют его предпочтения. Целью агрегирования товаров является изучение скрытого фактора пользователя - hi в пространстве товаров путем учета товаров, с которыми взаимодействовал пользователь pi, и мнений пользователей о них:
где Ft - это функция агрегирования товаров пользователя /;,; о - нелинейная функция активации, Weight и bias - вес и смещение, которые определяются спецификой нейронной сети и обновляются в процессе обучения; Xia - вектор представления, обозначающий взаимодействие между пользователем pi и товаром ta е C(i) с учетом мнения.
Пользователь может выразить свое мнение - рейтинговую оценку во время взаимодействия с товаром. Для этого вводится вектор включения мнений erGR^, который обозначает каждое мнение r как векторное представление размерности d. Для взаимодействия между пользователем pi и товаром ta с мнением r мы моделируем представление взаимодействия с учетом мнения Xia как комбинацию числового вектора товара - qa (эмбеддинг товара ta^C(i)) и числового вектора мнения - er (эмбеддинг рейтинга r) с помощью многослойного персептро-на (MLP) [9]. Выходом MLP является:
где 0 обозначает операцию конкатенации между двумя векторами.
Одной из популярных функций агрегирования является линейная аппроксимация локализованной спектральной свертки в виде:
(3)
где ai - весовой коэффициент пользователя pi, характеризующий интенсивность его взаимодействия с товарами (агрегатор на основе среднего).
Чтобы смягчить ограничение агрегатора на основе среднего, необходимо настроить ai так, чтобы позволить взаимодействиям вносить свой вклад, назначив индивидуальный вес для каждой пары (Ха, pi):
' ^ ^ (4)
где aiа обозначает вес взаимодействия пользователя pi с товаром ta для привлечения внимания к скрытому фактору пространства товаров пользователя pi при характеристике предпочтений пользователя pi по истории взаимодействий C(i). В частности, мы параметризируем внимание к товару - Ша с помощью двухслойной нейронной сети, входными данными которой являются представление х1а взаимодействия с учетом мнений и числового вектора пользователя - qi. (эмбеддинг пользователяpi).
Веса получаются путем нормализации баллов внимания с помощью функции Softmax [10], которые можно интерпретировать как вклад взаимодействия в скрытый фактор пользователя pi в пространстве товаров:
exp(ßia)
(5)
Согласно теориям социальной корреляции, предпочтения пользователя схожи с предпочтениями его друзей, с которыми он непосредственно связан. В связи с этим необходимо включить социальную информацию для дальнейшего моделирования скрытых факторов пользователя. Между тем, сила связей между пользователями может также влиять на поведение пользователей внутри социального графа S. Другими словами, изучение скрытых факторов пользователя должно учитывать неоднородные силы социальных связей. Поэтому вводится механизм внимания для выбора социальных друзей, а затем агрегируется информация по ним. Второй компонент проектируемой системы - моделирование товаров. Используется для изучения скрытого фактора товара, обозначаемого как zj для товара tj путем агрегирования пользователей и представляющего собой популярность товара. Взаимодействия и мнения в графе пользователь-товар должны быть совместно учтены для дальнейшего изучения скрытых факторов товара. Используем подход, схожий с изучением скрытых факторов пользователей в пространстве товаров, путем агрегирования пользователей. Для каждого товара tj нужно собрать информацию от множества пользователей B(j), которые взаимодействовали с tj. Даже в отношении одного и того же товара пользователи могут выражать различные мнения во время взаимодействия с товаром. Мнения от разных пользователей могут отражать характеристики одного и того же товара разными способами, представленными пользователями, что может помочь в моделировании скрытых факторов товара. Для описания взаимодействия между pi и tj с учетом мнения r вводится представление пользователя взаимодействия fjb, которое получается из эмбеддинга пользователя qb и эмбеддинга рейтинга товара er с помощью многослойного персептрона MLP.
(6)
Для того, чтобы узнать скрытый фактор товара zj, нужно дополнительно агрегировать представления взаимодействия пользователей в В{/) для элемента Функция агрегирования пользователей обозначается как Рр, которая агрегирует представление взаимодействия пользователей с учетом Уь, VbeBj')}:
Кроме того, вводим механизм внимания для дифференциации веса важности товара с точки зрения пользователей - j с помощью двухслойной нейронной сети внимания [11], принимая fjb и qb в качестве входных данных:
(9)
SbEB(j>exPOjb)
Внимание пользователя j предназначено для отражения неоднородного влияния взаимодействий между пользователем и товаром на скрытый фактор товара. Третий ключевой компонент системы - изучение параметров модели через предсказание путем интеграции компонентов моделирования пользователей и товаров. Скрытые факторы пользователей и товаров, сначала объединяются, а затем подаются в качестве входных данных на MLP для предсказания рейтинга товаров.
Рис. 2. Модель созданной графовой нейронной сети Fig. 2. Model of the created graph neural network
Обучение нейронной сети
Созданная модель графовой нейронной сети представлена на рис. 2. Для обучения был выбран оптимизатор RMSprop с начальным learning rate 0,001, поскольку он масштабирует скорость обучения и способен постоянно снижать значение функции потерь до тех пор, пока не будет достигнут локальный минимум. Переобучение является частой проблемой при оптимизации модели глубокой нейронной сети и, чтобы избежать этого, в нашей модели была применена техника отсечения нейронов, называемая Dropout. Коэффициент отсева равен 0,5 для прогнозирования рейтинга и 0,4 для ранжирования товаров.
Тестирование нейронной сети
Чтобы оценить качество алгоритмов рекомендаций, обычно используются две популярные метрики: средняя абсолютная ошибка (MAE) и среднеквадратичная ошибка (RMSE). При этом меньшие значения метрик указывают на лучшую точность прогнозирования. Чтобы оценить эффективность предложенного метода, для сравнения были взяты алгоритмы ре-
комендаций трех типов [13]: социальные рекомендации, которые учитывают социальные влияния (DeepSoR, SoReg и SocialMF); рекомендации, которые моделируют последовательные интересы пользователей (NARM, STAMP, SSRM); методы рекомендаций, которые используют GNN (DGRec) для взаимодействий между пользователями и товарами.
Результаты прогнозирования рейтинга товаров при помощи всех перечисленных методов показаны в табл. 1. Алгоритмы DeepSoR, SoReg и SocialMF используют рейтинговую и социальную информацию. Поскольку DeepSoR создан на основе нейронной сети, он работает лучше, чем два других метода. Три подхода, базирующиеся на основе сеансов, в целом дают результаты лучше методов первой группы, поскольку используемый набор данных содержит много взаимодействий пользователей с товарами - интересы пользователя, как правило, изменчивы, и это именно те динамические интересы, которые хорошо фиксируют методы, основанные на сеансе. Алгоритмы, основанные на GNN, работают лучше, чем все вышеупомянутые методы. В частности, предлагаемый в работе подход позволяет достичь лучших значений метрик качества, чем все другие алгоритмы, в том числе, DGRec.
Таблица 1.
Сравнение результатов прогнозирования различными методами
Table 1.
Comparison of forecasting results by various methods
Метод Метрика RMSE Метрика MAE
Алгоритмы на основе социальных влияний
SoReg 1,1703 0,9119
SocialMF 1,1328 0,8837
DeepSoR 1,0972 0,8383
Алгоритмы на основе интересов пользователей
NARM 1,1050 0,8648
STAMP 1,0829 0,8820
SSRM 1,0665 0,8800
Алгоритмы на основе взаимодействия между пользователями и товарами
DGRec 1,0684 0,8511
Our - GNN 1,0678 0,8400
Выводы
Разработана и реализована рекомендательная система на основе графовой нейронной сети, способная учитывать совместное отображение взаимодействий и мнений в графе пользовательских элементов. Обученная модель нейронной сети была протестирована на существующем реальном наборе данных Epinions. Экспериментальные результаты показывают, что предложенный метод может превосходить современные существующие алгоритмы, потому что по выбранным метрикам качества RMSE и MAE имеют самые низкие показатели.
Необходимо учитывать, что во многих отраслях пользователи и товары практически всегда связаны с некоторыми дополнительными атрибутами. Таким образом, использование графовых нейронных сетей для получения рекомендаций с атрибутами можно рассматривать в качестве одного из дальнейших направлений работы. Кроме того, и рейтинг, и социальную информацию целесообразно рассматривать не статическими, а динамически меняющимися. Для этого в будущем необходимо создание и построение нейронных сетей для социальных рекомендаций с динамическим графом.
Библиографический список
1. Xu, H. Preference-Aware Light Graph Convolution Network for Social Recommendation / H. Xu, G. Wu, E. Zhai, X. Jin, L.Tu. - Electronics 2023, 12, 2397.
2. Wu, Q. Dual graph attention networks for deep latent representation of multifaceted social effects in recommender systems / Q. Wu, H. Zhang, X. Gao, P. He, P. Weng, H. Gao, G. Chen, - In Proceedings of the World Wide Web Conference, San Francisco, CA, USA, 13-17 May 2019; pp. 2091-2102.
3. Yang, Z. Combining Reinforcement Learning Algorithms with Graph Neural Networks to Solve Dynamic Job Shop Scheduling Problems / Z. Yang, L. Bi, X. Jiao. - Processes 2023, 11, 1571.
4. Han, X. Ollivier-Ricci Curvature Based Spatio-Temporal Graph Neural Networks for Traffic Flow Forecasting / X. Han, G. Zhu, L. Zhao, R. Du, Y. Wang, Z. Chen, Y. Liu, S. He. - Symmetry. 2023, 15, 995.
5. Defferrard, M. Convolutional neural networks on graphs with fast localized spectral filtering / M. Defferrard, X. Bresson, P. Vandergheynst. - In Advances in Neural Information Processing Systems. 2016, pp. 3844-3852.
6. Derr, T. Signed graph convolutional networks. In 2018 IEEE International Conference on Data Mining (ICDM) / T. Derr, M. Yao, J.Tang. - IEEE, 2018, pp. 929-934.
7. Kipf, T.N. Semi-supervised classification with graph convolutional networks / T.N. Kipf, M. Welling, - In International Conference on Learning Representations (ICLR), 2017.
8. Dong, X. A hybrid collaborative filtering model with deep structure for recommender systems / X. Dong, L. Yu., Z. Wu., Y. Sun, L. Yuan, F. Zhang 2017.
9. Frolov, E. Tensor methods and recommender systems / E. Frolov, I. Oseledets. - Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery 2017, 3, 1201.
10. Gori, M. A new model for learning in graph domains / M. Gori, G. Monfardini, F. Scarselli. - In Proceedings of the International Joint Conference on Neural Networks, 2005, 2, pp. 729-734.
11. Scarselli, F. Hagenbuchner M., Monfardini G., The graph neural network model / F. Scarselli, M. Gori, A.C. Tsoi. - IEEE Transactions on Neural Networks, 2009, 20 pp. 61-80.
12. Hamedani, M.R. TrustRec: an effective approach to exploit implicit trust and distrust relationships along with explicit ones for accurate recommendations / M.R. Hamedani, I. Ali, Hong J., S-W. Kim. -Computer Science and Information Systems, 18, 2020.
13. Lin, J. Graph neural networks with dynamic and static representations for social recommendation / J. Lin, S. Chen, J. Wang. - International Conference on Database Systems for Advanced Applications, Jan. 2022.
Дата поступления
в редакцию: 10.05.2023
Дата принятия
к публикации: 03.07.2023
