Управление разнообразием товаров в рекомендательных моделях на основе архитектуры с механизмом внимания (трансформерах)

Ф.В. Краснов

Ф.В. Краснов

Аннотация— Онлайн-покупателям доступны для выбора миллионы товаров на электронных торговых Интернет-площадках (Internet marketplace). Несмотря на все преимущества разнообразия, огромное количество вариантов возможной покупки может останавливать и затруднять выбор, в результате чего покупатели уходят без покупок вовсе. Подобная ситуация не приносит пользы ни покупателям, стремящимся совершить покупку, ни продавцам, которые упустили свою выгоду, ни самой торговой Интернет-площадке, теряющей комиссию и привлекательность для рекламодателей. Одна из основных ценностей электронной торговой Интернет-площадки состоит в том, чтобы направлять покупателей к товарам, наиболее соответствующим их интересам и мотивации. Для этого электронные торговые Интернет-площадки полагаются на рекомендательные системы. Использование data science для расширения возможностей продавцов помогает прогнозировать, какие товары покупатель добавит в корзину и сделает заказ, а также позволяет улучшить качество обслуживания клиентов при следующем совершении покупок онлайн. Современные рекомендательные системы состоят из различных моделей с различными подходами, начиная от простой матричной факторизации и заканчивая глубокими искусственными нейронными сетями с механизмом внимания (трансформер). Однако не существует единой модели, которая могла бы одновременно оптимизировать все задачи пользователей, продавцов и торговой Интернет-площадки.

В данном исследовании автор сосредоточился на задаче сбалансированного выбора рекомендаций товаров с учетом интересов пользователя, продавца и электронной торговой Интернет-площадки. Улучшение рекомендаций сделает навигацию по, казалось бы, бесконечным вариантам поиска более легкой и привлекательной для покупателей. Для этого автор рассмотрел метрики разнообразия ассортимента товаров Серендипность (Serendipity) и показал возможности и ограничения при оптимизации разнообразия для моделей

рекомендательных систем на основе архитектуры с механизмом внимания (трансформерах).

Ключевые слова — NDCG, DNN, transformers, BERT, ecommerce, Information Retrieval, IR, MRR, Serendipity

I. Введение

В настоящее время использование архитектуры трансформер довольно популярно среди академической общественности, занимающейся развитием

искусственных нейронных сетей глубинного обучения.

Растет количество статей, применяющих трансформеры для задач поиска и рекомендаций на электронных торговых Интернет-площадках. Отметим такие исследовательские программные системы, как BERT4rec [1], S3Rec [2], LightSANs [3], NOVA-BERT [4], SASRec [5], TRON [6], DuoRec [7], HybridBERT4Rec [8]. Согласно исследованию [9] более 370 академических исследовательских работ посвящено использованию архитектуры трансформеров в рекомендательных системах за последние 3 года. Тем не менее, растет количество исследований, разоблачающих несостоятельность абсолютного и поступательного превосходства усложнения архитектуры трансформеров, например, в работе [10] продемонстрировано, что более ранние подходы к построению рекомендательных систем могут превосходить более новые при обучении в равных условиях. Если обе модели обучаются с одинаковыми функциями потерь, которые использует BERT4Rec, то SASRec значительно превзойдет BERT4Rec как по качеству, так и по скорости обучения. Кроме того, в исследовании [10] показано, что SASRec может эффективно обучаться с большим количеством негативных примеров и значительно превосходить BERT4Rec по качеству.

Интересно исследовать мнение сообщества практиков рекомендательных систем по поводу использования архитектуры трансформеров. Так, в соревновании компании H&M на платформе Kaggle1 первое и второе место заняли команды, не использующие модели на архитектуре трансформеров и модели на базе искусственных нейронных сетей глубокого обучения, в частности. В комментариях к своему решению команда, занявшая второе место отмечает, «были попытки использования различных моделей нейронных сетей глубокого обучения, но они не привели к значимым результатам» [11]. В другом более современном и масштабном соревновании по созданию рекомендаций для набора данных компании OTTO [12] на платформе Kaggle2 (2023 год) команда, занявшая первое место, также отметила отсутствие улучшений при использовании архитектуры трансформеров, вследствие чего применили архитектуру MLP (Multi-layer

1 https://www.kaggle.com/competitions/h-and-m-personalized-fashion-recommendations/discussion/324129

2 https://www.kaggle.com/competitions/otto-recommender-system/leaderboard

Perceptron) с нелинейными активаторами. При учете, что MLP не могут эффективно аппроксимировать даже пересечения признаков 2-го или 3-го порядка.

Принцип работы рекомендательной системы на основе поведения пользователя с использованием моделей машинного обучения на механизме внимания или трансформерах можно схематично изобразить как обучение на последовательностях цифровых идентификаторов товаров (ItemN) и последующее моделирование рекомендаций цифровых

идентификаторов товаров (ItemN). На рисунке 1 изображена схема работы рекомендательной системы на трансформерах, обученной на взаимодействии пользователя с торговой Интернет-площадкой посредством покупок. Слева изображены последовательности покупок пользователей за период времени, а справа - рекомендации для следующих покупок.

привлекательными условиями по доставке. В такой ситуации в рекомендациях с большой вероятностью будет одна и та же модель смартфона и разные цифровые идентификаторы товара от разных продавцов. Конечно, влияние такой ситуации можно минимизировать, группируя дубли товаров. На практике поведение пользователей отличается от моделируемого, в последовательностях покупок будут встречаться цифровые идентификаторы товаров, не участвовавшие в обучении и, следовательно, не известные модели рекомендаций на основе трансформеров. Поскольку на электронной торговой Интернет-площадке может появляться 1-2 % новых товаров ежедневно. Для таких товаров рекомендательная система не сможет сделать рекомендации товаров. Отметим, что это не совсем та ситуация, которая называется «холодным стартом» продаж. Приведенный пример является ограничением модели рекомендаций на основе трансформеров, а не жизненным циклом товара на торговой Интернет-площадке в случае «холодного старта» продаж. На рисунке 3 изображено именно ограничение модели рекомендаций на основе трансформеров.

Рисунок 1 - Схема работы рекомендательной системы на основании истории (последовательности) покупок

Для обучения рекомендательной системы на трансформерах используют не все товары, а только небольшое их подмножество. Например, самые популярные или самые покупаемые товары за определенный период. В зависимости от порога доля таких товаров обычно составляет 1-2 % от всего ассортимента товаров. На рисунке 2 приведены примеры популярных товаров и более специфичных, но менее популярных товаров, цифровые идентификаторы которых не вошли в обучающую выборку.

Популярные товары: Непопулярные товары:

Iteml - Юбка Item5 - Деловая юбка для офиса

Item2 - Колготки Item6 - Черные колготки непрозрачные

Item3 - Туфли Item7 - Черные туфли на каблуке

Item4 - Блузка Items - Белая блузка с бантом

Рисунок 2 - Примеры одинаковых покупок, имеющих разные цифровые идентификаторы товаров

Модель рекомендаций на основе трансформеров получает на вход цифровые идентификаторы товаров и не обладает информацией о названиях товаров и их характеристиках, таких как цвет, бренд, размер, вес и другие. Поэтому для одинаковых покупок могут быть разные цифровые идентификаторы товаров. Это приводит к тому, что в рекомендациях могут встречаться два полностью идентичных товара от разных продавцов, имеющие разные цифровые идентификаторы. Представим, существует популярная модель смартфона и на электронной торговой Интернет-площадке представлены десятки продавцов со своими предложениями товаров на основе этой модели с дополнительными сопутствующими аксессуарами и

Рисунок 3 - Результат ограничения модели рекомендаций для неизвестных ей цифровых идентификаторов товаров

Родовая неспособность системы рекомендаций показывать новые товары не является блокирующей. Для каждого пользователя могут быть рекомендованы товары, которых он еще не покупал, если они присутствовали в обучающей выборке. Например, после покупки товара «кроссовки», потребитель будет видеть в рекомендациях другие «кроссовки». Для товаров с повторяющимся спросом (FMCG) такое поведение рекомендательной системы не является проблемой. Если покупатель приобретает «мед» раз в месяц, то ему будет удобно видеть «мед» в рекомендациях. Но в случае разовых покупок товаров длительного пользования данная связь не работает. Покупателю «холодильника» не так интересно видеть другие «холодильники» в рекомендациях, даже если это более дешевые «холодильники», чем тот, что покупатель недавно приобрел. В этом случае возникает даже негативный эффект от рекомендаций для электронной торговой Интернет-площадки.

С точки зрения электронной коммерции, плохое состояние ассортимента означает, что небольшой процент товаров, категорий или продавцов (5 %) получают непропорционально большую долю продаж и выручки (95 %). Если топ-продавцы решат перейти на платформу конкурента, это может оказать существенное влияние на бизнес-показатели торговой интернет-площадки. То же самое произойдет, если самый продаваемый продукт перестанет быть доступным (например, его нет на складе, он запрещен, производство прекращено).

Существует семейство метрик для оценки новых для пользователя рекомендаций. Наиболее известной является метрика Серендипность. Использование Серендипности помогает рекомендовать больше продуктов из «длинного хвоста» ассортимента. Это более равномерно распределяет продажи, снижая зависимость и риски от товаров и продавцов. Но в подавляющем большинстве исследований рекомендательных систем на основе трансформеров [15,7,8] используют метрику Релевантности поисковой выдачи NDCG@K. Метрика NGCD@K вычисляется по формуле (1).

NDCG@k =

DCG@k lDCG@k

D С G @ к =

log2(i + 1)

ID С G @ к =

k+1

1 l og 2( i+1 )

(1) (1.1) (1.2)

В научной литературе и программных библиотеках преобладает логарифмический метод дисконтирования по основанию 2 в формуле для вычисления NDCG@k, а геЩ) является индикаторной функцией, она равна 1, если элемент с рангом i является релевантным, 0 в противном случае.

Метрика NDCG@k используется исследователями рекомендательных систем на основе трансформеров для оффлайн валидации качества модели. По сути качество модели зависит от двух составляющих:

1. Насколько точно совпало предсказанное моделью множество товаров (itemN) с известным,

2. Насколько порядок предсказанного моделью множества товаров совпал с известным.

Обе проверки выполняются оффлайн, то есть используются системные метрики, а не метрики, отражающие результат эксперимента на пользователях электронной торговой Интернет-площадки.

Поведение пользователей онлайн зависит от множества факторов и может значительно отличаться от того, что было предсказано моделью рекомендательной системы на основе трансформеров. Поэтому различные команды исследователей пытаются внести в модель информацию о сезонности, персональных предпочтениях и географическом регионе покупателя, специфике логистических цепочек, ограничивающих сроки доставки товаров, данных о складских остатках товаров и популярности товаров. Метрика NDCG@k не чувствительна к этой информации. То есть, нет разницы показали пользователю по запросу «юбка» товар, который продали уже 10 тыс раз, или товар без отзывов и продаж («холодный старт»). Если оба товара -«юбка», то NDCG@k будет одинакова. Однако, чем дальше релевантный товар в списке кандидатов (@к) от начала последовательности поисковой выдачи, тем хуже будет №ЭШ@к.

Для измерения эффективности рекомендательных систем на основе трансформеров с помощью оффлайн метрик исследователи используют одни и те же индустриальные публичные наборы данных, например, Beauty от Amazon, и улучшают метрику NDCG@k с помощью архитектуры модели рекомендаций. Так, в статье 2018 года [5] для набора данных Beauty получено значение NDCG@10 равное 0.3219, которое улучшает метрики 8-ми предыдущих моделей [5, с. 7, табл. III]. В более новой статье 2019 года [1] для того же набора данных получено значение NDCG@10 равное 0.1862, улучшающее, по словам авторов, значение метрики NDCG@10 из статьи [5], которое приведено как 0.1633 [1, c. 6, табл. 2]. Далее в публикации 2021года [9] проведен большой анализ, показывающий различные варианты метрик из разных исследований и программных реализаций. Также в [9] опубликованы результаты собственных экспериментов, из которых следует, что значение NDCG@10 для модели из исследования [5] следует считать 0.0524, а для [1] 0.0919, но предложенная авторами новая архитектура ALBERT4Rec дает значение 0.165 [9, с. 8, табл. 5с]. В работе [7], опубликованной в 2022 году, приведено значение NDCG@10 равное 0.0281 для набора данных Beauty от Amazon [7, с. 6, табл. 2]. Наконец, в статье 2023 года [10] авторы утверждают, что улучшили NDCG@10 до 0.1325 не с помощью новой архитектуры модели на трансформерах, а за счет уточнений в алгоритме сэмплирования отрицательных примеров в данных [10, с. 4, табл. 3].

Метрика NDCG@k улучшается в каждом исследовании, но полагаться на поступательность в этом процессе представляется рискованным, так как, скорее всего, существует множество неопределенностей в оптимальности гипер-параметров и способах обучения. Таким образом, модель рекомендаций на основе трансформеров ограничивает электронную торговую Интернет-площадку в следующем:

1. Не воспринимает предмет покупки;

2. Может рекомендовать только для товаров с цифровыми идентификаторами из обучающей выборки;

3. Может рекомендовать дубли товаров;

4. Не учитывает продавца товара в рекомендации.

Гипотеза данного исследования состоит в том, что рекомендации на основе трансформеров могут быть использованы на электронных торговых Интернет-площадках в качестве одной из кандидатных моделей с определенным набором ограничений.

II. Исследование

Математическая постановка задачи рекомендаций товаров на основе последовательных действий пользователей (покупки, клики, просмотры) может быть сделана следующим образом. Обозначим за {u1,u2,u3,...,uiui} множество пользователей, за V = {v1,v2,v3,... ,Viyi} множество цифровых идентификаторов товаров, а список

Su = [v(u),v(u),v(u).....v(u).....v(y- \ J будет

представлять упорядоченную во времени (t 6 Т) последовательность взаимодействий пользователя и 6 U с товарами, где v(u)t обозначает акт взаимодействия пользователя u с товаром v с порядковым номером t в последовательности взаимодействий из nu шагов. Тогда журнал взаимодействий Su будет основой для предсказания товара, с которым пользователь u провзаимодействует на шаге с номером nu + 1. В краткой записи можем представить описанное выше следующим образом:

V(v(^+1 = vWSu) (2)

Из (2) следует, что вероятность взаимодействия пользователя со следующим товаром определяется распределением на всем множестве известных товаров V, и для каждого товара будет вычислено число (скорринг) р, по которому его можно упорядочить. Следствия (2) содержат в себе ограничения по возможному количеству товаров для рекомендаций из-за производительности выходного слоя. Стандартным для таких случаев решением является применение более эффективных структур данных и алгоритмов для поиска максимального скоринга в выходном слое, например, как в работе [13]. Но и такие решения имеют свои ограничения из-за архитектуры модели, поэтому появились исследования моделей, ориентированных изначально на огромные масштабы (web scale) [14].

Таблица 1 - Программные библиотеки и размеры наборов данных о товарах, на которых была произведена проверка

Исследование n_items @к

BERT4rec [I] 54,542 I0

S3Rec [2] 54,542 I0

LightSANs [3] 60,707 I0

NOVA-BERT [4] 1,774,867 I0

SASRec [5] 54,542 I0

TRON [6] 1,800,000 20

DuoRec [7] 23,033 I0

HybridBERT4Rec [8] I5,075 30

Модель рекомендательной системы на основе трансформеров (ОД математически описывается следующей формулой:

М(У)—>[У1.....у1+к} (3)

Если говорить более формально, целью M является составление списка из k цифровых идентификаторов товаров, упорядоченных по убыванию взвешенного скорринга модели M. Для оценки эффективности

модели M во многих исследованиях используется метрика NDCG@k по формуле (1).

Рассмотрим предельные значения средней NDCG@k по всему набору данных для используемых в рассматриваемых исследованиях размеров наборов данных (Таблица 1). В формуле (1) IDCG@k будет равно 1, так как мы считаем, что известный нам товар vtrue обладает рангом 1 для случая рекомендаций.

NDCG@k = * £k=i DCGt @К (4)

nitems

Из набора данных мы знаем истинное значение vtrue и можем определить его ранг в последовательности (3) товаров, полученных в результате работы модели M(v).

R = argwhereVtrue(vi,..., vi+k) (5)

Если vtrue £ {vi,...,vi+k} , ранг R таков , что rel(R ) = 1.

В случае, когда vtrue {vi,...,vi+k} мы считаем, что DCG@k = 0. Тогда по формуле (1) максимальное значение NDCG@k будет равно 1, а минимальное 0.30 для @k = 10. Значение NDCG@k, полученное в исследовании [5] составляет 0.165, из чего можно заключить, что определенная часть предсказаний модели M приводила к нулевым значениям NDCG@k. Метрика NDCG@k создана для оценки релевантности поисковой выдачи в задачах из области Информационного поиска (Information Retrieval, IR). Отметим, в Информационном поиске метрика NDCG@k изначально используется не так, как в оценке эффективности работы модели рекомендательной системы на основе трансформеров. В Информационном поиске с помощью NDCG@k оценивается релевантность поисковой выдачи {vi,...,vi+k} поисковому запросу q. Это означает, что релевантными могут быть несколько товаров, представленных в поисковой выдаче на разных позициях (рангах). В случае оценки работы модели рекомендательной системы на основе трансформеров производится оценка того, насколько близко к началу (ранг) отсортированного по убыванию скоринга товаров (2), вычисленного на основании M, расположен один известный товар.

В работе [12] вместо NDCG@k используют метрику MRR@k, что представляется более уместным. Метрика MRR@k, так же как и NDCG@k, изначально создана для задач Информационного поиска и оценивает качество ответов (поисковую выдачу) на запросы, упорядоченные по вероятности и правильности. MRR@k расшифровывается как «среднеобратный ранг (Mean Reciprocal Rank)», и обратный ранг в данном случае означает, что в знаменателе стоит порядковый номер (ранг) первого правильного ответа в списке поисковой выдачи (отклика) системы. «Среднеобратный ранг» - это среднее обратных рангов по всем запросам, что соответствует формуле (6).

MRR@k=

nitems 1

nitems

1

R

first

(6)

Где R(1Г!!* означает положение первого релевантного товара для последовательности взаимодействий i среди первых @к товаров. Таким образом, когда в исследовании [12] приводят результат MRR@k = 0.2, то это означает, что в среднем товар, который является истинным ( ), находится на 5 месте. Выходит, выбрав для рекомендации товар с максимальным скоррингом (р), модель не будет рекомендовать товар, статистически наиболее вероятный для следующей покупки.

В исследованиях, посвященных моделям рекомендательных систем на основе трансформеров, поразительно мало внимания уделяется метрике Серендипность. В основе этой метрики лежит интуиция, то есть оценка способности удивлять пользователя неизвестными, но релевантными для него товарами. Считать Серендипность можно по-разному. При этом независимо от формулы мы награждаем оцениваемую в оффлайн модель за угаданные непопулярные товары и не награждаем за угаданные популярные. Релевантность товара учитывается, но пессимизации по рангу нет (7).

Serendipity@k = -Y,k+-max(F(i) - FU(i), 0) * rel(i) k (7)

F( i ) = (n u ems+- ~ ° (7.1)

nitems

FU(i) = (nuems+-~p°pu 1 arity(i)) (7 2)

nitems

Где F(i) - это вероятность порекомендовать товар с рангом i текущему пользователю; FU(i) - вероятность порекомендовать товар с рангом i любому пользователю; геЩ) является индикаторной функцией, равной 1, если элемент с рангом i является релевантным, 0 - в противном случае; - это общее количество элементов, которые можно было бы использовать для рекомендаций; рори1аг^(^ - рейтинг популярности ьго элемента в списке рекомендаций; к - количество элементов в верхней части списка рекомендаций, которые будут использоваться для расчета показателя. Формула (7) отражает слабую зависимость масштаба от величины , что позволяет

исследователям сделать оценку на

объемах данных публичных наборов данных (Таблица 1).

Проанализируем, какие результаты можно ожидать от модели рекомендательных системы на основе трансформеров, эффективность которой измерена с помощью метрики БегепсИрИу@к. Во-первых, при БегепсИрИу@к = 1 исключается ситуация, где на первом месте с MRR@k = 1 будет товар с цифровым идентификатором из множества, с которыми

взаимодействовал пользователь (покупки). Таким образом, будут исключены все товары частого применения (FMCG), например, мыло, носки, ватные диски и т. п. В о -вторых, будут пессимизированы только совпадения цифровых идентификаторов товаров с популярными, а разные цифровые идентификаторы для идентичных товаров останутся в рекомендациях с высоким скоррингом (p).

Рассмотренные оффлайн-метрики служат для оценки эффективности модели рекомендательной системы на основе трансформеров. Но модель не обучается на результатах оффлайн-метрик. Для встраивания механизмов создания разнообразия ассортимента в процесс обучения модели необходимы специализированные функции потерь. В результате через функции потерь становится возможным не только измерение разнообразия результатов работы модели рекомендательной системы на основе трансформеров, но и управление разнообразием. Для этого метрики, встраиваемые в функции потерь, должны быть дифференцируемы.

Одной из самых ранних работ является максимальная предельная релевантность (MMR), предложенная в работе [15] в 1998 году. Авторы [15] представили структуру, которая систематически поощряет новизну и разнообразие для измерения систем поиска информации. В [15] развивают концепцию «предельной релевантности» как линейной комбинации релевантности и разнообразия каждого товара. В частности, товар имеет высокую предельную релевантность, если он одновременно релевантен для последовательности взаимодействия пользователя с товарами (Su) и имеет низкое сходство с предыдущими товарами из Su. Основываясь на этом принципе, MMR способствует выбору результатов модели M товаров, которые могут максимизировать MMR для формирования окончательного списка. Однако метод MMR не оптимален, поскольку попарные различия могут не отражать некоторые сложные отношения сходства во всем списке, также релевантность и разнообразие учитываются отдельно.

Иной мерой разнообразия рекомендаций может служить информационная энтропия, построенная на вероятности взаимодействий с каждым товаром. Так, в работе [16] в качестве регуляризаторов при поиске оптимальных коэффициентов в процессе матричной факторизации используются энтропия (Entropy). Важно заметить, что количество товаров для проверки разнообразия в исследовании [16] составляет 139,738, а количество пользователей - 40,163. Такой незначительный масштаб данных может служить для проверки гипотез, но не принесет пользы на практике для крупных электронных торговых Интернет-площадок, на которых количество уникальных товаров составляет сотни миллионов при сотнях миллионов пользователей. Разница в масштабах данных исследований, приведенных в таблице 1, с реальными данными торговых Интернет-площадок делает затруднительным применение моделей рекомендательной системы и на основе матричной

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

факторизации, и на основе трансформеров.

III. ЗАКЛЮЧЕНИЕ

Значительная часть исследований в области рекомендаций ориентированы на точное повторение истории взаимодействий пользователя и заключены в рамках примитивных парадигм объяснимости своих результатов. А именно: «предложение основано на вашей предыдущей истории покупок» или «похожим пользователям также нравится ...». Исследованиям релевантного разнообразия посвящено недостаточно много научных работ по сравнению с огромным количеством работ о трансформерах.

Рекомендательным системам важно поддерживать высокую релевантность поиска для покупателей. Но помимо релевантности для клиента нужно заботиться о сбалансированности ассортимента и предложений продавцов. В настоящее время исследователи уделяют мало внимания комплексному подходу в угоду решениям с более сложными архитектурами искусственных нейронных сетей для создания новых кандидатных моделей.

Рекомендательные системы на основе трансформеров представляют интересный объект исследования, но еще далеки от реальных требований, предъявляемых к рекомендательным системам крупными электронными торговыми Интернет-площадками в части разнообразия рекомендаций.

Лакмусовой бумажкой для определения несостоятельности рекомендательных систем на основе трансформеров является метрика Серендипности. Невозможность удивлять пользователя новыми и одновременно релевантными товарами вызвана родовыми ограничениями моделей рекомендательных систем на основе трансформеров: использование цифровых идентификаторов товаров, ограниченность возможного количества товаров для обучения, неспособность обрабатывать новые товары.

Модель рекомендательной системы на основе трансформеров является лишь кандидатной моделью, игнорирование этого факта приводит к следующему. Исследователи создают иллюзию представления, что упорядоченный по скоррингу список цифровых идентификаторов товаров на выходе модели может отражать релевантность и быть измерен с помощью метрик релевантности Информационного поиска, например, NDCG@k. Только в некоторых исследованиях используется более соответствующая метрика MRR@k, но при этом разрывается цепочка сравнений эффективности рекомендательной системы на основе трансформеров с другими исследовательскими работами.

Помимо этого, опубликовано множество свидетельств неопределенности в оптимальности гипер-параметров и времени обучения моделей на основе трансформеров, что создает высокий риск их использования в

высоконагруженных электронных торговых Интернет-площадках.

Важная тема исследований в рекомендательных системах - разнообразие результатов работы рекомендательных систем на основе трансформеров, позволяющее удовлетворить как различные интересы клиентов, так и равное присутствие поставщиков на электронных торговых Интернет-площадках. В последние годы внимание к подобным исследованиям растет, тем самым увеличивается и количество литературы о методах поощрения разнообразия в поиске и рекомендациях. Однако такого рода исследования до сих пор не имеют систематической организации и являются довольно фрагментарными.

Библиография

[1] Fei Sun, Jun Liu, Jian Wu [et al] BERT4Rec: Sequential recommendation with bidirectional encoder representations from transformer // In Proceedings of the 28th ACM international conference on information and knowledge management. - 2019. - P. 1441-1450.

[2] Kun Zhou, Hui Wang, Wayne Xin Zhao [et al] S3-rec: Self-supervised learning for sequential recommendation with mutual information maximization // In Proc. CIKM. - 2020. - P. 1893-1902.

[3] Xinyan Fan, Zheng Liu, Jianxun Lian [et al] Lighter and better: low-rank decomposed self-attention networks for next-item recommendation // In Proc. SIGIR. - 2021. - P. 1733-1737.

[4] Chang Liu, Xiaoguang Li, Guohao Cai [et al] Noninvasive Self-attention for Side Information Fusion in Sequential Recommendation // In Proc. AAAI. - 2021. - P. 4249-4256.

[5] Kang, Wang-Cheng, Julian McAuley Self-attentive sequential recommendation // IEEE international conference on data mining (ICDM), 2018.

[6] Wilm, T., Normann, P., Baumeister, S., Kobow, P. V. Scaling Session-Based Transformer Recommendations using Optimized Negative Sampling and Loss Functions // In Proceedings of the 17th ACM Conference on Recommender Systems. - 2023. - P. 1023-1026.

[7] Ruihong Qiu, Zi Huang, Hongzhi Yin, and Zijian Wang Contrastive learning for representation degeneration problem in sequential recommendation // In Proc. WSDM. - 2022. - P. 813-823.

[8] Channarong, Chanapa [et al] HybridBERT4Rec: a hybrid (content-based filtering and collaborative filtering) recommender system based on BERT //IEEE Access 10. - 2022. - P. 56193-56206.

[9] Petrov A., Craig M. A systematic review and replicability study of bert4rec for sequential recommendation // Proceedings of the 16th ACM Conference on Recommender Systems, 2022.

[10] Klenitskiy A., Vasilev A. Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec? // Proceedings of the 17th ACM Conference on Recommender Systems, 2023.

[11] Carlos Garcia Ling, Elizabeth HMGroup, Frida Rim, inversion, Jaime Ferrando, Maggie, neuraloverflow, xlsrln // H&M Personalized Fashion Recommendations. Kaggle. https://kaggle.com/competitions/h-and-m-personalized-fashion-recommendations, 2022.

[12] Wand An., Normann Ph., Baumeister S., Wilm T., Reade W., Demkin M. OTTO - Multi-Objective Recommender System // Kaggle. -URL: https://kaggle.com/competitions/otto-recommender-system (2022).

[13] Mohammed A. A., Umaashankar V. Effectiveness of Hierarchical Softmax in Large Scale Classification Tasks // International Conference on Advances in Computing, Communications and Informatics (ICACCI), Bangalore, India. - 2018. - P. 1090-1094.

[14] Wang R., Shivanna R., Cheng D. [et al]. Dcn v2: Improved deep & cross network and practical lessons for web-scale learning to rank systems // In Proceedings of the web conference. - 2021. - P. 17851797.

[15] Carbonell J. G. and Goldstein J. The use of MMR, diversity-based reranking for reordering documents and producing summaries // in SIGIR. - ACM, 1998. - P. 335-336.

[16] Kim J., Jeon H., Lee J., & Kang, U. Diversely regularized matrix factorization for accurate and aggregately diversified recommendation // In Pacific-Asia Conference on Knowledge Discovery and Data Mining. - 2023. - May. - P. 361-373. (Cham: Springer Nature Switzerland)

Статья получена 19 октября 2023. Ф.В.Краснов, Исследовательский центр ООО "ВБ СК" на базе Инновационного Центра Сколково. krasnov.fedor2@wb.ru, http://orcid.org/0000-0002-9881-7371.

Managing diversity of products in recommendation models based on an architecture with an attention

mechanism (transformers)

Fedor Krasnov

Abstract - Millions of products are available for online buyers to choose from on Internet marketplaces. Despite all the advantages of diversity, a huge number of possible purchase options can stop and make it difficult to choose, as a result of which buyers leave without shopping at all. Such a situation does not benefit either buyers seeking to make a purchase, or sellers who have missed their benefits, or the online trading platform itself, which loses commission and attractiveness for advertisers. One of the main values of an Internet marketplace is to direct customers to the products that best match their interests and motivation. To do this, Internet marketplaces rely on recommendation systems. Using Data Science to empower sellers helps predict which products the buyer will add to the cart and place an order, and also allows you to improve the quality of customer service the next time you make purchases online. Modern recommendation systems consist of various models with different approaches, ranging from simple matrix factorization to deep artificial neural networks with an attention mechanism (transformer). However, there is no single model that could simultaneously optimize all the tasks of users, sellers and Internet marketplaces. In this study, the author focused on the task of a balanced selection of product recommendations, taking into account the interests of the user, the seller and the Internet marketplace. Improving recommendations will make navigating through seemingly endless search options easier and more attractive for buyers. To do this, the author examined the metrics of the variety of the product range such as Serendipity and showed the possibilities and limitations in optimizing diversity for models of recommendation systems based on an architecture with an attention mechanism (transformers).

Keywords — NDCG, DNN, transformers, BERT, e-commerce, Information Retrieval, IR, MRR, Serendipity

REFERENCES