CC BY
18УДК 004
Информационные технологии
Басов Олег Олегович, доктор. тех. наук, профессор, доцент Университета
ИТМО, Россия, г. Санкт-Петербург
Лаптев Андрей Александрович, аспирант Университета ИТМО,
Россия, г. Санкт-Петербург
АНАЛИТИЧЕСКИЙ ОБЗОР СОВРЕМЕННЫХ РЕКОМЕНДАТЕЛЬНЫХ АЛГОРИТМОВ ДЛЯ ПОСТРОЕНИЯ МЕТАНАВИГАЦИОННОЙ
СИСТЕМЫ
Аннотация: В данной статье проводится аналитический обзор существующих видов рекомендательных систем для дальнейшего определения необходимых технологий и алгоритмов для проектирования и разработки метанавигационной системы, а также для выявления их недостатков и преимуществ.
Для классификации видов рекомендательных систем был произведен анализ по основным научным, научно-популярным, научно-образовательным источникам, результатом чего была представлена иерархическая схема видов систем на рисунке 1, с дальнейшим ее описанием.
Ключевые слова: рекомендательные системы; навигация; метанавигация; искусственный интеллект.
Annotation: This article provides an analytical review of existing types of recommender systems to further determine the necessary technologies and algorithms for the design and development of a metanavigation system, as well as to identify their disadvantages and advantages.
To classify the types of recommender systems, an analysis was made according to the main scientific, popular science, scientific and educational sources, as a result
of which a hierarchical diagram of the types of systems was presented in Figure 1, with its further description.
Key words: recommender systems; navigation; metanavigation; Artificial Intelligence.
В современном мире неотъемлемой частью нашей жизни стало цифровое пространство - социальные сети, мобильные приложения различных сервисов, автоматические переводчики, поисковые системы и т.д. Также начало появляться все больше цифровых экосистем, интегрирующих в себя сервисы различной природы [1; 2]. Помимо этого, наблюдается активный рост различных рекомендательных систем, основанных на алгоритмах слабого искусственного интеллекта, которые помогают пользователям выбирать товары, услуги, фильмы, музыку и иной контент, исходя из их предпочтений и определенных особенностей [19].
На стыке двух вышеописанных процессов рождается потребность в системах метанавигации - навигации человека во всем. Определим это понятие как подвид рекомендательных систем, которые работают по типу полуавтоматической навигации человека в цифровом пространстве разнородных сервисов. Понятие "полуавтоматическая" подразумевает то, что время от времени система сама направляет (рекомендует) человека в полезные и нужные ему места, события, ресурсы, а также доступен и непосредственный ввод запроса от пользователя.
Метанавигационная система комплексно анализирует поведение человека, после чего выдает пользователю рекомендации по различным действиям, выполняя тем самым навигацию пользователя в цифровом пространстве и не только. Например, система может порекомендовать посмотреть определенный фильм, исходя из недавнего поведения человека, посоветовать новые знакомства, посоветовать заняться изучением какого-то полезного на данный момент материала, посоветовать прогуляться, для чего
построит оптимальный маршрут по любимым местам, мероприятиям, людям и прочее.
Навигационная составляющая описанной системы заключается в том, что она не только рекомендует какое-то действие или событие, а еще и декомпозирует его и разбивает на элементарные инструкции, по которым легко следовать и отслеживать свой прогресс.
Рисунок 1 - Иерархия рекомендательных систем
Коллаборативная фильтрация
Коллаборативные рекомендательные системы (РС) — самые известные РС в Интернете. В этом типе РС фильтрация элементов из большого набора альтернатив осуществляется совместными усилиями схожих пользовательских предпочтений. Основная концепция заключается в том, что если два пользователя имели одинаковые интересы в прошлом, они могут иметь такие же интересы и в будущем. С другой стороны, если пользователь А и пользователь Б покупали аналогичные товары в прошлом, а пользователь А недавно приобрел мобильный телефон Ш^^, который пользователь Б еще не видел и не купил, то идея состоит в том, чтобы порекомендовать этот невиданный новый товар пользователю Б. Методы коллаборативной фильтрации основаны на методах межэлементной корреляции или межпользовательской корреляции. Кроме того, эти методы можно разделить на две категории [3]:
• Основанный на соседстве, также известный как основанный на памяти. В этом методе рекомендация основана на информации пользователя или элемента о некой окрестности. Эти окрестности определяются на основе сходства между активным пользователем или выбранным элементом с другими пользователями или невидимым элементом информации.
• Основанный на модели, использующий методы интеллектуального анализа данных и машинного обучения. Подобные методы еще называют прогностическими моделями. Некоторые примеры таких методов на основе моделей включают случайный лес, байесовскую модель, латентный семантический анализ и модели на основе правил.
Методы на основе соседства для РС также называются методами на основе памяти. В этом типе РС сходства между элементами или пользователями используются для рекомендации невидимых элементов информации или продукта пользователям на основе соседского сходства.
В этом методе рекомендуемый элемент вводится активному пользователю A на основе голосов других пользователей за их элементы.
Предполагая, что икл является соответствующим голосом пользователя к для элемента г и 1к — это набор элементов, за которые проголосовал пользователь к. Средний голос за пользователя к может быть представлен следующим образом:
Прогнозируемое значение голосов для рекомендации неизвестного (предполагаемого) элемента I активному пользователю А (Р^) представляет
собой значение взвешенной суммы голосов других пользователей. Это значение можно рассчитать:
где С — коэффициент нормализации, который используется для общей суммы весов до единицы (т. е. С££=1 со (А, к) = 1). С другой стороны,
— это сходство или значение корреляционного веса между активным пользователем А и пользователем к. Метрики корреляции могут использоваться как отношения между активным пользователем и остальными пользователями.
Коллаборативная фильтрация на основе элементов В этом методе определяют рекомендуемые пользователям элементы на основе сходства или корреляции выбранных (активных) элементов с доступными невидимыми элементами. Эти корреляции измеряются на основе совместных пользовательских оценок ранее выбранных элементов по отношению к новым элементам. Предположим, что вектор пользовательского рейтинга для выбранного элемента I активным пользователем А равен а
вектор пользовательского рейтинга для элемента-кандидата /, который может быть рекомендован активному пользователю А, равен . Таким образом,
(1)
п
к=1
(2)
вероятность косинусного сходства или вероятность корреляции Пирсона тгс^ или согг^ того, что элемент / может быть рекомендован пользователю А, может быть рассчитана следующим образом:
(3)
или
где — множество пользователей, проголосовавших за оба элемента г и /, а и и} — пользователи, проголосовавшие соответственно за элемент I и элемент /. Кроме того, тиЛ и представляют собой голоса или
пользовательские "ставки" для элементов ¿ и /, которые представлены вектором ¿^ и С другой стороны, среднее значение оценки элемента представлено г [4,5].
В этом методе пользователей в социальной сети просили предоставить рекомендацию и рейтинг для элементов информации или продуктов активному пользователю. Технику ОСС можно разделить на три категории. Первая категория — это метод взвешенного прогнозирования, основанный на доверии, вторая категория — это метод прогнозирования на основе байесовского вывода, а третья категория — это метод случайного блуждания.
Коллаборативная фильтрация на основе кластеризации Кластеризация — это метод группировки похожих элементов вместе на основе отзывов пользователей об их релевантности коллаборативной фильтрации. Однако метод кластеризации, основанный на методе данных коллаборативной фильтрации, в основном относится к кластеризации пользователей на основе их активности. Пользователи в этом методе представляют собой вектор рейтинговых признаков, и каждый признак
представляет собой элемент информации, продукт или фильм на основе типа РС. В данной категории метод К-средних является наиболее известным методом кластеризации.
Факторизация матриц была первым методом, использованным для разработки коллаборативной фильтрации. Этот метод очень похож на модель векторного пространства. По сути, он представляет каждого пользователя вектором оценок для элементов РС и каждый элемент вектором оценок пользователей. Затем данный метод использует декомпозицию матрицы элементов-пользователей до меньшей размерности [6].
Персонализированные рекомендательные системы
При персонализированном подходе рекомендательные системы строят свои модели рекомендаций на основе отзывов о релевантности отдельных пользователей. РС основываются на моделях рекомендаций, созданных обратной связью по релевантности коллаборативной фильтрации, чтобы устранить барьер пользовательского "холодного запуска".
Таким образом, алгоритмы машинного обучения могут сначала учиться на метках коллаборативной фильтрации (КФ) до тех пор, пока не будет достаточно персонализированных меток релевантности. В последнее время существует несколько рекомендательных и поисковых систем, которые начинают использовать методы машинного обучения, но нет четкого представления о том, будут ли они использовать персонализированные метки и метки КФ для настройки рекомендуемого элемента, основанного только на вкусе пользователя. Таким образом, пока что нет соответствующей научной литературы об этой относительно новой методике.
В этом методе РС представляют собой адаптированные системы, в которых рекомендуемые элементы отправляются пользователям на основе контекста пользовательской среды. Например, пользователь А может любить мороженое, но теперь он простужен. Таким образом, в данный момент он не должен рекомендовать пользователю мороженое [7].
Рекомендательные системы основанные на контенте
Основное различие между РС основанных на контенте (ОК) и коллаборативной фильтрации (КФ) заключается в том, что РС-ОК полагаются на характеристики элементов и пользователей для прогнозов, в то время как РС-КФ используют только данные пользовательского рейтинга для элементов, чтобы делать прогнозы. РС-ОК имеет много общего с исследовательской областью информационного поиска (ИП). Это связано с тем, что РС-ОК и ИП в основном связаны с анализом содержания данных для рекомендации пользователям информации об элементах.
Метод ММ относится к тому, как рекомендательная система организует, индексирует и рекомендует информацию. Существуют две известные категории ММ: первая известна как модель векторного пространства (МВП), вторая называется вероятностной моделью (ВМ).
В МВП веб-страницы представлены в виде векторов в неком пространстве веб-страниц. Каждое измерение в данном пространстве представляет вес, присвоенный термину в коллекции веб-страниц. Другими словами, веб-страница в коллекции системы ИП содержит текстовые слова. После процедуры предварительной обработки мы получаем индексные термины или ключевые слова, представляющие каждую веб-страницу. Затем мы присваиваем веса каждому термину индекса в коллекции веб-страниц. Этот вес представляет собой важность или информационное содержание этого термина на данной веб-странице. Каждая веб-страница хранится в следующем виде:
где (1 — веб-страница в коллекции, и^ — весовое значение термина I в наборе слов, а п — количество слов в наборе, которые представляют собой информационное содержание набора веб-страниц. Когда пользователи выбирают некоторые веб-страницы в качестве текстовых данных, относящихся к ним, РС измеряет сходство между выбранными веб-страницами и
невидимыми веб-страницами, чтобы рекомендовать некоторые из них на основе значений сходства.
Простая схема взвешивания слов или терминов (СВТ) использует количество вхождений термина на данной веб-странице, которое называется частотой термина (tf). Однако в этой схеме есть недостаток. Возможно, термин получает большое значение веса на каждой веб-странице одновременно, потому что термин повторяется на каждой веб-странице, и это делает его не очень хорошим дискриминационным термином для веб-страниц. Британский ученый в области информатики Спарк Джонс предложила другую схему взвешивания, называемую обратной частотой документов (idf), представленную в виде логарифма (ЛГ/ti), где N — общее количество веб-страниц или документов в коллекции, а п — количество документов, к которым относится терм.
После того, как векторы весов терминов веб-страниц были вычислены с использованием СВТ, следующим шагом является вычисление значения соответствия сходства между выбранным вектором и векторами веб-страниц. Затем веб-страницы извлекаются в порядке убывания их значений сходства. Веб-страница с самым высоким рейтингом будет наиболее "похожа" на выбранные веб-страницы. Процедура сопоставления подобия имитирует автоматическое системное измерение уровней релевантности веб-страниц выбранным веб-страницам. Чем точнее функция сопоставления подобия, тем выше точность РС.
Вероятностные модели в информационном поиске — это подходы к обучению, основанные на представлении набора слов, в котором каждый документ или веб-страница представляет собой вектор весов терминов. Вероятностные модели основаны на теории вероятностей с некоторой статистической основой.
Вероятностная модель на основе двойного распределения Пуассона (РП) (модель наилучшего соответствия Okapi)
В [8] была предложена функция взвешивания терминов, основанная на двух моделях распределения Пуассона. Эта весовая функция термина
использовалась в системе ИП Okapi в Университете Лондона. Это наиболее успешная функция взвешивания терминов в соревнованиях TREC (Text Retrieval Conference). Более подробную информацию о функции взвешивания ИП Okapi можно описать с помощью следующих обозначений. Пусть N — количество веб-страниц в коллекции, а щ — количество веб-страниц, содержащих термин i. Кроме того, пусть Ra будет общим количеством релевантных веб-страниц выбранной странице q, а - количеством релевантных веб-страниц, содержащих термин i. Далее, dtft — это частота термина i на веб-странице d длины dl. Под длиной веб-страницы понимается общее количество частот индексных терминов на странице. Если веб-страница имеет среднюю длину, то она будет называться Avgdl. Используя предыдущие
обозначения, вес Okapi для термина i на веб-странице d может быть представлен следующим уравнением:
(6)
где Кг представляет собой константу и обычно имеет значение 1 или 2 для коллекций документов TREC. Авторы [9] использовали новую функцию сопоставления подобия в своем исследовании. Эта функция сопоставления подобия называется Best Match (BM). В их экспериментальном исследовании использовались три формулы наилучшего совпадения. Они называются BM1, BM11 и BM15. Эти функции сопоставления представляют сходство скалярного произведения между веб-страницей d и выбранной веб-страницей q для вектора весов (BM15, который представляет собой скалярное произведение плюс поправочный коэффициент). Уравнения функции сопоставления подобия BM25 (BM25 означает Best Match версии 25) задаются следующим образом:
где К±, К2, К3и Ь — константы, которые обычно выбирают методом проб и ошибок. Простейшая форма ВМ25 с присвоением нулевых значений для и
(9)
Треки TREC, такие как TREC-9 [8], определяют значения по умолчанию для Кги b как 1,2 и 0,7 соответственно, в то время как К3 часто устанавливается либо на 0, либо на 1000, а К2 часто устанавливается на 0. Okapi-BM25 был наилучшая функция взвешивания терминов путем настройки ее констант на подходящие значения на основе коллекции веб-страниц. Однако необходимость корректировки подходящих констант потребует предварительного знания для обратной связи релевантности выбранной веб-страницы с коллекциями вебстраниц независимо от использования оценки релевантности в уравнениях BM25. Если константы имеют нулевые значения в Okapi-BM25, функция будет функцией сходства внутреннего продукта в МВП со схемой взвешивания терминов обратной частоты документа (IDF).
В этой категории в рекомендательных системах используются методы неконтролируемого машинного обучения. Наиболее известными методами являются различные методы кластеризации элементов данных, основанные на
сходстве их признаков. Однако эвристические проблемы с функциями данных могут быть не лучшим методом для получения точных кластеров, что может привести к смещению рекомендуемых элементов информации для пользователей.
Наиболее распространенной проблемой в исследованиях ИМ и РС-ОК является ранжирование извлеченных документов на основе отзывов пользователей. В ранних исследованиях использовались методы ММ, такие как МВП на основе TF-IDF или ОкарьВМ25. Эти модели использовались для ранжирования извлеченных документов (веб-страниц) на основе их сходства с выбранными пользователем страницами. Однако, использование только одного метода оценки (схема взвешивания терминов) было недостаточно эффективным. Причина в том, что методы оценки, такие как Okapi-BM25, ограничены обратной связью по релевантности с точки зрения получения точных результатов поиска [10; 11; 12]. Это подчеркивает необходимость использования более чем одного метода оценки для ранжирования документов по отношению к выбранной пользователем веб-странице. Кроме того, для ранжирования документов следует учитывать важность документов в Интернете, среди других желательных характеристик. Ученый Тао Цинь и соавторы в работе [13] предложил новую тенденцию исследования ранжирования веб-страниц путем создания наборов данных LETOR. Эти наборы данных представляют собой дистиллированные бенчмарки из поисковых систем и из известных коллекций конференций ТЯЕС. Эти контрольные показатели содержат более одной схемы взвешивания терминов (методов оценки) как часть характеристик контрольных показателей. Они также содержат некоторые другие функции, указывающие на важность веб-страницы в Интернете.
Существует три категории LTR-подходов: (1) точечный метод, (2) парный метод и (3) списочный метод. Эти категории основаны на измерениях функции потерь или функции пригодности. При точечном подходе каждый отдельный объект (пара веб-страница - невидимая веб-страница)
рассматривается как обучающий экземпляр. Примерами точечных подходов являются линейная регрессия (ЛР), бустинг, деревья регрессии с градиентным усилением и случайный лес. Попарный подход рассматривает пару объектов (две пары оцениваемых веб-страниц и невидимых веб-страниц для одного и того же пользователя) в качестве обучающего экземпляра. Примерами попарных подходов являются RankNET (ранговая нейронная сеть), RankBoost и SVMRank (ранговая машина опорных векторов). При списочном подходе весь извлеченный список объектов (список оцененных пар веб-страница-непросмотренная веб-страница для каждого пользователя) используется в качестве обучающего экземпляра. Примерами списочных подходов являются ListNET (Listwise Neural Net) и RankGPES.
Хотя было показано, что списочные методы работают лучше с точки зрения точности, чем точечные и парные подходы [14], необходимость улучшить производительность LTR-подходов побудила исследователей также предложить гибридные методы. Например, был предложен подход (CoRR), сочетающий линейную регрессию (поточечно) с методом опорных векторов (попарно) [15]. Также были предложены два других гибридных подхода — LambdaRank и LambdaMART, которые сочетают попарные и списочные методы [16]. LambdaRank основан на RankNET, а LambdaMART — это усиленное дерево из LambdaRank. И LambdaMART, и LambdaRank показали лучшие результаты в отношении точности, чем метод Mohan [17]. Таким образом, сочетание списочного и точечного методов оказалось достаточно перспективным. В 2016 году были проведены эксперименты, сочетающие списковый и точечный случайный лес (гибридный СЛ), показав, что их гибрид превосходит другие как точечные, так и списочные СЛ по времени выполнения и точности вычислений [18].
Библиографический список:
1. Что такое цифровая экосистема [Электронный ресурс]. -https://handh.ru/post/digital_ecosystem (дата обращения: 24.01.2022).
2. Цифровая экосистема как конкурентное преимущество международных компаний [Электронный ресурс]. -https://www.nbrb.by/bv/articles/10773.pdf (дата обращения: 24.01.2022).
3. Charu C. Aggarwal, Recommender Systems: The Textbook. - Springer International Publishing Switzerland, 2016.
4. Classifying Different Types of Recommender Systems [Электронный ресурс]. - https://www.bluepiit.com/blog/classifying-recommender-systems/#:~:text=There%20are%20majorly%20six%20types,system%20and%20Hyb rid%20recommender%20system. (дата обращения: 24.01.2022).
5. Brief on Recommender Systems [Электронный ресурс]. -https://towardsdatascience.com/brief-on-recommender-systems-b86a1068a4dd (дата обращения: 24.01.2022).
6. Ibrahim, Osman & Younis, Eman. (2018). Recommender Systems and Their Fairness for User Preferences: A Literature Study. 10.13140/RG.2.2.35330.12487.
7. Singh P. Recommender Systems //Machine Learning with PySpark. -Apress, Berkeley, CA, 2019. - с. 123-157.
8. S. E. Robertson, S. Walker, Some simple effective approximations to the 2-poisson model for probabilistic weighted retrieval, in: Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR '94, Springer-Verlag New York, Inc., 15 New York, NY, USA, 1994, pp. 232-241.
9. S. E. Robertson, S. Walker, M. Beaulieu, Okapi at trec-7: Automatic ad hoc, filtering vlc and interactive track, in: E. M. Voorheer, D. K. Harman (Eds.), NIST Special Publication 500-242: The Seventh Text REtrieval Conference (TREC-7), NIST, Gaithersburg, MD, 1998, pp. 253-264.
10. O. Ibrahim, D. Landa-Silva, Term frequency with average term occurrences for textual information retrieval, Soft Computing 20 (8) (2016) 30453061. doi:10.1007/s00500-015-1935-7.
11. A. Tonon, G. Demartini, P. Cudr-Mauroux, Pooling-based continuous
evaluation of information retrieval systems, Information Retrieval Journal 18 (5)
(2015) 445-472. doi:10.1007/ s10791-015-9266-y.
12. J. Urbano, Test collection reliability: a study of bias and robustness to statistical assumptions via stochastic simulation, Information Retrieval Journal 19 (3)
(2016) 313-350. doi:10.1007/ s10791-015-9274-y.
13. T. Qin, T.-Y. Liu, J. Xu, H. Li, Letor: A benchmark collection for research on learning to rank for information retrieval, Information Retrieval 13 (4) (2010) 346-374. doi:10.1007/s10791-009-9123-y.
14. Z. Cao, T. Qin, T.-Y. Liu, M.-F. Tsai, H. Li, Learning to rank: from pairwise approach to listwise approach, in: Proceedings of the 24th international conference on Machine learning, ICML '07, ACM, New York, NY, USA, 2007, pp. 129-136. doi: 10.1145/1273496.1273513.
15. D. Sculley, Combined regression and ranking, in: Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD '10, ACM, New York, NY, USA, 2010, pp. 979-988. doi: 10.1145/1835804.1835928.
16. C. J. C. Burges, From RankNet to LambdaRank to LambdaMART: An overview, Tech. rep., Microsoft Research (2010).
17. O. Chapelle, Y. Chang, Yahoo! learning to rank challenge overview, in: Proceedings of the Yahoo! Learning to Rank Challenge, held at ICML 2010, Haifa, Israel, June 25, 2010, 2011, pp. 1-24.
18. M. Ibrahim, M. Carman, Comparing pointwise and listwise objective functions for random-forest-based learning-to-rank, ACM Transaction of Information System 34 (4) (2016) 20:1-20:38. doi: 10.1145/ 2866571.
19. Singh P. Recommender Systems //Machine Learning with PySpark. -Apress, Berkeley, CA, 2022. - С. 157-187.
20. ГОСТ Р 59276-2020 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения от 23 декабря 2020 [Электронный ресурс]. - https://docs.cntd.ru/document/1200177291 (дата обращения: 25.01.2022).
