CC BY
66УДК 004.8
Информационные технологии
Чжан Чжибо, магистрант, Московский государственный технический
университет им. Н.Э. Баумана Афанасьев Геннадий Иванович, кандидат технических наук, доцент, Московский государственный технический университет им. Н.Э. Баумана
ОСНОВНЫЕ ТЕХНОЛОГИИ И ПЕРСПЕКТИВЫ ЭВОЛЮЦИИ ПЕРСОНАЛИЗИРОВАННЫХ РЕКОМЕНДАТЕЛЬНЫХ СИСТЕМ
Аннотация: Информационная перегрузка в настоящее время является серьезной проблемой, с которой сталкиваются пользователи сети, и система персонализированных рекомендаций является мощным инструментом для решения этой проблемы, и ей уделяется много внимания и исследований. В этой статье дается анализ систем рекомендаций и нескольких ключевых технологий систем рекомендаций, включая моделирование пользователей, моделирование рекомендуемых объектов и алгоритмов рекомендаций. Затем кратко рассматриваются показатели оценки эффективности рекомендательных систем, а также указываются ключевые моменты, трудности и актуальные вопросы будущих исследований в области рекомендательных систем.
Ключевые слова: Рекомендательная система, информационная перегрузка, алгоритм рекомендации, персонализация.
Abstract: Information overload is currently a major problem faced by netizens, and the personalized recommendation system is a powerful tool to solve this problem, and it receives a lot of attention and research. This article provides an analysis of recommender systems and several key recommender system technologies, including user modeling, recommended object modeling, and recommender algorithms. It then briefly reviews recommender performance metrics and points out key points, challenges, and current issues for future research on recommender
systems.
Key words: recommendation system, information overload, recommendation algorithm, personalization.
Введение
Появление и популяризация Интернета принесли пользователям много информации, которая удовлетворила потребности пользователей в информации в информационную эпоху. Однако с быстрым развитием Интернета объем онлайн-информации значительно увеличился, что сделало невозможным получение пользователями части информации — это действительно полезно для них, когда они сталкиваются с большим объемом информации, и эффективность использования информации снижается. Это так называемая проблема информационной перегрузки.
В настоящее время одним из решений проблемы информационной перегрузки является использование поисковых систем в качестве репрезентативных информационно-поисковых систем, таких как Google, Baidu и других, которые используют методы искусственного интеллекта [1; 2] и играют чрезвычайно важную роль в оказании помощи пользователям в получении онлайн-информации. Однако, когда пользователи, использующие поисковые системы, используют одно и то же ключевое слово для поиска информации, результаты получаются одинаковыми. С другой стороны, информация и ее распространение диверсифицированы, а потребности пользователей в информации диверсифицированы и персонализированы. Тогда результаты, полученные с помощью информационно-поисковой системы, представленной поисковыми системами, не могут удовлетворить персонализированным потребностям пользователей, и проблема информационной перегрузки все еще не может быть решена должным образом.
Другим очень многообещающим решением проблемы информационной перегрузки является система персонализированных рекомендаций, которая представляет собой систему персонализированных информационных
рекомендаций, которая рекомендует информацию и продукты, которые интересуют пользователей, пользователям на основе их информационных потребностей и интересов. По сравнению с поисковыми системами рекомендательная система изучает интересы и предпочтения пользователя и выполняет персонализированные вычисления. Система обнаруживает точки интереса пользователя, чтобы помочь пользователю определить свои собственные информационные потребности. Хорошая рекомендательная система может не только предоставлять пользователям персонализированные услуги, но и устанавливать тесную связь с вопросами пользователей, чтобы пользователи могли полагаться на рекомендации. Персонализированные системы рекомендаций широко используются во многих областях, среди которых наиболее типичной областью с хорошими перспективами развития и применения является область электронной коммерции. В то же время академическое сообщество всегда с большим энтузиазмом относилось к исследованиям рекомендательных систем, и постепенно сформировалась самостоятельная дисциплина. В данной статье уделяется внимание исследованиям нескольких ключевых технологий рекомендательных систем.
Концепция и определение рекомендательной системы
Рекомендательная система - это система, которая использует веб-сайты электронной коммерции для предоставления покупателям информации о товарах и предложений, помогает пользователям решить, какие товары и услуги следует приобрести, и имитирует работу торгового персонала, чтобы помочь клиентам завершить процесс покупки. Рекомендательная система состоит из трех важных модулей: модуль моделирования пользователя, модуль моделирования объекта рекомендации и модуль реализации алгоритмов рекомендации. Рекомендательная система сопоставляет информацию о требованиях к интересам в пользовательской модели с информацией о характеристиках в рекомендуемой объектной модели и использует соответствующий алгоритм рекомендаций для вычисления и фильтрации, поиска рекомендуемых объектов, которые могут заинтересовать пользователя,
а затем рекомендует их пользователю [3].
Пользовательское моделирование
Хорошая рекомендательная система должна предоставлять пользователям персонализированные, эффективные и точные рекомендации. Тогда рекомендательная система должна быть способна получать многогранные и динамично меняющиеся интересы и предпочтения пользователей. Для системы рекомендаций необходимо создать пользовательскую модель для пользователей. Модель может получать, представлять, хранить, и изменять интересы и предпочтения пользователей, а также может рассуждать, классифицировать и идентифицировать пользователей, чтобы помочь системе лучше понять характеристики и категории пользователей, понять потребности и задачи пользователей и лучше реализовать функции, требуемые пользователями.
В основном существуют следующие типы входных данных для системы рекомендаций : атрибуты пользователя; информация, введенная пользователем вручную; поведение пользователя при просмотре и содержимое при просмотре и атрибутивные характеристики рекомендуемых объектов [4].
Существует два способа получения входных данных модели: явный и неявный.
Метод явного получения интересов и предпочтений представляет собой простой и понятный подход, который может относительно точно отражать потребности пользователей. В то же время получаемая информация является более конкретной, всеобъемлющей и объективной, а результаты часто более надежными. Недостатком этого метода является то, что трудно получить практические результаты, основная причина заключается в том, что немногие пользователи готовы тратить время или не желают выражать свои предпочтения системе. Кроме того, этот метод обладает низкой гибкостью. Когда меняется тема, представляющая интерес для пользователя, необходимо вручную изменять интерес пользователя к системе и возникают многие другие проблемы, что затрудняет гарантию работоспособности этого метода в режиме
реального времени.
Метод неявного сбора относится к способности системы отслеживать поведение пользователя и получать пользовательские интересы и предпочтения посредством рассуждений, поскольку многие действия пользователя могут указывать на пользовательские предпочтения, такие как запросы, просмотр страниц и статей, пометка закладок, предоставление обратной связи, щелчок мыши и т.д. Недостатком этого метода является то, что результаты отслеживания могут неверно отражать интересы и предпочтения пользователя. В то же время, если система чрезмерно отслеживает историю пользователя, иногда это может вызвать у пользователей недовольство и отказ от использования текущей системы рекомендаций.
Рекомендуемое объектное моделирование
Рекомендуемые объекты в системе рекомендаций включают множество полей, таких как газеты, новости, научные и технологические документы, электронные письма и мультимедийные ресурсы, такие как музыка и фильмы. Разные объекты имеют разные характеристики. В настоящее время не существует единого стандарта для унифицированного описания. Существует два основных типа методов: методы, основанные на содержании, и методы, основанные на классификации.
Метод, основанный на содержании, заключается в извлечении информации из самого объекта для представления объекта. Наиболее широко используемым методом является использование взвешенных векторов ключевых слов. Этот метод позволяет получить векторы признаков документа путем статистического анализа набора документов. После завершения выбора объектов документа необходимо рассчитать веса каждого объекта. объекты с большим весом оказывают большее влияние на рекомендуемые результаты. Наиболее широко используемым методом является метод TFIDF.
Метод, основанный на классификации, заключается в том, чтобы распределить рекомендуемые объекты по разным категориям, чтобы вы могли
Рекомендовать аналогичные документы пользователям, которые
заинтересованы в таких документах. Существует множество методов классификации текста, таких как Наивный байесовский классификатор, метод К-ближайших соседей (КЫЫ) и метод опорных векторов (SVM).
Алгоритмы рекомендаций
Алгоритм рекомендаций (или стратегия рекомендаций) является наиболее центральной и важной частью всей рекомендательной системы, которая в значительной степени определяет тип и производительность системы рекомендаций. Популярные стратегии рекомендаций в основном включают следующее: рекомендации на основе контента, рекомендации по совместной фильтрации, и рекомендация, основанная на методе анализа социальных сетей. Ниже будут представлены различные стратегии рекомендаций и их преимущества и недостатки.
Рекомендация на основе содержимого сначала извлекает характеристики содержимого рекомендуемого объекта и соответствует интересам и предпочтениям пользователя в пользовательской модели. Рекомендуемый объект с высокой степенью соответствия может быть рекомендован пользователю в качестве результата рекомендации [5]. Существует много способов вычисления подобия, наиболее популярным из которых является косинусное подобие. Формула выглядит следующим образом :
Преимущества рекомендаций, основанных на содержании, заключаются в следующе :
• простые и эффективные, рекомендуемые результаты интуитивно понятны, легки для понимания и не требуют знаний предметной области;
• никаких исторических данных пользователя не требуется, например, таких как оценка объекта;
• с недавно рекомендованными объектами проблем с холодным запуском не возникает;
и(с, я) = cos(Wc, Ж;) =
(1)
• проблемы с разреженностью данных нет.
Недостатки рекомендаций, основанных на содержании, заключаются в следующем :
• этот метод сильно ограничен возможностью извлечения функций рекомендуемого объекта;
• трудно увидеть новые рекомендуемые результаты;
• при появлении нового пользователя возникает проблема с холодным запуском;
• метод классификации содержимого рекомендуемого объекта требует большого объема данных.
Основная идея рекомендаций по совместной фильтрации основана на методах покупки товаров, выбора ресторана для посещения, выбора фильма для просмотра и т.д. Если многие друзья вокруг пользователя покупают определенный товар, то у пользователя будет большая вероятность выбрать этот товар. Или пользователям нравятся определенные типы продуктов, и когда они видят продукты, похожие на такие продукты, и другие пользователи высоко оценивают такие продукты, вероятность их покупки будет велика. Пользовательской моделью для совместной рекомендации является матрица оценки пользовательских элементов, как показано в таблице 1.
Таблица 1: Матрица оценок пользовательских объектов
Объект1 Объектк Объектп
Пользователь 1 ^1,1
Пользовательш ^т, 1
Рекомендации по совместной фильтрации обычно делятся на две категории: рекомендации на основе пользователей и рекомендации на основе товаров.
Совместная рекомендация на основе пользователя сначала найдёт
ближайшего соседа со схожими интересами и предпочтениями с целевым пользователем, а затем прогнозирует рейтинг целевого пользователя для не рейтингового рекомендуемого объекта на основе рейтинга рекомендуемого объекта его ближайшим соседом и выберет рекомендуемые объекты с наивысшим прогнозируемым баллом в качестве результата рекомендации.
Основная идея совместной рекомендации на основе объектов заключается в том, чтобы сначала найти ближайшего соседа целевого объекта. Поскольку рейтинг текущего пользователя ближайшего соседа аналогичен рейтингу целевого рекомендуемого объекта, можно предсказать рейтинг текущего пользователя целевого рекомендуемого объекта на основе текущего рейтинг пользователя ближайшего соседа, а затем выбрать целевые объекты с наивысшим прогнозируемым баллом в качестве результата рекомендации [6].
Преимущества совместной фильтрации :
• совместная фильтрация может быть применена к сложным неструктурированным объектам, таким как рекомендуемые объекты, такие как фильмы, музыка и изображения;
• хорош в обнаружении новых точек интереса для пользователей;
• для составления рекомендаций не требуется никаких профессиональных знаний;
• с увеличением числа пользователей эффективность его рекомендаций будет продолжать улучшаться.
Недостатки совместной фильтрации :
• существует проблема с холодным запуском - вновь введенные пользователи не могут получать рекомендации, потому что для них нет еще определенных интересов и предпочтений, а новые рекомендуемые товары не могут быть рекомендованы, потому что нет оценки пользователей; это и есть проблема холодного запуска.
• существует проблема разреженности данных;
• качество рекомендаций низкое в начале работы системы, и качество
рекомендаций зависит от набора исторических данных.
Рекомендация, основанная на методе анализа социальных сетей: когда пользователи покупают или просматривают информацию в интернете, они формируют связь между пользователями и продуктами, тем самым формируя связь в социальной сети. С помощью метода анализа социальных сетей можно исследовать корреляцию между узлами (между пользователями и пользователями или продуктами) и соответствующим образом давать рекомендации. Использовать взаимосвязь между узлами для вычисления степени доверия между узлами и используйте степень доверия между ними для выработки рекомендаций, которые могут дать более высокий эффект рекомендации, чем общие рекомендации для совместной работы.
Оценка эффективности системы рекомендаций
Оценка эффективности системы рекомендаций обычно измеряется двумя показателями: точностью рекомендации и эффективностью рекомендации.
Наиболее типичными показателями точности измерения являются средняя абсолютная погрешность (MAE) и среднеквадратичная погрешность (MSE), а также стандартная средняя погрешность (NMAE). Формулы их расчета выглядят следующим образом [7]:
МАЕ
п
-1Y
= IT / lPia — ria1
а=1
MSE =
1YlPia-ris12
П: ¿—I
NMAE = ■
МАЕ
у _ у
'max 'min
(2)
(3)
(4)
где n- количество продуктов, набранных пользователем i в системе; pia и ria- прогнозируемый балл и фактический балл соответственно; щ- это количество пар пользователь-продукт в системе. гтах и rmin - это минимальное и максимальное значения интервала подсчета очков пользователя
соответственно.
Коэффициент отзыва (recall) и коэффициент точности (precision) также могут использоваться для измерения точности рекомендаций. Коэффициент отзыва определяется как отношение продуктов, понравившихся пользователю в списке рекомендуемых, ко всем продуктам, понравившимся пользователю в системе. Коэффициент отзыва рассчитывается следующим образом [8] :
Коэффициент точности: продукты, которые нравятся пользователям в списке рекомендуемых, и все рекомендуемые продукты. Метод расчета коэффициента заключается в следующем :
р=ж (6)
где ЫГ5 - количество продуктов, которые нравятся пользователям в списке рекомендуемых, Ыг - количество всех продуктов, которые нравятся пользователям, а Ы5 - количество всех рекомендуемых продуктов.
Заключение
В этой статье проведен анализ традиционных моделей рекомендательных систем, а также сравнительный анализ обычно используемых в них методов обработки данных. Приведены их достоинства и недостатки. В целом, в области рекомендательных системы все еще остается много трудностей, которые необходимо решить. В будущих исследованиях рекомендательных систем выделяются следующие основные актуальные направления :
• исследование методов сбора предпочтений пользователей и методов извлечения признаков рекомендуемых объектов: исследователям необходимо найти более точные методы выражения признаков;
• исследование безопасности системы рекомендаций: рекомендательная система должна быть способна предотвращать утечку пользовательской информации и злонамеренную подделку пользовательских
данных [9];
• исследование систем рекомендаций, основанной на теории сложных сетей и графовых методах;
• исследование проблем разреженности данных и холодного запуска;
• исследование показателей оценки производительности рекомендательной системы: чувствительность пользователя к точности алгоритма, универсальность алгоритма для различных областей и обобщенные методы оценки качества - все это цели будущих исследований по оценке производительности рекомендательных систем.
Библиографический список:
1. Афанасьев Г.И., Абулкасимов М.М., Сурикова О.В. Алгоритмы оптимизации, используемые в нейронных сетях, и градиентный спуск // Аспирант и соискатель. 2019. № 6 (114). С.81- 86.
2. Галичий Д.А., Афанасьев Г.И., Нестеров Ю.Г., Распознавание эмоций человека при помощи современных глубокого обучения методов // E-SCIO. 2021. №5. С.317-331.
3. Aysun B., Burgul K., HybRecSys: Content-based contextual hybrid venue recommender system //Journal of Information Science. 2019. 45(2). P. 212226.
4. Manjulia W., Vivien P., Naomal D., et al. Selecting a text similarity measure for a content-based recommender system // The Electronic Library. 2019. 37(3). P.506-527.
5. Zhang Yulian, Wang Quan. User profile mining of combining Web behavior and content analysis //New Technology of Library and Information Service.2007 (6). P.52-55.
6. Duc Trong LE., Hady Wiravan Lauw, Yuan Fang. Correlation-Sensitive Next-Basket Recommendation //The 28th International Joint Conference on Artificial Intelligence. 2019. P. 2808-2814.
7. Sarwar B., Karypis G., Konstan J., et al. Item-based collaborative
filtering recommendation algorithms //Proceedings of the 10th International Conference on World Wide Web. New York. ACM Press. 2001. P. 285-295.
8. Yi Tay., Luu Anh Tuan., Siu Cheung Hui. Multi-Pointer Co-Attention Networks for Recommendation //The 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018. P. 2309-2318.
9. Shyong K. Lam., John Riedl. Shilling recommender systems for fun and profit// Proceedings of the 13th International Conference on World Wide. New York. ACM Press. 2004. P. 393-402.
