CC BY
15ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫЕ
ТЕХНОЛОГИИ INFORMATION-COMMUNICATION TECHNOLOGIES
Научная статья
УДК 004.021:004.043
doi:10.24151/1561-5405-2023-28-2-252-260
Алгоритм индексации объектов рекомендательной системы
7 17
М. С. Чипчагов , Е. И. Кублик , В. А. Попов
1 Финансовый университет при Правительстве Российской Федерации, г. Москва, Россия
2Военная академия ракетных войск стратегического назначения имени Петра Великого, г. Балашиха, Россия
MSChipchagov@fa.ru
Аннотация. Предпочтения пользователей системы электронной коммерции прогнозируют специальные рекомендательные алгоритмы, что облегчает принятие решения в выборе предлагаемого продукта. В основе системы электронной коммерции лежит вычислительная система, в которой принципы хранения информации не всегда согласованы с работой рекомендательных алгоритмов. В работе предложен алгоритм создания суррогатного ключа для индексации объектов рекомендательной системы с целью ускорения процесса выборки данных за счет уменьшения числа обращений к носителю информации и сокращения времени выполнения запроса. Ключ обеспечивает ранжирование продуктов на основе пользовательских предпочтений, что делает возможным последовательный доступ к данным и ускорение процесса загрузки самых востребованных товаров. Рассмотрены различные рекомендательные алгоритмы, которые работают со значительными объемами данных. Основными критериями выбора метода для построения суррогатного индекса являются его производительность и способность работать с множеством альтернатив и большим количеством показателей. Для ранжирования объектов рекомендации предложено использовать один из методов многокритериального принятия решений - TOPSIS.
Ключевые слова: суррогатный ключ, рекомендательные системы, алгоритм индексации
Для цитирования: Чипчагов М. С., Кублик Е. И., Попов В. А. Алгоритм индексации объектов рекомендательной системы // Изв. вузов. Электроника. 2023. Т. 28. № 2. С. 252-260. https://doi.org/10.24151/1561-5405-2023-28-2-252-260
© М. С. Чипчагов, Е. И. Кублик, В. А. Попов, 2023
Original article
Algorithm for indexing recommender system objects
M. S. Chipchagov1, E. I. Kublik1, V. A. Popov2
1Financial University under the Government of the Russian Federation, Moscow, Russia
Military Academy of the Strategic Missile Forces named after Peter the Great, Balashikha, Russia
MSChipchagov@fa.ru
Abstract. Special recommendation algorithms predict the preferences of e-commerce system users, which facilitate decision making in choosing the proposed product. At the core of the e-commerce system is a computing system in which the principles of information storage are not always optimized for the operation of recommender algorithms. In this work, an algorithm for creating a surrogate key for indexing recommender system objects by popularity level is proposed in order to speed up the data sampling process by reducing the number of accesses to the storage medium and the query runtime. The key ensures that products are ranked based on user preferences, which allows for consistent access to data and faster loading of the most requested products. Various recommender algorithms that work with significant amounts of data are considered. The main criteria for choosing a method for constructing a surrogate index are its performance and ability to work with many alternatives and a large number of indicators. It has been proposed to use one of the TOPSIS multi-criteria decision-making methods to rank recommendation objects.
Keywords, surrogate key, recommender system, indexing algorithm
For citation. Chipchagov M. S., Kublik E. I., Popov V. A. Algorithm for indexing recommender system objects. Proc. Univ. Electronics, 2023, vol. 28, no. 2, pp. 252-260. https,//doi.org/ 10.24151/1561-5405-2023-28-2-252-260
Введение. Цифровизация общественных отношений оказывает влияние на рост онлайн-предприятий, особенно электронной коммерции, предоставляющих широкий выбор товаров и услуг потребителю. Огромное разнообразие продуктов одновременно привлекает и дезориентирует пользователей подобных систем. Прогнозируя предпочтения потребителей, рекомендательные алгоритмы облегчают принятие решения при выборе товара или услуги. Главная задача любой рекомендательной системы - информирование пользователей о продуктах. При этом рекомендации могут быть персонализированными и неперсонализированными. Неперсонализированные рекомендации предназначены для сообществ и групп людей. Персонализированные рекомендации прогнозируют предпочтения для каждого отдельного пользователя системы.
Коллаборативная фильтрация является одним из наиболее известных персонализо-рованных методов рекомендаций. Основной принцип этого метода заключается в нахождении для пользователя такого продукта, который нравится похожим на него пользователям системы. Классический алгоритм коллаборативной фильтрации, основанный
на оценке близости пользователей (user-based), состоит из трех этапов. На первом этапе определяется подобие между активным пользователем и всеми пользователями системы. На втором этапе выбираются «пользователи-соседи», которые по своим оценкам наиболее похожи на активного пользователя. На третьем этапе рассчитывается прогноз оценок пользователя для неизвестных ему товаров с учетом весов и оценок «пользователей-соседей» [1]. Другим вариантом коллаборативной фильтрации является модель, основанная на оценке близости объектов рекомендации (item-based). Здесь алгоритм рассчитывает близость товаров, а не пользователей. Данный подход является естественной альтернативой подходу, основанному на оценке близости пользователей.
Одной из альтернатив коллаборативной фильтрации являются рекомендательные алгоритмы, основанные на контенте (content-based filtering). Рекомендательные системы на основе контента опираются на предположение о постоянстве предпочтений пользователя. Задача таких систем сводится к нахождению объектов, похожих на продукты, которые пользователь уже когда-то выбирал, или относящихся к предпочитаемым категориям товаров.
На практике чаще используется гибридный подход (hybrid recommender system), который объединяет различные алгоритмы рекомендаций. Использование одновременно нескольких рекомендательных алгоритмов позволяет достичь более высокой точности рекомендаций [2].
Независимо от выбранного метода в центре любой рекомендательной системы в обобщенном виде находится матрица предпочтений. По одной из осей этой матрицы отложены все пользователи системы, а по другой - объекты рекомендаций. Матрица заполнена оценками заинтересованности пользователя в объекте, нормированными и выраженными по некоторой шкале. Именно эти данные становятся основой в предсказании предпочтений пользователя системы.
Создание алгоритма индексирования объектов рекомендательной системы. Проблема, с которой приходится сталкиваться онлайн-сервисам и системам электронной коммерции, использующим рекомендательные алгоритмы, заключается в разобщенности и несогласованности работы алгоритмов построения рекомендаций и принципов хранения данных о товарах. На рис. 1, а показана общая схема процесса выборки объектов рекомендаций.
Рис. 1. Схемы процесса выборки объектов рекомендаций (а) и индексированных объектов
рекомендаций(б)
Fig. 1. Diagrams of the recommendation objects (a) and indexed recommendation objects (b)
sampling process
Каждому пользователю предназначены свои рекомендации, и задача стоит в минимизации времени выборки данных о предлагаемом продукте. Известно, что одним из методов ускорения процесса извлечения данных является их индексация. Цель использования индексов - ускорение процесса выборки данных за счет уменьшения числа обращений к носителю информации. Одним из показателей эффективности индексируемого значения данных является его кардинальность. Чем выше кардинальность индексируемого значения, тем меньше потенциальный объем операций ввода-вывода для получения результирующих данных запроса. Эффективными считаются индексы по целочисленным значениям. Они позволяют применять древовидные структуры хранения, например B-деревья, обеспечивающие высокую доступность больших объемов данных [3-5].
Вначале для каждого пользователя рекомендательные алгоритмы формулируют предпочтения о перечне товаров. Далее идет поиск информации об этих продуктах в системе хранения данных, которая представляется пользователю в виде рекомендаций. Это происходит для каждого пользователя в системе. Если объем данных о товарах в системе значителен, то поиск рекомендуемых товаров превращается в ресурсоемкий процесс. Необходимо адаптировать структуру хранения данных под запросы рекомендательной системы. Если рассматривать глобально всех пользователей системы и весь набор объектов рекомендаций, то логично предположить, что есть товары, которые пользуются большим спросом, чем все остальные. Предварительное кеширование таких товаров сократит время выгрузки данных о рекомендациях. Для решения этой задачи необходимо ранжировать все предлагаемые в системе товары по степени их предпочтения с точки зрения рекомендательной системы. Активность пользователей системы, выраженная в их рейтинге, также влияет на общую популярность товаров.
Рассмотрим вариант создания суррогатного товарного индекса на основе рекомендаций, отражающих рейтинг пользователей и товаров в системе. Общая схема выборки индексированных объектов рекомендаций представлена на рис. 1, б. Рекомендательные системы онлайн-предприятий часто работают со значительными объемами данных, поэтому основными критериями выбора метода ранжирования объектов рекомендаций для построения суррогатного индекса являются его производительность и способность работать с большим числом альтернатив и показателей. К хорошо известным методам многокритериального ранжирования альтернатив относятся метод анализа иерархий, TOPSIS, VIKOR, ELECTRE [6] и др.
Метод анализа иерархий является одним из эффективных, однако трудозатратных методов ранжирования альтернатив. Суть метода состоит в многократном попарном сравнении выбранного показателя всех альтернатив.
TOPSIS - метод, разработанный для решения многокритериальных задач [7]. Метод заключается в поиске альтернатив, значения показателей которых наиболее близки к идеально-позитивному решению и максимально удалены от идеально-негативного решения.
Метод VIKOR применяется для ранжирования альтернатив с несоизмеримыми признаками. Суть метода сводится к нахождению компромисса, наиболее близкого решения к идеальному по всем критериям.
ELECTRE - семейство методов многокритериального принятия решений. В основе методов - парное сравнение альтернатив с подсчетом двух индексов: согласия и несогласия. Эти индексы определяют согласие и несогласие с гипотезой, что одна альтернатива превосходит другую альтернативу. Задаются уровни, с которыми сравниваются подсчитанные индексы для каждой пары альтернатив. Из множества альтернатив уда-
ляются доминируемые альтернативы, и далее продолжается сравнение с измененными значениями уровней. Модификации методов ELECTRE отличаются способами расчета индексов согласия и несогласия.
Как показывают проведенные исследования [8-10], для задачи ранжирования большого количества альтернатив со значительным числом показателей достаточно эффективным является метод TOPSIS. Создание суррогатного индекса на основе рекомендаций - это тот случай, когда вариации альтернатив и их признаков очень велики.
Пусть U = (u) - множество пользователей системы, A = (о,-) - множество объектов рекомендаций, X = (x-) - матрица предпочтений. Алгоритм создания суррогатного индекса методом TOPSIS можно представить в виде следующих шагов:
Шаг 1. Заполнение матрицы X нормализованными оценками интереса пользователей к объектам рекомендаций (табл. 1).
Шаг 2. Построение матрицы взвешенных оценок P = (wi x-) = (pij), где wi g [0, 1] -вес пользователя системы (табл. 2).
Шаг 3. Нахождение идеально-позитивных и идеально-негативных решений (табл. 3):
A+ = (maxp- |j g J), J = 1, 2, 3, ..., n, A- = (minp- | j g J), J = 1, 2, 3, ..., n.
Шаг 4. Расчет расстояний от альтернатив до идеально-позитивных (табл. 4) и идеально-негативных (табл. 5) решений:
s;(p., - p; )2. s-=,Е (p., - pj )'■
Шаг 5. Вычисление сходства с идеально-позитивным решением (табл. 6):
S-
с ;=■
j
s, ;sj
Шаг 6. Создание суррогатного индекса на основе ранжирования альтернатив (табл. 7).
Таблица 1
Матрица предпочтений
Table 1
Preference matrix
A1 A2 A3 A4 A5 A6 A7 A8
U1 0,8 0,6 0 0,6 0 0,2 0,4 0,2
U2 0 0 0,8 0,4 0,4 0,8 0 0,4
U3 0,4 0 1 0,8 1 0 0,6 0,6
U4 0,6 0 0,8 0 1 0 0,4 0,8
U5 0,2 0,4 1 0 0,8 0,6 0,8 0
U6 0 0,8 0,8 0 0 0,2 1 1
U7 0,2 0,2 0,6 0,2 0,2 0,2 0,2 0,2
Таблица 2
Матрица взвешенных оценок
Table 2
Matrix of weighted estimates
w A1 A2 A3 A4 A5 A6 A7 A8
U1 0,143 0,1143 0,0857 0 0,0857 0 0,0286 0,0571 0,0286
U2 0,143 0 0 0,1143 0,0571 0,0571 0,1143 0 0,0571
U3 0,143 0,0571 0 0,1429 0,1143 0,1429 0 0,0857 0,0857
U4 0,143 0,0857 0 0,1143 0 0,1429 0 0,0571 0,1143
U5 0,143 0,0286 0,0571 0,1429 0 0,1143 0,0857 0,1143 0
U6 0,143 0 0,1143 0,1143 0 0 0,0286 0,1429 0,1429
U7 0,143 0,0286 0,0286 0,0857 0,0286 0,0286 0,0286 0,0286 0,0286
Примечание, вес пользователей одинаковый.
Таблица 3
Идеально-позитивные и идеально-негативные решения
Table 3
Ideal-positive and ideal-negative solutions
A+ A-
U1 0,1143 0
U2 0,1143 0
U3 0,1429 0
U4 0,1429 0
U5 0,1429 0
U6 0,1429 0
U7 0,0857 0,0286
Таблица 4
Расстояние до идеально-позитивных решений
Table 4
Distance to ideal-positive solutions
A1 A2 A3 A4 A5 A6 A7 A8
0,2458 0,2571 0,1212 0,2634 0,2020 0,2603 0,1761 0,1959
Таблица 5
Расстояние до идеально-негативных решений
Table 5
Distance to ideal-negative solutions
A1 A2 A3 A4 A5 A6 A7 A8
0,2458 0,2571 0,1212 0,2634 0,2020 0,2603 0,1761 0,1959
Таблица 6
Сходство с идеально-позитивным решением
Table 6
Similarity to ideal-positive solution
A1 A2 A3 A4 A5 A6 A7 A8
C+ 0,3890 0,3744 0,7042 0,3687 0,5420 0,3632 0,5527 0,5196
Таблица 7
Значения суррогатного ключа
Table 7
Surrogate key values
A1 A2 A3 A4 A5 A6 A7 A8
C+ Key 0,3890 6 0,3744 7 0,7042 1 0,3687 8 0,5420 3 0,3632 9 0,5527 2 0,5196 4
Экспериментальная оценка работоспособности алгоритма проведена на открытом наборе данных для изучения рекомендательных систем MovieLens 25M Dataset [11]. Набор данных содержит 25 млн оценок 162 тыс. пользователей для более чем 62 тыс. фильмов, созданных с 1995 по 2019 г. Характеристики аппаратно-программной платформы: CPU - Intel Xeon E5 2678 v3; RAM - 32Gb DDR4; ROM - 1 Tb; ОС - Ubuntu Server 22.04 LTS. В качестве хранилища данных об объектах классификации выбрана документо-ориентированная СУБД MongoDB (версия 5.3). Под каждый фильм из набора данных сформирован отдельный документ коллекции MongoDB. Итоговый объем коллекции составил 62 423 документа.
На основе набора данных оценок пользователей сформирована матрица предпочтений. Пользователи MovieLens не имеют дифференциации, поэтому в эксперименте их вес принят одинаковым. В результате работы алгоритма получен список значений суррогатного ключа для каждого объекта рекомендаций. Суррогатный ключ назначен в качестве кластерного индекса в документах кластерной коллекции MongoDB.
Эксперимент проведен с двумя коллекциями: с кластерным индексом (collectionMoviesIndexed) и без кластерного индекса (collectionMovies). Суть эксперимента - сравнение скорости выполнения запросов выборки документов из базы для пользователей в качестве объектов рекомендаций методом перебора коллекции. На рис. 2 показаны средние значения времени обработки запросов на выборку документов.
Эксперимент показал, что время выполнения запроса зависит от количества выбираемых документов и у кластерной коллекции оно существенно ниже. Замеры проводили для 20 случайных пользователей рекомендательной системы, для которых поочередно выбирали из базы данных от 2 до 100 документов.
Заключение. Предложенный алгоритм создания суррогатного ключа для индексации объектов рекомендательной системы на основе метода TOPSIS позволяет ранжировать товары в системе по уровню их популярности с учетом рейтинга потребителей. Созданный суррогатный ключ снижает время выполнения запроса пользователя и повышает эффективность работы рекомендательной системы.
Материалы статьи доложены на Всероссийской межведомственной научно-технической конференции по теоретическим и прикладным проблемам развития и совершенствования автоматизированных систем управления и связи «Наука и АСУС - 2022» (20 октября 2022 г., Россия, г. Москва, г. Зеленоград).
0 2 5 10 15 30 50 100 Количество выбираемых документов
Рис. 2. График времени выполнения запросов:
- коллекция с кластерным индексом;
---без кластерного индекса
Fig. 2. The graph of query execution time:-
collectionMoviesIndexed;---collectionMovies
Литература
1. Aggarwal C. C. Recommender systems: the textbook. Cham: Springer, 2016. XXI, 498 p. https://doi.org/10.1007/978-3-319-29659-3
2. Recommender systems handbook / eds F. Ricci, L. Rokach, B. Shapira. 2nd ed. New York: Springer, 2015. XVII, 1003 p. https://doi.org/10.1007/978-1-4899-7637-6
3. Garcia-Molina H., Ullman J. D., Widom J. Database systems: the complete book. 2nd ed. Upper Saddle River, NJ: Pearson Prentice Hall, 2008. 1248 p.
4. Ахо А. В., Хопкрофт Дж. Э., Ульман Дж. Д. Структуры данных и алгоритмы. М.: Диалектика-Вильямс, 2019. 400 с.
5. Петров А. Распределенные данные: Алгоритмы работы современных систем хранения информации / пер. с англ. А. Коцюбы. СПб.: Питер, 2021. 336 с.
6. Thakkar J. J. Multi-criteria decision making. Singapore: Springer Nature, 2021. XVII, 390 p. https://doi.org/10.1007/978-981-33-4745-8
7. Hwang C.-L., Yoon K. Multiple attribute decision making: Methods and applications. Berlin, Heidelberg: Springer, 1981. XI, 269 p. https://doi.org/10.1007/978-3-642-48318-9
8. Hezer S., Gelmez E, Ozceylan E. Comparative analysis of TOPSIS, VIKOR and COPRAS methods for the COVID-19 regional safety assessment // J. Infect. Public Health. 2021. Vol. 14. Iss. 6. P. 775-786. https://doi.org/10.1016/j.jiph.2021.03.003
9. Клевец Н. И. Сравнительный анализ методов многокритериального ранжирования альтернатив // Научный вестник: финансы, банки, инвестиции. 2018. № 2 (43). С. 153-163.
10. Yalcin A. S., Kilic H. S., Delen D. The use of multi-criteria decision-making methods in business analytics: A comprehensive literature review // Technological Forecasting and Social Change. 2022. Vol. 174. Art. No. 121193. https://doi.org/10.1016/j .techfore.2021.121193
11. Vig J., Sen Sh., Riedl J. The tag genome: Encoding community knowledge to support novel interaction // ACM Trans. Interact. Intell. Syst. 2012. Vol. 2. Iss. 3. Art. No. 13. https://doi.org/10.1145/ 2362394.2362395
Статья поступила в редакцию 04.10.2022 г.; одобрена после рецензирования 19.12.2022 г.;
принята к публикации 06.02.2023 г.
Информация об авторах
Чипчагов Михаил Сергеевич - кандидат технических наук, доцент Департамента анализа данных и машинного обучения Финансового университета при Правительстве Российской Федерации (Россия, 125993, г. Москва, Ленинградский пр-т, 49), MSChipchagov@fa.ru
Кублик Евгений Ильич - кандидат технических наук, доцент Департамента анализа данных и машинного обучения Финансового университета при Правительстве Российской Федерации (Россия, 125993, г. Москва, Ленинградский пр-т, 49), EIKublik@fa.ru
Попов Владимир Александрович - адъюнкт кафедры автоматизированных систем обработки информации специального назначения Военной академии ракетных войск стратегического назначения имени Петра Великого (Россия, 143900, Московская обл., г. Балашиха, ул. Карбышева, 8), spam@vpopov.su
References
1. Aggarwal C. C. Recommender systems, the textbook. Cham, Springer, 2016. xxi, 498 p. https://doi.org/ 10.1007/978-3-319-29659-3
2. Ricci F., Rokach L., Shapira B., eds. Recommender systems handbook. 2nd ed. New York, Springer, 2015. xvii, 1003 p. https://doi.org/10.1007/978-1-4899-7637-6
3. Garcia-Molina H., Ullman J. D., Widom J. Database systems: the complete book. 2nd ed. Upper Saddle River, NJ, Pearson Prentice Hall, 2008. 1248 p.
4. Aho A. W., Hopcroft J. E., Ullman J. D. Data structures and algorithms. 1st ed. Upper Saddle River, NJ, Pearson, 1983. 448 p.
5. Petrov A. Database internals: A deep dive into how distributed data systems work. Beijing, Boston, Sebastopol, O'Reilly Media, 2019. 370 p.
6. Thakkar J. J. Multi-criteria decision making. Singapore, Springer Nature, 2021. xvii, 390 p. https://doi.org/10.1007/978-981-33-4745-8
7. Hwang C.-L., Yoon K. Multiple attribute decision making: Methods and applications. Berlin, Heidelberg, Springer, 1981. xi, 269 p. https://doi.org/10.1007/978-3-642-48318-9
8. Hezer S., Gelmez E., Ozceylan E. Comparative analysis of TOPSIS, VIKOR and COPRAS methods for the COVID-19 regional safety assessment. J. Infect. Public Health, 2021, vol. 14, iss. 6, pp. 775-786. https://doi.org/10.1016/jjiph.2021.03.003
9. Klevets N. I. Comparative analysis of methods for multy-criteria ranking of alternatives. Nauchnyy vestnik: finansy, banki, investitsii = Scientific Bulletin: finance, banking, investment, 2018, no. 2 (43), pp. 153163. (In Russian).
10. Yalcin A. S., Kilic H. S., Delen D. The use of multi-criteria decision-making methods in business analytics: A comprehensive literature review. Technological Forecasting and Social Change, 2022, vol. 174, art. no. 121193. https://doi.org/10.1016/j .techfore.2021.121193
11. Vig J., Sen Sh., Riedl J. The tag genome: Encoding community knowledge to support novel interaction. ACM Trans. Interact. Intell. Syst., 2012, vol. 2, iss. 3, art. no. 13. https://doi.org/10.1145/2362394.2362395.
The article was submitted 14.12.2022; approved after reviewing 19.12.2022;
accepted for publication 06.02.2023.
Information about the authors
Mihail S. Chipchagov - Cand. Sci. (Eng.), Assoc. Prof. of the Data Analysis and Machine Learning Department, Financial University under the Government of the Russian Federation (Russia, 125993, Moscow, Leningradsky ave., 49), MSChipchagov@fa.ru
Evgeny I. Kublik - Cand. Sci. (Eng.), Assoc. Prof. of the Data Analysis and Machine Learning Department, Financial University under the Government of the Russian Federation (Russia, 125993, Moscow, Leningradsky ave., 49), EIKublik@fa.ru
Vladimir A. Popov - Adjunct of the Automated Information Processing Systems for Special Purposes Department, Military Academy of Strategic Missile Forces named after Peter the Great (Russia, 143900, Moscow region, Balashikha, Karbyshev st., 8), spam@vpopov.su
Информация для читателей журнала «Известия высших учебных заведений. Электроника»
С тематическими указателями статей за 1996 - 2022 гг., аннотациями и содержанием последних номеров на русском и английском языках можно ознакомиться на сайте:
http://ivuz-e.ru
