АНАЛИЗ ПРИМЕНИМОСТИ МЕТОДОВ ПРОГНОЗИРОВАНИЯ В СИСТЕМЕ ВЫБОРА ПЕРСОНАЛИЗИРОВАННЫХ ПРЕДЛОЖЕНИЙ ПУТЕМ АНАЛИТИЧЕСКОГО МОДЕЛИРОВАНИЯ Текст научной статьи по специальности «Компьютерные и информационные науки»

Вестник РУДН. Серия: Инженерные исследования RUDN Journal of Engineering Researches

2021;22(1):16-22 journals.rudn.ru/engineering-researches

DOI: 10.22363/2312-8143-2021-22-1-16-22 УДК 004.942

Научная статья / Research article

Анализ применимости методов прогнозирования в системе выбора персонализированных предложений путем аналитического моделирования

Ю.С. Федоренко

Московский государственный технический университет имени Н.Э. Баумана (национальный исследовательский университет), Российская Федерация, 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1 E-mail: fedyura11235@mail.ru

История статьи

Поступила в редакцию: 12 февраля 2021 г. Доработана: 24 апреля 2021 г. Принята к публикации: 11 мая 2021 г.

Ключевые слова: рекомендательная система, аналитическая модель, система массового обслуживания, время пребывания заявки, функция распределения, переполнение

Аннотация. Актуальность исследования обоснована частым возникновением необходимости решения задач выбора персонализированных предложений в информационных системах и множеством возможных методов машинного обучения, среди которых необходимо выбрать наиболее подходящий. Цель данного исследования — моделирование системы выбора персонализированных предложений как системы массового обслуживания для оценки затрат на оборудование при использовании каждого из методов, необходимых для обслуживания требуемой доли заявок за заданный лимит времени. При этом решается задача оценки минимального количества обслуживающих устройств (серверов подбора), необходимых для обеспечения работы системы на заданном уровне. В работе показано, что систему можно описать многоканальной системой массового обслуживания без отказов. Произведен расчет функции распределения времени пребывания заявки в системе (время обслуживания плюс время ожидания в очереди), так как в литературе для подобных систем описана только функция распределения времени ожидания в очереди. Приведены преобразования выражения вероятности ожидания в системе, решающие проблему переполнения при программной реализации вычисления данного выражения. В заключительной части в качестве примера произведено моделирование системы по заданным параметрам, сделана оценка минимального количества обслуживающих устройств для обеспечения заданного времени ответа системы. По полученным данным можно принять решение о целесообразности применения того или иного метода прогнозирования частоты кликов пользователя или ранжирования.

Для цитирования

Федоренко Ю.С. Анализ применимости методов прогнозирования в системе выбора персонализированных предложений путем аналитического моделирования // Вестник Российского университета дружбы народов. Серия: Инженерные исследования. 2021. Т. 22. № 1. С. 16-22. http://dx.doi.org/10.22363/2312-8143-2021-22-1-16-22

© OegopeHKO M.C., 2021

This work is licensed under a Creative Commons Attribution 4.0 International License https://creativecommons.Org/licenses/by/4.0/

Applicability analysis of prediction methods in the system for selection personalized offers by analytical modeling

Yuriy S. Fedorenko

Bauman Moscow State Technical University (National Research University of Technology), 5 2-ya Baumanskayа St, bldg 1, Moscow, 105005, Russian Federation E-mail: fedyura11235@mail.ru

Article history

Received: February 12, 2021 Revised: April 24, 2021 Accepted: May 11, 2021

Abstract. The relevance of the work is justified by the frequent occurrence of the need to solve the problems of choosing personalized offers in information systems and the many possible methods of machine learning, among which it is necessary to choose the most suitable one. The purpose of this study is to simulate a system for selecting personalized offers as a queuing system for estimating equipment costs when using each of the methods necessary to service the required part of requests for a given time limit. This solves the problem of assessing the minimum number of servicing devices (backend servers) required to ensure the operation of the system at a given level. The paper shows that the system can be described by a multichannel queuing system without losses. The distribution function of the spent time of the request in the system (the service time plus the waiting time in the queue) is calculated, since in the literature for such systems only the distribution function of the waiting time in the queue is described. Transformations of the expression for the probability of waiting are given, which solve the overflow problem in the software implementation. In the final part, as an example, the system was modeled according to the given parameters, and the minimum number of servicing devices was estimated to ensure a given system response time. Based on the data obtained, it is possible to make a decision on the advisability of using one or another method for predicting the frequency of user clicks or ranking. For citation

Fedorenko YuS. Applicability analysis of prediction methods in the system for selection personalized offers by analytical modeling. RUDN Journal of Engineering Researches. 2021;22(1):16-22. (In Russ.) http://dx.doi.org/10.22363/2312-8143-2021-22-1-16-22

\

Keywords: recommender system, analytical model, queueing system, mean waiting time, distribution function, overflow

Введение

В современных информационных системах все чаще возникает задача построения систем выбора персонализированных предложений. Это во многом связано с реализацией через интернет ряда товаров и услуг, откуда вытекает применение персонализации предложений для каждого пользователя в таргетиро-ванной рекламе и рекомендательных системах. Для решения подобных задач потенциально может быть применен целый спектр методов машинного обучения, таких как деревья решений, глубокие нейросети, метод опорных векторов, а также более специфичные под-

ходы, такие как логистическая регрессия с вручную конструируемыми признаками или специализированными модификациями нейросетей [1]. Однако далеко не все вышеперечисленные методы могут быть применены в конкретных системах с учетом их специфики. Одна из существенных проблем — это ограничение на время ответа системы, которое напрямую зависит от времени получения прогноза.

В качестве примера рассмотрим системы тарге-тированного показа рекламы. Среднее время ответа сервера по данным сервиса измерения скорости загрузки сайтов https://webo.in/ составляет 0,1 с у mail.ru и 0,15 с у yandex.ru. За ещё меньшее время должен

быть обработан запрос на подбор рекламы, но будем считать, что это тоже 0,1 с. Предположим, на разные этапы обработки запроса (за исключением получения прогноза) уходит около 0,01 с. Остальное может быть расходовано на получение прогноза частоты кликов (будем считать, что это 0,1 — 0,01 = 0,09 с). Допустим, что в среднем приходится осуществить выбор из 50 баннеров (т.е. получить 50 оценок). Тогда время прогнозирования частоты кликов для каждой пары пользователь-баннер должно составлять не более

0.09/50 = 1,8 • 10-3 с (параллельно рассчитывать оценки для каждой пары пользователь-баннер нецелесообразно, поскольку потоки сервера обычно заняты обработкой других запросов). Это накладывает ограничения на используемые методы прогнозирования.

В данной работе предложено моделировать систему выбора персонализированных предложений как систему массового обслуживания (СМО) для оценки применимости различных методов машинного обучения с точки зрения временных требований к системе.

1. Постановка задачи

Будем считать, что запросы на показ рекламы (заявки) поступают с одинаковой интенсивностью X. В таком случае поток заявок можно считать стационарным (вероятность появления определенного числа заявок на заданном интервале зависит только от продолжительности данного интервала), а сами заявки независимыми друг от друга (пользователи открывают страницы в интернете независимо друг от друга). Также будем предполагать, что на временном интервале достаточно малой длительности 5t приходит только 1 заявка. Следовательно, в рассматриваемой системе поток заявок является простейшим, а промежуток времени между двумя заявками имеет экспоненциальное распределение с параметром Л.

Таким образом, систему выбора персонализированных предложений можно рассматривать как многоканальную СМО без отказов (заявки не покидают очередь) с количеством обслуживающих устройств т. При этом имеется желательный лимит на суммарное время ожидания и обслуживания Т (время пребывания заявки в системе). При функционировании системы требуется,

чтобы доля необработанных за данное время запросов не превышала у от общего числа запросов. Требуется оценить минимальное количество обслуживающих устройств т (серверов подбора рекламы), необходимых для обеспечения работы системы на заданном уровне.

2. Аналитическая модель рекламной системы как системы массового обслуживания

Описанная выше СМО традиционно обозначается как М/М/т, время обслуживания заявки считаем распределенным по экспоненциальному закону с интенсивностью р (среднее время обслуживания равняется 1/р). Схема такой СМО представлена на рис. 1. Математическая модель данной СМО описана в литературе1. Воспользуемся данными результатами для анализа системы выбора персонализированных предложений. Будем рассматривать стационарный режим работы системы. Обозначим приведенную плотность потока заявок через а = -. Будем считать,

а ^ „ и

что — < 1, так как в противном случае рассматривать т

систему смысла не имеет.

Рис. 1. Схема СМО M/M/m Figure 1. M/M/m QS scheme

Вероятность того, что в системе нет ни одного запроса, равняется:

Чй

-ПТ + 1

-1

ml (т — а)

1 Каштанов В.А., Ивченко Г.И., Коваленко И.Н. Теория массового обслуживания: учебное пособие. Изд. 2-е, испр. и доп Книжныйдом ЛИБРОКОМ, 2012. 304 с.

Вероятность ожидания в системе pw равняется:

Po • am (2)

Pw

(m - 1)! (m - а)

(3)

Плотность распределения времени ожидания в такой системе равняется [3]:

* Г(Л _ ((1 - Ри,) ■ "о(О + Ри, ■ ("1 • ц - Я)е-«т t > 0; м ОД < о,

где и0(р) — импульсная функция в начале координат (она появляется для нормировки плотности распределения вероятности).

Плотность распределения для времени обслуживания традиционно равняется:

(4)

гпГ|1-е-'*,С > 0;

0, С < 0.

Требуется найти плотность распределения fq+s.

Плотность распределения случайной величины, равной сумме двух независимых случайных величин, рассчитывается по правилу свертки2: /.+00

= /,(«) • - (5)

J—oo

Возьмем данный интеграл для заданных плотностей распределения. Поскольку плотности распределения ^ и ^ имеют ненулевое значение только при положительных значениях аргумента (см. (3) и (4)), в выражении (5) ненулевое значение получается при и > О и t — и > 0. Следовательно, пределы интегрирования по ы следует изменить от 0 до t. Тогда получаем:

/,+»(0 = [ ((! - Риг) ■ +

■'О

+ р„ ■ (т ■ ц - • ц • е-№~иЧи =

= Г СС1 — Рп) ■ и0(и) ■ ц • е-^~иЧи +

■Iо

+ I Рп-Ыц- Х)е~и^т-^ • ц ■ е-^-^Ли. ■'о

Рассмотрим каждый интеграл в отдельности.

Г сс1 - ■ и0(и) • ц • =

•'о

= ц ■ (1 - [ и0(и)е-^-и^ йи = ■'о

= ц • (1 - Ри,) I ■ и0(1 - и)йи).

■'О

Последнее равенство верно в силу симметричности свертки функций. Согласно фильтрующему свойству дельта функции [3], /(1)и0(с0 - ь)с1ь = при а <Ь0<Ь. Следовательно:

ц • (1 - рш) • [ (е-*и ■ и0(С - и)йи) =

•'О

поскольку ' 0 < и < 1.

Рассмотрим второе слагаемое:

[ р„-(т-ц- Х)е~и(т ^) ■ ц • =

■'о

(т- ц-Х) ■ ц [ йи =

■>о

гЬ

(т- \1-Х) ■ е-и(Ся«-1)-и-*) =

■/п

= Pw ■

= Pw

Pw-Сш ц-X) (ie

(l _ e-t((m-l) n-X)^

Складывая оба полученных слагаемых, получаем, что плотность распределения времени пребывания заявки в системе равняется:

fq+s(.t) = ^l■(.l-PwУe-^t +

(т — 1) • ц — Л ^ }

- — "я)"

. EÜLL^LüZ^JJf e-tcm-ii-ад (m — 1) ■ ц — А

2 Печинкин А.В., Тескин О.И., Цветкова Г.М. Теория вероятностей: учеб. для вузов. 3-е изд., испр. / под ред. Зарубина В.С., Крищенко А.П. М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. 456 с.

Итого получаем, что плотность распределения времени ожидания и обслуживания равняется:

/,«(0 =

ц-е""* 1 +

Pw^ А Ри,-(»п-ц-Я)-|1 tfm.u_M

(m - 1) • [i - Л7 (ш - 1) ■ ц - X ,

0,t < О

t > О

Нетрудно проверить, что интеграл от данной функции по всем значениям t равняется 1. Для получения функции распределения данной случайной величины необходимо проинтегрировать ее плотность распределения:

^Ч+ДО = I /ч+ДиУи.

¿—со

Поскольку плотность распределения имеет ненулевое значение при положительном значении аргумента, получаем, что пределы интегрирования следует изменить от 0 до t. Кроме того, для краткости записи,

обозначим

PwV-

(m-l)-n-a.

через c. Тогда можно записать

= С/^Ши = Го ■ е-^ ■ (1 + с) -

¿0 ■'О

- с ■ (т • ц - Л) ■ е~и(-т ^)йи = = (1 + с) Г ц • е~*и<1и -

} о

- с ■ [ (т ■ ц- X) ■ е~и(-т <Ы = ■'о

= 1 - е-*1 • (1 + с) + с ■ е-(т-ц-яи_

Согласно требованиям модели, за заданный лимит времени Т должно быть обработано 1 - у запросов. Отсюда можно записать

- е~»т ■ (1 + с) + с • е-^~х>т.

После небольших преобразований получаем

е-т ч . (1 + с) - с ■ е-Г(п»-ц-ад < у

Соответственно, требуется определить, при каком минимальном значении т выполняется данное неравенство. Ясно, что получить аналитическое выражение для т через известные параметры не удастся, однако на основании полученных выражений можно составить график доли запросов Y, которые не успели обработаться за заданное время, от количества серверов т. Затем с его помощью можно оценить

необходимое число серверов для разной сложности модели прогнозирования.

Однако следует отметить, что при моделировании системы выбора персонализированных предложений параметры m и а принимают большие значения в несколько сотен, а то и тысяч (так как имеется минимум несколько десятков серверов, каждый из которых обрабатывает по паре десятков запросов). В результате вычисление ат и ш! приводит к переполнению. Например, в языке python при использовании экспоненциальной формы представления чисел максимальное значение порядка степени составляет 307—308, т.е. максимально возможное представимое число имеет порядок 10307-308. Однако, к примеру, даже 200200 = 10'°» 200 200 «10460, т.е. наступает переполнение. Решение этой проблемы с помощью специализированных библиотек для работы с большими числами также не есть хороший путь, поскольку будут возрастать погрешности, тем более при реальном моделировании системы выбора персонализированных предложений числа получаются ещё значительно больше и можно все равно получить значение, большее, чем максимально допустимое в библиотеке. По этой причине предлагается провести определенное преобразование формул (1) и (2). Изначально имеем:

Pw =

(т - 1)! (т - а)

V о =

(т - 1)! (т — а)

(уш а1 . «m+1 \

i! m\(m-a)J

Разделив числитель и знаменатель на ат, получим

Pw =

(т — 1)! (т — а)

(ут _1_ ,_«_V

\Г"=0 i! • am~l т! (т - a)J

Домножив числитель и знаменатель на т\, получим

т

Pw =

(т — а)

(ут т\ а V

\и=0 И ■ ат~1 (т- а))

(6)

Слагаемое в сумме можно вычислить следующим образом:

ml

т ■ (т - 1) • ... • (£ + 1)

m -1 множител ей

mm-1 £ + 1 а а " а '

При программной реализации модели такое выражение легко вычисляется в обычном цикле. Для суммирования достаточно написать еще один цикл. Таким образом, значение вероятности ожидания в системе pw предлагается вычислять по формулам (6) и (7).

3. Пример моделирования рекламной системы как системы массового обслуживания

В качестве примера оценим количество обслуживающих устройств (серверов подбора рекламы), необходимых для удовлетворительной работы системы. Будем рассматривать 3 модели прогнозирования [4]:

1. Логистическая регрессия с хешированием комбинаций признаков (lr);

2. Нейросеть, перебирающая пары признаков (nn2) [3];

3. Нейросеть, перебирающая тройки признаков (nn3) [3].

Зададим следующие значения параметров:

- À = 40000 запросов/с;

- ¿other = 0,01 с;

- tir = 0,0002x50 = 0,01 с;

- ¿пп2 = 0,00022x50 = 0,011 с;

- ¿ппЗ = 0,0003x50 = 0,015 с;

- V- = 1/(¿other + (fir I ¿пп21 ¿ппзУ) 1/с;

- T = 0,1 с.

Параметр X был рассчитан на основании данных из открытых источников [4] по аудитории крупнейших сайтов в РФ и по среднему количеству просматриваемых баннеров (для крупных проектов в интернете с миллионами пользователей эта цифра может достигать и сотен тысяч запросов в секунду).

Время, затрачиваемое на работу моделей tir, tnn2 , tnn3 , складывается из времени прогнозирования одного примера, умноженного на примерное число баннеров, из которых производится выбор (при моделировании будем считать, что это 50 баннеров). Время обслуживания складывается из времени, затрачиваемого на получение оценок для баннеров и прочие служебные операции ¿other . Интенсивность обслуживания ц обратно пропорциональна среднему времени обслуживания (обработки запроса). Будем считать, что для удовлетворительной работы системы выбора персонализированных пред-

ложений необходимо, чтобы не более 1 % запросов обрабатывались более времени Т = 0,1 с.

При моделировании изменялось количество обслуживающих устройств т и измерялось значение у—доли запросов, которые обрабатывались более времени Т. Результаты моделирования приведены на рис. 2.

Доля запросов, не успевших обработаться за 0.1 сек

*■■ Логистическая регрессия ■+— Нейросеть, тары признаков -*- Нейросеть, тройки+пары признаков

Я

К

-к-

800 825 850 875 900 925 950 975 1000 1025 1050 Количество обслуживающих устройств

Рис. 2. Результаты моделирования системы выбора персонализированных предложений как СМО

Part of requests, not processed in 0.1 seconds

Logistic regression Neural net, pairs of features - Neural net, pairs and triplets of fea

ures

i

800 825 850 875 900 925 950 975 1000 1025 1050 Number of service devices

Figure 2. Results of modeling the system for selecting personalized offers as a QS

По результатам моделирования видно, что 810— 815 обслуживающих устройств (около 82 серверов, обрабатывающих по 10 запросов одновременно) доста-

точно для обеспечения работы системы при использовании модели логистической регрессии (доля запросов, не успевших обработаться за 0,1 с, составляет около 0,7 %). При использовании нейросети с перебором пар признаков требуется 850—855 обслуживающих устройств (доля запросов, не успевших обработаться за 0,1 с, составляет около 0,9 %). При использовании модели нейросети с перебором троек признаков для стабильной работы требуется около 1020 обслуживающих устройств, но при этом доля запросов, не успевших обработаться за 0,1 с, все равно превышает лимит, составляя около 1,9 %). С учетом получаемой прибыли от работы каждой модели можно сделать вывод о целесообразности ее применения.

Заключение

Таким образом, предложенная в работе аналитическая модель системы выбора персонализированных предложений как СМО позволяет принимать решения относительно целесообразности использования того или иного алгоритма прогнозирования в системе. По результатам моделирования формируется картина затрат на оборудование при использовании каждой из моделей, необходимых для достижения целевого времени обработки заявок в системе (чтобы требуемая доля заявок была обслужена за заданный лимит времени). С учетом данных о прибыли системы при работе с каждой из моделей можно принять решение о том, какую модель стоит использовать на практике.

Список литературы

1. Fedorenko Y.S., Chernenkiy V.M., Gapanyuk Y.E. The Neural Network for Online Learning Task Without Manual Feature Extraction // Advances in Neural Networks. Cham: Springer, 2019. Vol. 11554. P. 67—77. http://dx.doi.org/10.1007/978-3-030-22796-8_8

2. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. Радио, 1977. 485 с.

3. Федоренко Ю.С. Проектирование быстрой программной реализации специализированной нейросетевой архитектуры с разреженными связями // Программные продукты и системы. 2019. № 4. С. 639—649. http://dx.doi. org/10.15827/0236-235X.128.639-649

4. Xinran H., Junfeng P., Ou J., Tianbing X., Bo L., Tao H. et al. Practical Lessons from Predicting Clicks on Ads at Face-book // Proceedings of the Eighth International Workshop on Data Mining for Online Advertising. New York, USA: ACM. 2014. P. 1—9. http://dx.doi.org/10.1145/2648584.2648589

References

1. Fedorenko YS, Chernenkiy VM, Gapanyuk YE. The Neural Network for Online Learning Task Without Manual Feature Extraction. Advances in Neural Networks. 2019; 11554:67—77. http://dx.doi.org/10.1007/978-3-030-22796-8_8

2. Tihonov VI, Mironov MA. Markovskie processy [Markov processes]. Moscow: Sovetskoe radio Publ.; 1977. (In Russ.)

3. Fedorenko YS. The development of fast software implementation of specialized neural network architecture with sparse connections. Software & Systems. 2019;32(4):639—649. (In Russ.) http://dx.doi.org/ 10.15827/0236-235X.128.639-649

4. Xinran H, Junfeng P, Ou J, Tianbing X, Bo L, Tao H et al. Practical Lessons from Predicting Clicks on Ads at Face-book. In: Proceedings of the Eighth International Workshop on Data Mining for Online Advertising. New York, USA: ACM Publ.; 2014. р. 1—9. http://dx.doi.org/10.1145/2648584.2648589

Сведения об авторе

Федоренко Юрий Сергеевич, соискатель, кафедра систем обработки информации и управления, факультет информатики и системы управления, Mny им. Н.Э. Баумана; eLIBRARY SPIN-код: 1755-4017, Scopus Id: 57192874789; е-mail: fedyura11235@mail.ru About the author

Yuriy S. Fedorenko, Degree Seeker at the Department of Informatics and Control Systems, Faculty of Computer Science and Management Systems, BMSTU; eLIBRARY SPIN-code: 1755-4017, Scopus Id: 57192874789; e-mail: fedyura11235@mail.ru