CC BY
23
18. Gladkov L.A., Kureichik V.V., Kravchenko Y.A. Evolutionary algorithm for extremal subsets comprehension in graphs, World Applied Sciences Journal, 2013, Vol. 27, No. 9, pp. 1212-1217.
19. Polkovnikova N.A., Kureichik V.M. Hybrid Expert System Development Using Computer-Aided Software Engineering Tools, Communications in Computer and Information Science, 466 CCIS, 2014, pp. 433-445.
20. Gudilov V., Kureichik V. Evolutional synthesis with incomplete information, Life Science Journal, 11 (10 SPEC. ISSUE), art. no. 68, 2014, pp. 359-363.
Статью рекомендовал к опубликованию д.т.н., профессор Ю.А. Гатчин.
Запорожец Дмитрий Юрьевич - Южный федеральный университет; e-mail: elpilasgsm@gmail.com; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 88634371651; кафедра систем автоматизированного проектирования; доцент.
Заруба Дарья Викторовна - e-mail: daria.zaruba@gmail.com; кафедра систем автоматизированного проектирования; ассистент.
Zaporoghetz Dmitri Yurievich - Southern Federal University; e-mail: elpilasgsm@gmail.com; 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +78634371651; the department of computer aided design; associate professor.
Zaruba Darya Viktorovna - e-mail: daria.zaruba@gmail.com; the department of computer aided design; assistant.
УДК 004.032.26 DOI 10.23683/2311-3103-2018-4-145-153
М.В. Сычугов
МОДЕЛИРОВАНИЕ ПРОГНОЗА МЕТРИКИ УДЕРЖАНИЯ ПОЛЬЗОВАТЕЛЕЙ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ
Данная статья посвящена решению проблемы моделирования прогноза метрики удержания в области мобильной разработки, где возникла острая необходимость своевременное иметь данные в какой момент времени пользователи уходят из приложения для принятия мер по увеличению времени жизни и уровня монетизационных показателей. Так как в большинстве приложений значительный отток пользователей случается в начальном интервале времени пользования, то своевременное упреждение узких мест в приложении является полезным как в коммерческом плане, так и для исследования пользовательского поведения, которое в свою очередь позволит разрабатывать более рентабельный продукт. Цель работы состоит в разработке модели прогнозирования метрик достаточно близких к реальным показателям. Предложенная модель на основе нейронной сети, обученной методом обратного распространения ошибки, предоставляет возможность прогнозировать различные временные периоды по отношению к числу оставшихся пользователей в приложении. Метод обратного распространения ошибки выбран из-за его достаточной эффективности и высоко-адаптируемой архитектуры с произвольным числом слоёв, входов и выходов. Научная новизна представлена комбинированием нейронных сетей с эвристиками на основе ключевых категорий данных. Эти данные представляют собой сегментацию мобильных пользователей на различные категории, которые позволяют уловить их аспекты поведения для более адаптируемого прогноза удержания разных целевых групп. Результаты прогноза приведены для разных временных интервалов, характерных для использования мобильного приложения.
Нейронные сети; метод обратного распространения ошибки; удержание мобильных пользователей; системы прогноза; временные ряды.
M.V. Sychugov
MODELING THE PREDICTION OF THE USER RETENTION METRICS BASED ON NEURAL NETWORKS
This article is devoted to solving the problems of modelling the prediction of retention metrics in the field of mobile development, where you need to have data at what time users leave the application for the purpose of taking measures to increase the lifetime and level of monetization indicators. Since in most applications, significant user churn happens in the initial time interval of use, so the timely solution of problems in the application is useful both in commercial terms and for the study of user behavior, which in turn will allow developing a more cost-effective product. The aim of the work is to develop a model for predicting metrics that are fairly close to real indicators. The proposed model based on a neural network trained in the back-propagation method provides the ability to predict different time periods relative to the number of remaining users in the application. The backpropagation method is chosen because of its sufficient efficiency and highly adaptable architecture with an arbitrary number of layers, inputs and outputs. Scientific novelty is represented by combining neural networks with heuristics based on key data categories. These data represent the segmentation of mobile users into various categories, which allow them to capture aspects of their behavior for a more adaptable perdiction of retention of different target groups. The results of the prediction are given for different time intervals typical for the given mobile application use.
Neural networks; method of back propagation; retention of mobile users; predicting systems; time series.
Введение. Моделирование прогноза для исследования поведения пользователей стало обычным явлением в индустрии мобильных приложений. Поскольку многие компании в индустрии мобильных приложений имеют довольно небольшие возможности, они не могут позволить себе собственную аналитику. Поэтому крайне важно определить простые, экономные, но эффективные модели прогнозирования для общедоступности основных преимуществ интеллектуальной аналитики, которые понесут ценность для компаний, независимо от их размера и баланса наличности. Это особенно важно когда приложение только что запущенно и существует определенный ряд модификаций, которые должны быть реализованы и требуют дополнительных финансовых вложений. Здесь аналитика и прогноз по взаимодействию пользователей с продуктом принципиально полезны для осознания того стоит ли заниматься дальнейшим развитием приложения или стоит прекратить поддержку проекта из-за его потенциальной неокупаемости.
1. Прогнозирование удержания пользователей. Удержание (Retention) - это ключевая характеристика, на которую опираются аналитики и разработчик при запуске приложения на рынок. Она представляет собой численную величину (как правило, выраженную в процентах), говорящую о количестве пользователей, которые остаются активными спустя некоторое время после первого использования продукта. По ней можно судить на сколько пользователем интересен продукт и какой он может иметь монетизационный потенциал. У метрики удержания существуют разные типы, которые характеризуются разными формулами подсчета и разными целями применения. Но все они поддаются анализу и прогнозу. Приведем некоторые из них.
Классическое удержание определяет пропорцию пользователей, которые возвращается в приложение на D+N (где D - день одного из трех показателей, а N - выбранный день). Эта формула подсчета удержания является самой популярной и распространенной. Она показывает суммарный уровень удержания приложения;
Полное удержание определяет пропорцию пользователей, которые возвращаются каждый день в приложение до D+N. Показывает уровень вовлеченности пользователей в приложение. Является редко используемой формулой подсчета, так как не в каждом приложении имеются пользователи ежедневно заходившие в приложение на протяжении 28 дней;
Возвратное удержание определяет пропорцию пользователей, которые возвращаются в приложение минимум один раз на протяжении N дней. Дает представление о том, как много людей не бросают использование приложения после первого запуска;
Диапазонное удержание определяет пропорцию пользователей, которые возвращаются в приложение хотя бы раз на протяжении периода М-N. Данная метрика может ведет к пониманию, того какие существую типы поведения пользователей в приложении.
Скользящее удержание определяет пропорцию пользователей, которые возвращаются в приложение на D+N и любой день после. Применяется для определения показателя оттока или текучести пользователей;
Отток (Churn) определяет пропорцию ушедших пользователи из приложения за данный промежуток времени. К примеру, при показателе оттока равен в 10 %, можно судить, что ежемесячно активная пользовательская база сокращается на 10 % и в соответствии с ними доходы, приносимые приложением.
Для того чтобы уловить определённые аспекты поведения пользователей, которые могут быть полезны для прогноза удержания необходимо извлечь общие данные (признаки) характерные для большинства мобильных приложений. Эти данные можно условно сгруппировать по четырем категориям: данные телеметрии, мета данные, временные данные и композитные.
В первой категории имеется набор агрегированных функций, определяющих основные аспекты пользования приложением пользователем и связанные с приложением функции. В то время категория мета данных содержит информацию о самом пользователе, о его языке, поле, возрасте и т.д. Исследования [1-2] показывают особую важность временных характеристик, которые могут дать различные виды прогнозов, такие как, когда пользователь совершит свою первую покупку или на каком временном этапе произойдет отток основной массы пользователей, поэтому основная роль у категории временных данных. И наконец, композитная категория содержит в себе особенности среднего значения, отклонения, стандартной ошибки, и коэффициенты корреляции во времени.
Таблица 1
Категория Характеристики
Данные телеметрии ♦ Количество сессий ♦ Количество дней в приложении ♦ Количество действий в приложении ♦ Общее количество используемых функций за сессию
Временные данные ♦ Общее время в приложении ♦ Общее время отсутствия ♦ Время между ежедневной первой и последней сессиями ♦ Общее время за день ♦ Общее время одной сессии
Мета данные ♦ Пол ♦ Язык ♦ Возраст ♦ Платформа ♦ Версия ОС
Композитные данные ♦ Коэффициенты корреляции по времени ♦ Стандартная ошибка во времени ♦ Среднее значение и отклонение по времени
2. Математическое описание. Для прогноза удержания пользователей выбраны нейронные сети, так как они имеют более точные результаты нежели аналогичные методы, хоть и требуют дополнительных временных затрат на обучение. Для обучения нейронной сети был выбран метод обратного распространения ошибки. Хотя данный метод имеет ряд недостатков связанных со схождением и попаданием в локальные минимумы, а также вероятности переобучения, все эти недостатки преодолеваются с помощью эвристических приемов [3].
При обучении нейронной сети методом обратного распространения ошибки у каждого входного вектора существует парный ему выходной или целевой вектор, которые образуют обучающую пару [4]. Применительно к задаче прогноза временного ряда удержания, входным вектором будет являться часть ряда предшествующая настоящему моменту времени, однако в расчёт не будет браться определенное количество последних значений ряда, которые будут применены в качестве целевого вектора сети [5-10].
Обучение сети обратного распространения происходит по следующим итерациям представленном на рис. 1:
Начало
Быбор обучающей пары иг временного рада
Подача входного вектора на вщп сети
Вычисление Еыходасета
Вычисление разности мелуу выходам сета и целевым вектором обучающей пары
Корректировка Еесов се™ с целью минимизации ошибки
Конец
Рис. 1. Алгоритм работы сети метода обратного распространения ошибки. Приведем математическое описание метода.
Функция выходного сигнала для нейрона находящимся в скрытом слое описывается следующей формулой:
N
V/ /
\7=0
Целевая функция, которая является основой метода обратного распростране-
vJ=f[Zwv)xJl- W
я
ния ошибки определяется в виде:
м
Е(ш)=^(Ук-Лк)2- (2)
к=1
Для подбора весов нейронов выходного слоя используется следующая функция:
где
к
Г 21
и
I
7=0
Для компонентов градиентов относительно выходного и скрытого слоя соответственно представляются следующие выражения.
дЕ т
Г®(5)
_Я(1)
(4)
¿Г*/. (6)
я (1) ' 1
3. Экспериментальные исследования. При реализации нейронной сети воспользуемся скриптовым языком программирования Python, так как он имеет большую поддержку сообщества разработчиков, в следствии чего постоянно развивается, получая новые мощные библиотеки. Одной из таких является открытая нейросетевая библиотека Keras, которая позволяет оперативно работать с сетями глубинного обучения. Основные её это - компактность, модульность и расширяемость [11-12].
Перейдём к выбору обучающей пары из множества временного ряда и подадим входной вектор на вход сети. Данный этап является очень важным, так как от полноты, качества и состава входного вектора зависит время обучения сети и достоверность прогноза временного ряда [13-15].
Данные передаваемые для нейронной сети включают в себя временную категорию, категорию телеметрии и мета данные, с разными выбранными характеристиками в единой когорты пользователей [16-18]. В массиве данных насчитывается более 100.000 пользователей, установивших приложение. Выборки по категориям могут включать разное количество пользователей в зависимости от используемой характеристики. Данные взятые из Google Analytics представлены на рис. 2.
Рис. 2. Количество активных пользователей в зависимости от времени, прошедшего с момента установки
Для сравнения прогноза выданного нейронной сетью обученной методом обратного распространения ошибки воспользуемся сервисом, подсчитывающий текущее удержание, данные которого показаны рис. 3 и 4.
Рис. 3. Активность пользователей
Рис. 4. Текущее удержание пользователей
В момент обучения нейронной сети для прогноза удеражания происходит формирование матрицы весовых коэффициентов [19]. Иными словами, идет самоорганизация нейронной модели, которая позволяет прогнозировать времянной ряд на один шаг вперед.
Обучение нейронной сети выполняется пока ошибка обучения, равная разности между значением выхода сети и целевым значением временного ряда, не станет приемлиемого уровня или со временем прекратит изменять своё значение.
При пошаговом смещении нейронной сети вдоль временного ряда, на её входы подаются спрогнозированные, ею же значения, для прогноза на необходимое количество шагов во времени, а именно одной сессии, дня и недели. Результаты прогноза преведены в табл. 2.
Таблица 2
Интервал Правильность Точность Полнота F-мера
1 сессия 0.611 0.562 0.189 0.282
1 день 0.679 0.632 0.498 0.557
1 неделя 0.789 0.784 0.654 0.760
Из табл. 2 видно, что прогноз удержания пользователей, основанный на данных одной сессии, обладает преимущественно низким предсказательным потенциалом [20]. В то время как точность прогноза незначительно увеличивается при добавлении данных с первого дня пользовательской активности и значительно возрастает, если учитывать всю первую неделю.
Заключение. В дополнение к идентификации тех пользователей, которые могут быстро уйти после установки приложения, данный метод прогнозирования может также использоваться для выявления долговременных и потенциально высокоприбыльных пользователей. Идентификация этих пользователей и предоставление целевых стратегий монетизации приложения может даже важнее знания о том какие пользователи, вероятно, уйдут вскоре после установки, поскольку подавляющая доля покупок в приложении генерируется очень небольшой долей пользователей.
Данная технология на основе нейронной сети обратного распространения ошибки имеет простую реализацию и использует разные выборки данных одних и тех же пользователей. В дальнейшей работе планируется внедрить ряд приемов, которые позволили бы решить недостатки обучения нейронной сети, а также добавить эвристики, которые позволяли бы производить быструю имплементацию в приложение для использования категории мета данных для более точного прогноза.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Hadiji F., Sifa R., Drachen A., Thurau C., Kersting K., and Bauckhage C. Predicting Player Churn in the Wild // in Proc. of IEEE CIG, 2014.
2. Sifa R., Hadiji F., Runge J., Drachen A., Kersting K., and Bauckhage C. Predicting Purchase Decisions in Mobile Free-to-Play Games // in Proc. of AAAI AIIDE, 2015.
3. Кравченко Ю.А. Технология анализа надежности адаптивных информационных сред // Известия ЮФУ. Технические науки. - 2010. - № 12 (113). - С. 103-108.
4. Smith L.S., Gheyas I.A. A Neural Network Approach to Time Series Forecasting // Proceedings of the World Congress on Engineering, London, 2009.
5. Осовский С. Нейронные сети для обработки информации: пер. с польск. И.Д. Рудинско-го. - М.: Финансы и статистика, 2004. - 344 с.
6. Bova V.V., Kravchenko Y.A., Kureichik V.V. Development of distributed information systems: ontological approach // Advances in Intelligent Systems and Computing. - 2015. - Vol. 349.
- С. 113-122.
7. Кравченко Ю.А. Оценка когнитивной активности пользователя в системах поддержки принятия решений // Известия ЮФУ. Технические науки. - 2009. - № 4 (93). - С. 113-117.
8. Кравченко Ю.А. Технология анализа надежности адаптивных информационных сред // Известия ЮФУ. Технические науки. - 2010. - № 12 (113). - С. 103-108.
9. Кулиев Э.В., Лежебоков А.А., Кравченко Ю.А. Роевой алгоритм поисковой оптимизации на основе моделирования поведения летучих мышей // Известия ЮФУ. Технические науки. - 2016. - № 7 (180). - С. 53-62.
10. Чернышова Г.Ю. Интеллектуальный анализ данных: учеб. пособие для студентов специальности 080801.65 «Прикладная информатика (в экономике)». - Саратов: Саратовский государственный социально-экономический университет, 2012. - 92 c.
11. Зайцев А.А., Курейчик В.В., Полупанов А.А. Обзор эволюционных методов оптимизации на основе роевого интеллекта // Известия ЮФУ. Технические науки. - 2010.
- № 12 (113). - С. 7-12.
12. Курейчик В.В., Курейчик Вл.Вл. Биоиспирированный поиск при проектировании и управлении // Известия ЮФУ. Технические науки. - 2012. - № 11 (136). - С. 178-183.
13. Гладков Л.А., Курейчик В.М., Курейчик В.В. Генетические алгоритмы. - М.: Физматлит, 2006. - 320 с.
14. Родзин С.И., Курейчик В.В. Состояние, проблемы и перспективы развития биоэвристик // Программные системы и вычислительные методы. - 2016. - № 2. - С. 158-172.
15. Родзин С.И., Курейчик В.В. Теоретические вопросы и современные проблемы развития когнитивных биоинспирированных алгоритмов оптимизации // Кибернетика и программирование. - 2017. - № 3. - С. 51-79.
16. Курейчик В.В., Родзин С.И. О правилах представления решений в эволюционных алгоритмах // Известия ЮФУ. Технические науки. - 2010. - № 7 (108). - С. 13-21.
17. Запорожец Д.Ю., Кудаев А.Ю., Лежебоков А.А. Многоуровневый алгоритм решения задачи параметрической оптимизации на основе биоинспирированных эвристик // Известия Кабардино-Балкарского научного центра РАН. - 2013. - № 4 (54). - С. 21-28.
18. Курейчик В.М. Особенности построения систем поддержки принятия решений // Известия ЮФУ. Технические науки. - 2012. - № 7 (132). - С. 92-98.
19. Курейчик В.М., Кажаров А.А. Использование шаблонных решений в муравьиных алгоритмах // Известия ЮФУ. Технические науки. - 2013. - № 7 (144). - С. 11-17.
20. Gladkov, L.A., Kravchenko Y.A., Kureichik V.V. Evolutionary Algorithm for Extremal Subsets Comprehension in Graphs // World Applied Sciences Journal. - 2013. - Vol. 27 (9). - P. 1212-1217.
REFERENCES
1. Hadiji F., Sifa R., Drachen A., Thurau C., Kersting K., and Bauckhage C. Predicting Player Churn in the Wild, in Proc. of IEEE CIG, 2014.
2. Sifa R., Hadiji F., Runge J., Drachen A., Kersting K., and Bauckhage C. Predicting Purchase Decisions in Mobile Free-to-Play Games, in Proc. of AAAIAIIDE, 2015.
3. Kravchenko Yu.A. Tekhnologiya analiza nadezhnosti adaptivnykh informatsionnykh sred [Technology reliability analysis of adaptive information environments], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2010, No. 12 (113), pp. 103-108.
4. Smith L.S., Gheyas I.A. A Neural Network Approach to Time Series Forecasting, Proceedings of the World Congress on Engineering, London, 2009.
5. Osovskiy S. Neyronnye seti dlya obrabotki informatsii [Neural networks for information processing]: transl. from polish by. I.D. Rudinskogo. Moscow: Finansy i statistika, 2004, 344 p.
6. Bova V.V., Kravchenko Y.A., Kureichik V.V. Development of distributed information systems: ontological approach, Advances in Intelligent Systems and Computing, 2015, Vol. 349, pp. 113-122.
7. Kravchenko Yu.A. Otsenka kognitivnoy aktivnosti pol'zovatelya v sistemakh podderzhki prinyatiya resheniy [Evaluation of cognitive activity of the user in decision support systems], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2009, No. 4 (93), pp. 113-117.
8. Kravchenko Yu.A. Tekhnologiya analiza nadezhnosti adaptivnykh informatsionnykh sred [Technology reliability analysis of adaptive information environments], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2010, No. 12 (113), pp. 103-108.
9. Kuliev E.V., Lezhebokov A.A., Kravchenko Yu.A. Roevoy algoritm poiskovoy optimizatsii na osnove modelirovaniya povedeniya letuchikh myshey [Swarm algorithm search engine optimization is based on modeling the behavior of bats], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2016, No. 7 (180), pp. 53-62.
10. Chernyshova G.Yu. Intellektual'nyy analiz dannykh: ucheb. posobie dlya studentov spetsial'nosti 080801.65 «Prikladnaya informatika (v ekonomike)» [Data mining: textbook for students of specialty 080801.65 " Applied Informatics (in Economics)"]. Saratov: Saratovskiy gosudarstvennyy sotsial'no-ekonomicheskiy universitet, 2012, 92 p.
11. Zaytsev A.A., Kureychik V.V., Polupanov A.A. Obzor evolyutsionnykh metodov optimizatsii na osnove roevogo intellekta [Overview of evolutionary optimization techniques based on swarm intelligence], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2010, No. 12 (113), pp. 7-12.
12. Kureychik V.V., Kureychik Vl.Vl. Bioispirirovannyy poisk pri proektirovanii i upravlenii [Biospherology search in the design and management], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2012, No. 11 (136), pp. 178-183.
13. Gladkov L.A., Kureychik V.M., Kureychik V.V. Geneticheskie algoritmy [Genetic algorithm]. Moscow: Fizmatlit, 2006, 320 p.
14. Rodzin S.I., Kureychik V. V. Sostoyanie, problemy i perspektivy razvitiya bioevristik [State, problems and prospects of development of bio-heuristics], Programmnye sistemy i vychislitel'nye metody [Software systems and computational methods], 2016, No. 2, pp. 158-172.
15. Rodzin S.I., Kureychik V.V. Teoreticheskie voprosy i sovremennye problemy razvitiya kognitivnykh bioinspirirovannykh algoritmov optimizatsii [Theoretical questions and contemporary problems of the development of cognitive bio-inspired algorithms for optimization], Kibernetika iprogrammirovanie [Cybernetics and programming], 2017, No. 3, pp. 51-79.
16. Kureychik V.V., Rodzin S.I. O pravilakh predstavleniya resheniy v evolyutsionnykh algoritmakh [About the rules for the submission of solutions in evolutionary algorithms], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2010, No. 7 (108), pp. 13-21.
17. Zaporozhets D.Yu., Kudaev A.Yu., Lezhebokov A.A. Mnogourovnevyy algoritm resheniya zadachi parametricheskoy optimizatsii na osnove bioinspirirovannykh evristik [A multilevel algorithm for solving the problem of parametric optimization based on bio-inspired heuristics], Izvestiya Kabardino-Balkarskogo nauchnogo tsentra RAN [zvestiya of Kabardino-Balkar scientific center of RAS], 2013, No. 4 (54), pp. 21-28.
18. Kureychik V.M. Osobennosti postroeniya sistem podderzhki prinyatiya resheniy [Features of construction of systems of support of acceptance of decisions], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2012, No. 7 (132), pp. 92-98.
19. Kureychik V.M., Kazharov A.A. Ispol'zovanie shablonnykh resheniy v murav'inykh algoritmakh [The use of standard solutions in ant colony optimization algorithms], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2013, No. 7 (144), pp. 11-17.
20. Gladkov, L.A., Kravchenko Y.A., Kureichik V.V. Evolutionary Algorithm for Extremal Subsets Comprehension in Graphs, World Applied Sciences Journal, 2013, Vol. 27 (9), pp. 1212-1217.
Статью рекомендовал к опубликованию д.т.н., профессор В.И. Финаев.
Сычугов Максим Валерьевич - Южный федеральный университет; e-mail: sychugov@sfedu.ru; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: +79286205479; кафедра систем автоматизированного проектирования; аспирант.
Sychugov Maksim Valerievich - Southern Federal University; e-mail: sychugov@sfedu.ru; 44, Nekrasovskiy lane, Taganrog, 347928, Russia; phone: +79286205479; the department of computer aided design; post-graduate student.
