CC BY
21
I ПРОБЛЕМА ВОССТАНОВЛЕНИЯ ПРОФИЛЕЙ ПОЛЬЗОВАТЕЛЕЙ СОЦИАЛЬНЫХ СЕТЕЙ1
Соколова Т.В.2, Чеповский А.М.3
Цель исследования: классификация методов, используемых для решения проблемы восстановления профилей пользователей социальных сетей
Метод: систематизация и классификация методов, применяемых для предсказания недостающих характеристик в профиле пользователя.
Полученные результаты: выделены три группы методов восстановления профилей пользователей социальных сетей, для каждой из групп представлены примеры используемых подходов.
Ключевые слова: анализ социальных сетей, профиль пользователя, предсказание характеристик, социальный граф, социальные связи, сообщества, склейка профилей.
1. Введение
В задачах распространения информации в глобальной сети, выявлении групп влияния в социальных сетях важную роль играет описание субъектов коммуникаций, называемых «профилями пользователей». Профиль пользователя - набор характеристик, который может включать в себя данные, которые пользователь сам о себе указал (фактические характеристики) и данные, которые могут быть получены на основе действий пользователя (поведенческие характеристики).
Профили пользователей активно используются для выявления людей, склонных к противоправной деятельности, в банковской сфере для оценки надежности потенциально заемщика и возможных рисков для банка, для оценки кандидатов при приеме на работу, в маркетинге для получения портрета потребителей товаров и услуг, в рекламе для показа рекламных объявлений группе пользователей с определенным набором характеристик, злоумышленниками для получения доступа к аккаунтам, сетевыми сервисами для решения задачи персональных рекомендаций и предсказания связей между пользователями.
Для социальных сетей характерно наличие профиля, в котором пользователь самостоятельно указывает информацию о себе. Однако профили пользователей социальных сетей в большинстве случаев заполнены не полностью. Отсутствие искомой характеристики в профиле может объясниться тем, что:
- характеристика не была указана пользователем;
- характеристика была скрыта пользователем в настройках приватности;
001:10.21681/2311-3456-2019-4-88-93
- характеристика не могла быть указана пользователем в профиле, так как отсутствует необходимое поле в профиле в социальной сети.
Таким образом возникает проблема восстановления недостающих характеристик в профилях пользователей социальных сетей.
2. Восстановление профилей пользователей социальных сетей
Методы, применяемые для восстановления профилей пользователей социальных сетей, отличаются в зависимости от того, какие данные используются для анализа и какие характеристики требуется восстановить. Типы, форматы и объемы данных зависят от выбора социальной сети.
Задачи по восстановлению некоторого набора характеристик пользователя решались для социальной сети Facebook в работах [10] (60000 пользователей), [13] (136000 пользователей), [12] (60000 пользователей), [3] (11000 пользователей). Рассматривалось восстановление таких характеристики как пол, возраст, политические и религиозные предпочтения, личностные качества, сексуальная ориентация, этническая принадлежность [10], или такие как пол, возраст, личностные качества [13].
В ряде работ [2, 3, 12] на основе анализа дружеских связей и значения одной из характеристик профиля в социальной сети восстанавливались различные характеристики: колледж, специализация, год, факультет [12]; пол, место жительства, студенческий статус, специализация, школа, год [3]; хобби, университет [2].
1 Работа выполнена при финансовой поддержке РФФИ в рамках научных проектов № 16-29-09546, № 18 00 00606 (18-00-00233) и № 19-0700806.
2 Соколова Татьяна Владимировна, аспирант, Российский технологический университет (МИРЭА), г Москва, Россия. E mail: sokolova.stv@mail.ru
3 Чеповский Андрей Михайлович, доктор технических наук, профессор, Национальный исследовательский университет «Высшая школа экономики», г. Москва, Россия. E mail: achepovskiy@hse.ru
УДК 004.8
DOI: 10.21681/2311-3456-2019-4-80-87
Можно выделить три большие группы методических подходов к восстановлению характеристик пользователей:
1. Методы на основе характеристик и действий пользователя в социальной сети.
2. Методы на основе анализа характеристик друзей пользователя и их взаимодействия.
3. Методы на основе анализа данных профилей из нескольких социальных сетей.
Эти подходы могут использоваться как независимо, так и совместно. Например, можно применить алгоритмы склейки данных из различных социальных сетей и на полученных данных применять алгоритмы распространения характеристик по дружеским связям.
Рассмотрим методы, представленные в каждой из этих групп, подробнее.
3. Методы на основе характеристик и действий пользователя в социальной сети
В социальных сетях пользователи оставляют большие объемы личных данных и своей пользовательской истории: заполняют профиль, загружают фотографии, публикуют текстовые сообщения, выражают свои предпочтения с помощью лайков. Все эти данные могут быть использованы для получения дополнительной информации о пользователях.
Наполнение профиля поведенческими характеристиками может происходить по результатам анализа публикуемых текстов. В социальной сети могут быть открыты и доступны для анализа статусы пользователя, тексты сообщений, которые пользователь публикует у себя на странице или на страницах друзей и комментарии, который он оставляет к сообщениям, фотографиям, видео и другому содержанию. В [13] проводился анализ обновлений статусов пользователей в социальной сети Facebook и были показаны различия в использовании слов пользователями разного пола, разных возрастных групп и групп, обладающих различными личностными характеристиками.
Для заполнения профиля можно использовать не только текстовую информацию, но и мультимедийные данные, например, фотографии, которые загружает пользователь. В [17] демонстрируют результаты определения пола по изображениям, публикуемым в социальной сети Pinterest. Удобство этой социальной сети для анализа в том, что пользователи сами собирают фотографии одной тематики в коллекции и указывают категорию, которых в этой социальной сети ограниченное количество. Для формирования обучающей выборки и получения информации о фактическом поле пользователей используются данные из аккаунтов Twitter^, указанных у пользователей Pinterest.
Хорошими данными для определения характеристик пользователя могут служить предпочтения пользователей в социальной сети («лайки»). В [10] предлагается формировать матрицу предпочтений пользователей. К получившейся матрице, для которой характерен большой размер и разреженность, применяется SVD (Singular Value Decomposition), после чего используется линейная или логистическая регрессия для выполнения предсказаний.
4. Методы на основе анализа характеристик друзей пользователя и их взаимодействия
В социальных сетях большое значение имеет социальное взаимодействие между пользователями, которое может стать дополнительным источником информации о них.
В [4] был сформулирован принцип социального влияния, который утверждает, что связанные в сети пользователи склонны иметь одинаковые атрибуты.
Социальное влияние можно оценивать через функцию доверия, которая определяется в вероятностных моделях с помощью функции вероятности [15]. Для оценки доверия с помощью вероятностных моделей в [11] предлагается алгоритм SUNNY. Чаще всего для оценки доверия с помощью вероятностных моделей используются Бета- модель, байесовская модель и скрытая марковская модель (СММ). Также широко используется модель нечеткой логики, которая содержит правила для работы с неопределенными показателями доверия и способна справляться с этими неопределенностями и неточностями.
Подтверждение предположения о том, что пользователи склонны дружить с теми, кто имеет такие же атрибуты как они сами, позволяет использовать связи между пользователями и характеристики друзей пользователя для решения задачи по восстановлению характеристик.
Так, например, в [1] местоположение пользователей Твиттера предсказывается по их связям с другими пользователями, про которых известно местоположение. Выбирается то местоположение, за которое проголосовало большинство друзей пользователя. В [8] для предсказания местоположения в Твиттере и Foursquare используется вариация алгоритма label propagation.
В [7] для предсказания атрибутов пользователя социальная сеть представляется в виде Байесовской сети. Для осуществления предсказаний используется знание о связях между пользователями и о том, какие характеристики указаны у друзей пользователя. Если у кого-то из друзей данная характеристика отсутствует, то рассматривается соответствующая характеристика у друзей этого друга.
В [6] развивается идея SAN (Social attribute network), предложенная в [16]. В рамках SAN и пользователи, и атрибуты пользователей выступают узлами графа. Для восстановления атрибутов в [16] метод обучения без учителя, а именно RWR (Random Walk with Restart), в [6] дорабатываются еще несколько алгоритмов обучения с учителем и без учителя для предсказания связей в SAN. Таким образом одновременно решаются задача восстановления атрибутов пользователей и задача предсказания дружеских связей между пользователями.
В [12] выдвигается более сильное предположение, утверждающее, что пользователи, имеющие одинаковые характеристик, более склонны не только становиться друзьями, но и образовывать плотные группы - сообщества. Для предсказания атрибутов пользователей с известными значениями характеристик разбивают на соответствующие сообщества, а остальных пользователей распределяются по сообществам на основании близости к членам сформированных сообществ.
5. Методы на основе анализа данных профилей из нескольких социальных сетей
Появление социальных сетей, которые специализируются на определенном типе содержании (например, Instagram - фотографии, YouTube - видео, Twitter - короткие текстовые сообщения) или общении людей в рамках одной тематики (например, LinkedIn - деловые контакты, Scipeople - наука и исследования), привело к тому, что люди стали заводить профили сразу в нескольких социальных сетях.
Заполняя профиль в каждой из социальных сетей, пользователь может указывать разный набор характеристик, скрыть часть из них или же указать неверные данные. Объединение данных одного человека из разных социальных сетей в единый профиль позволит:
- получить более полный портрет человека за счет слияния его характеристик из двух и более социальных сетей;
- повысить точность профиля за счет выявления несоответствий в указанных в социальной сети характеристиках (например, различия в возрасте).
Самой доступной и одной из минимальных характеристик для анализа является идентификатор учётной записи пользователя («логин») в социальной сети, который имеется у всех пользователей и представлен в виде строки малой длины. При регистрации для лучшей узнаваемости и для упрощения запоминания люди часто указываются похожие на уже имеющиеся у них идентификаторы. Поэтому идентификаторы одного пользователя на разных платформах оказываются близкими или одинаковыми по значению и это знание можно использовать при сравнении пользователей.
В простейшем варианте можно определять акка-унты одного пользователя, выделяя одинаковые идентификаторы в разных социальных сетях или находить похожие на них, используя для оценки схожести строк, например, расстояние Левенштейна, расстояние Джа-ро-Винклера, расстояние Дамерау-Левенштейна или длину наибольшей общей подпоследовательности.
Более комплексный подход определения того, принадлежат два идентификатора одному пользователю или нет, был описан в работе [19], а способ выбора подмножества возможных идентификаторов некоторого пользователя был представлен авторами в [18]. Методология, получившая названия MÖBIUS (Modeling Behavior for Identifying Users across Sites), выделяет три группы факторов, оказывающих влияние на выбор значения идентификатора:
- Ограничения человека, включающие:
• ограниченное время и память (пользователь упрощает себе выбор, выбирает похожие идентификаторы);
• ограниченный словарный запас (носители языка склонны знать больше слов);
• ограниченный алфавит (используемый алфавит зависит от языка, на котором говорит пользователь).
- Внешние факторы, обусловленные культурным и языковым влиянием.
- Внутренние факторы, характеризующиеся личными характеристиками (пол, возраст и др.), привычками в выборе идентификатора (используемые ранее значения и их модификации).
Все описанные факторы формализуются, характеризуя предполагаемый идентификатор пользователя, Полученные признаки используются в моделях на основе деревьев принятия решений, наивного Байеса, SVM, логистической регрессии. В [19] по итогам экспериментов показано, что лучшие результаты получаются при применении логистической регрессии. Авторы оценивают значимость каждого из признаков и анализируют влияние количества используемых признаков и известных идентификаторов пользователя в других сетях на эффективность работы алгоритмов.
В качестве указания на то, что два профиля принадлежат одному пользователю, может использоваться информация о публикациях пользователя в социальной сети.
В [5] предлагают использовать для анализа:
- Время публикации, используя тот факт, что некоторые сервисы позволяют отправлять пост сразу в несколько социальных сетей и посты при этом будут иметь практически одинаковое время публикации, определяя близость двух аккаунтов как количество публикаций на двух платформах, которые были сделаны с разницей не более чем 1-5 секунд.
- Стиль текста, используя предложение о том, что каждый человек обладает уникальным стилем письма, набором использованных в текстах слов.
- Распределение по местоположениям, которые могут быть указаны у публикации, представленное в виде гистограммы, отражающие частоту публикаций пользователя в определенном месте, для оценки близости которых используется косинусное расстояние.
По результатам исследований получено, что методы на основе каждого отдельного типа данных из описанных выше показывают результат хуже, чем в случае использования идентификаторов. Однако, совместное использование времени публикации, стиля текста, местоположения и идентификаторов позволяет повысить качество идентификации пользователя.
В [9] предлагается анализировать структуру социальных связей пользователей. В ходе работы алгоритма используются уже известные связи между пользователями двух социальных сетей, с помощью которых вычисляется близость между оставшимися пользователями и выбираются наиболее близкие. Подтверждение работоспособности алгоритма проводится как на реальных данных из социальных сетей, так и на синтетических данных - сгенерированных моделях социальных сетей, имеющих схожу структуру с реальными социальными сетей и сохраняющих значимые для работы алгоритмов их свойства.
Широкий и разносторонний обзор имеющихся подходов к обобщению профилей представлен в [14] в котором проводится классификация методов по типу используемых методов и типу входных данных для этих методов. Входные данные разделяются на три группы:
УДК 316.77:519.72
DOI: 10.21681/2311-3456-2019-4-88-93
- данные профиля пользователя в социальной сети (имя, идентификатор, местоположение, образование, фотография, и аналогичные данные);
- создаваемое пользователем содержание (посты с их возможным текстовым и медиа- содержимым);
- социальные связи между пользователями;
Авторы [14] приводят примеры работ, в которых на
входных данных одной из трех групп и на комбинации данных из нескольких групп использовалось методы, которые обозначались следующими терминами:
- «Обучение с учителем»: агрегационные методы, использующие оценку близости набора факторов и их агрегацию с различными весами; вероятностные методы, использующие теорему Байеса; методы бустинга; деревья решений, логистическая регрессия, КИИ и SVM и др.).
- «Частичное обучение с учителем»: методы, использующие структуру сети и уже размеченные пары пользователей; методы, использующие анализ текстов на естественных язвках.
- «Обучение без учителя»: методы, использующие только неразмеченные данные.
В работе [14] поднимаются следующие проблемы:
- подготовки выборки (обсуждается доступность малого количества размеченных данных, рассматриваются наборы данных, находящиеся в открытом доступе или которые могут быть получены по запросу и возможность создания и использования синтетических данных);
- оценки полученных результатов (рассматриваются метрики, используемые для задач классифика-
ции, такие как точность, полнота и F-мера, и метрики, используемые для задач ранжирования, такие как AUC, Hit-precision, average precision).
6. Выводы
Приведенный обзор публикаций демонстрирует разнообразие подходов и методов решения задачи по восстановлению характеристик профилей пользователей социальных сетей, которые позволяют достигать высоких показателей точности с привлечением как данных самого пользователя, так и данных его друзей. Предложена и описана классификация подходов к восстановлению характеристик пользователей, в которой выделены три группы методов, которые можно комбинировать для повышения точности предсказаний.
Отметим, что не существует единого и универсального подхода для решения задачи наполнении профиля за счет анализа данных пользователя и его ближайшего окружения. Алгоритмы, которые показывают высокие результаты для предсказания одних характеристик, могут оказаться не применимы для предсказания других. Выбор подхода в каждом конкретном случае должен быть обусловлен объемом и видом имеющихся на входе данных и типом искомых выходных характеристик.
По результатам нашего анализа можно предположить, что наиболее перспективными и мало разработанными являются методы анализа профилей, основанные на выделении сообществ общения участников социальных сетей с применением математических методов анализа структуры социальных графов с учетом исследований самых различных характеристик взаимодействия субъектов социальных сетей.
Литература
1. Davis Jr C. A., Pappa G.L., Oliveira D.R.R., Arcanjo F.L. Inferring the location of twitter messages based on user relationships //Transactions in GIS. - 2011. - Т. 15. - №. 6. - P. 735-751.
2. Ding Y., Yan S., Zhang Y., Dai W., Dong L. Predicting the attributes of social network users using a graph-based machine learning method //Computer Communications. - 2016. - Т. 73. - P. 3-11.
3. Dougnon R. Y., Fournier-Viger P., Nkambou R. Inferring user profiles in online social networks using a partial social graph //Canadian Conference on Artificial Intelligence. - Springer, Cham, 2015. - P. 84-99.
4. La Fond T., Neville J. Randomization tests for distinguishing social influence and homophily effects //Proceedings of the 19th international conference on World wide web. - ACM, 2010. - P. 601-610.
5. Goga O., Lei H., Krishnan S.H., Friedland G., Sommer R., Teixeira R. Exploiting innocuous activity for correlating users across sites // Proceedings of the 22nd international conference on World Wide Web. - ACM, 2013. - P. 447-458.
6. Gong N. Z., Tailwalkar A., Mackey L., Huang L., Shin E.C.R., Stefanov E., Shi E., Song D. Joint link prediction and attribute inference using a social-attribute network //ACM Transactions on Intelligent Systems and Technology (TIST). - 2014. - Т. 5. - №. 2. - P. 27.
7. He J., Chu W. W., Liu Z. V. Inferring privacy information from social networks //International Conference on Intelligence and Security Informatics. - Springer, Berlin, Heidelberg, 2006. - P. 154-165.
8. Jurgens D., Finethy T., McCorriston J., Xu Y.T., Ruths D. Geolocation prediction in twitter using social networks: A critical analysis and review of current practice // Proceedings of the Ninth International AAAI Conference on Web and Social Media. - 2015. - P. 190-197.
9. Korula N., Lattanzi S. An efficient reconciliation algorithm for social networks //Proceedings of the VLDB Endowment. - 2014. - Т. 7. -№. 5. - P. 377-388.
10. Kosinski M., Stillwell D., Graepel T. Private traits and attributes are predictable from digital records of human behavior //Proceedings of the National Academy of Sciences. - 2013. - Т. 110. - №. 15. - P. 5802-5805.
11. Kuter U., Golbeck J. Sunny: A new algorithm for trust inference in social networks using probabilistic confidence models //AAAI. - 2007. -Т. 7. - P. 1377-1382.
12. Mislove A. et al. You are who you know: inferring user profiles in online social networks //Proceedings of the third ACM international conference on Web search and data mining. - ACM, 2010. - P. 251-260.
13. Schwartz H. A., Eichstaedt J.C., Kern M. Dziurzynski L., Ramones S.M., Adrawal M., Shah A., Kosinski M., Stillwell D., Seligman M.E.P., Ungar L.H. Personality, gender, and age in the language of social media: The open-vocabulary approach //PloS one. - 2013. - T. 8. - №. 9. - P. e73791.
14. Shu K., Wang S., Tang J., Zafarani R., Liu H. User identity linkage across online social networks: A review //Acm Sigkdd Explorations Newsletter. 2016.- V. 18. - № 2, P. 5-17.
15. Sun Y. L., Yu W., Han Z., Liu K.J.R. Information theoretic framework of trust modeling and evaluation for ad hoc networks //IEEE Journal on Selected Areas in Communications. - 2006. - T. 24. - №. 2. - P. 305-317.
16. Yin Z., Gupta M., Weninger T., Han J. A unified framework for link recommendation using random walks //2010 International Conference on Advances in Social Networks Analysis and Mining. - IEEE, 2010. - P. 152-159.
17. You Q., Bhartia S., Sun T., Luo J.. The eyes of the beholder: Gender prediction using images posted in online social networks //2014 IEEE International Conference on Data Mining Workshop. - IEEE, 2014. - P. 1026-1030.
18. Zafarani R., Liu H. Connecting corresponding identities across communities // Proceedings of the Third International AAAI Conference on Weblogs and Social Media. - 2009. - P. 354-357.
19. Zafarani R., Liu H. Connecting users across social media sites: a behavioral-modeling approach //Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. - ACM, 2013. - P. 41-49.
PROBLEM OF INFERRING PROFILES OF SOCIAL
NETWORKS USERS
Sokolova T.V.4, ChepovskiyA. M.5
The purpose of the study: classification of methods used to solve the problem of inferring profiles of social networks
Method: systematization and classification of methods for predicting missing attributes in user profiles
Results: three groups of methods for inferring user profiles are defined and examples of approaches are presented
for each group
Keywords: social networks analysis, user profile, predicting attributes, social graph, social links, communities,
connecting profiles
References
1. Davis Jr C. A., Pappa G.L., Oliveira D.R.R., Arcanjo F.L. Inferring the location of twitter messages based on user relationships // Transactions in GIS. - 2011. - T. 15. - №. 6. - P. 735-751.
2. Ding Y., Yan S., Zhang Y., Dai W., Dong L. Predicting the attributes of social network users using a graph-based machine learning method //Computer Communications. - 2016. - T. 73. - P. 3-11.
3. Dougnon R. Y., Fournier-Viger P., Nkambou R. Inferring user profiles in online social networks using a partial social graph //Canadian Conference on Artificial Intelligence. - Springer, Cham, 2015. - P. 84-99.
4. La Fond T., Neville J. Randomization tests for distinguishing social influence and homophily effects //Proceedings of the 19th international conference on World wide web. - ACM, 2010. - P. 601-610.
5. Goga O., Lei H., Krishnan S.H., Friedland G., Sommer R., Teixeira R. Exploiting innocuous activity for correlating users across sites // Proceedings of the 22nd international conference on World Wide Web. - ACM, 2013. - P. 447-458.
6. Gong N. Z., Tailwalkar A., Mackey L., Huang L., Shin E.C.R., Stefanov E., Shi E., Song D. Joint link prediction and attribute inference using a social-attribute network //ACM Transactions on Intelligent Systems and Technology (TIST). - 2014. - T. 5. - №. 2. - P. 27.
7. He J., Chu W. W., Liu Z. V. Inferring privacy information from social networks //International Conference on Intelligence and Security Informatics. - Springer, Berlin, Heidelberg, 2006. - P. 154-165.
8. Jurgens D., Finethy T., McCorriston J., Xu Y.T., Ruths D. Geolocation prediction in twitter using social networks: A critical analysis and review of current practice // Proceedings of the Ninth International AAAI Conference on Web and Social Media. - 2015. - P. 190-197.
9. Korula N., Lattanzi S. An efficient reconciliation algorithm for social networks //Proceedings of the VLDB Endowment. - 2014. - T. 7. - №. 5. - P. 377-388.
10. Kosinski M., Stillwell D., Graepel T. Private traits and attributes are predictable from digital records of human behavior //Proceedings of the National Academy of Sciences. - 2013. - T. 110. - №. 15. - P. 5802-5805.
4 Tatyana Sokolova, postgraduate student, Russian Technological University (MIREA), Moscow, Russia. E mail: sokolova.stv@mail.ru
5 Andrey Chepovskiy, Dr. Sc. (Eng.), Professor, National Research University Higher School of Economics, Moscow, Russia. E mail: achepovskiy@hse.ru
yflK 316.77:519.72
DOI: 10.21681/2311-3456-2019-4-88-93
11. Kuter U., Golbeck J. Sunny: A new algorithm for trust inference in social networks using probabilistic confidence models //AAAI. -2007. - T. 7. - P. 1377-1382.
12. Mislove A. et al. You are who you know: inferring user profiles in online social networks //Proceedings of the third ACM international conference on Web search and data mining. - ACM, 2010. - P. 251-260.
13. Schwartz H. A., Eichstaedt J.C., Kern M. Dziurzynski L., Ramones S.M., Adrawal M., Shah A., Kosinski M., Stillwell D., Seligman M.E.P., Ungar L.H. Personality, gender, and age in the language of social media: The open-vocabulary approach //PloS one. - 2013. - T. 8. -№. 9. - P. e73791.
14. Shu K., Wang S., Tang J., Zafarani R., Liu H. User identity linkage across online social networks: A review //Acm Sigkdd Explorations Newsletter. 2016.- V. 18. - № 2, P. 5-17.
15. Sun Y. L., Yu W., Han Z., Liu K.J.R. Information theoretic framework of trust modeling and evaluation for ad hoc networks //IEEE Journal on Selected Areas in Communications. - 2006. - T. 24. - №. 2. - P. 305-317.
16. Yin Z., Gupta M., Weninger T., Han J. A unified framework for link recommendation using random walks //2010 International Conference on Advances in Social Networks Analysis and Mining. - IEEE, 2010. - P. 152-159.
17. You Q., Bhartia S., Sun T., Luo J.. The eyes of the beholder: Gender prediction using images posted in online social networks //2014 IEEE International Conference on Data Mining Workshop. - IEEE, 2014. - P. 1026-1030.
18. Zafarani R., Liu H. Connecting corresponding identities across communities // Proceedings of the Third International AAAI Conference on Weblogs and Social Media. - 2009. - P. 354-357.
19. Zafarani R., Liu H. Connecting users across social media sites: a behavioral-modeling approach //Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. - ACM, 2013. - P. 41-49.
