CC BY
73УДК 654
Денисов В.В. студент,
кафедра информационных технологий, Московский технический университет связи и информатики,
Москва Denisov V. V. student,
department of information technologies, Moscow Technical University of Communications and Informatics,
Moscow
E-mail: vent.floenergy@gmail.com
Применение технологий анализа больших данных в сфере телекоммуникаций Application of Big Data Analytics in Telecommunications
Аннотация: Статья посвящена большим данным в телекоммуникациях. В ней приводятся примеры применения анализа данных в различных областях телекоммуникационной отрасли. Исследуется актуальность применения технологий больших данных в телекоммуникациях. Автор делает акцент на широкий спектр задач в сфере телекоммуникаций для которых необходимо применение технологий больших данных.
Abstract: The article is devoted to big data in telecommunications. It gives examples of the application of data analysis in various areas of the telecommunications industry. It examines the relevance of applying big data technologies in telecommunications. The author focuses on a wide range of tasks in the field of telecommunications, which require the use of big data technology.
Ключевые слова: Аналитика больших данных; применение больших данных; сценарии использования телекоммуникаций больших данных.
Keywords: Big data analytics; Big data applications; Big data telecommunications use
cases.
Введение
Телекоммуникационная отрасль - одна из немногих, которая сегодня освоила и активно инвестирует в решения Big Data. Телекоммуникационные операторы не только внедрили и научились их использовать, но и пожинают финансовые плоды. Согласно исследованию IDC, к концу 2016 года доходы мирового рынка Больших Данных вырастут более чем на 11%. И эта тенденция сохранится в ближайшие 3 года. Именно телекоммуникационные компании, по прогнозам аналитиков, станут лидерами по среднегодовому росту доходов от Big Data. И именно в этой сфере существует множество точек роста и источников информации для Big Data.
Большие данные - большие возможности для операторов связи Эксперты отмечают, что Большие данные не являются самоцелью. Это лишь инструмент, предназначенный для качественной модернизации той или иной отрасли. Сама идеология Больших Данных реализуется через приложения, созданные для нужд бизнеса. Собирать данные недостаточно. Их необходимо анализировать для достижения конкретной цели. Очевидно, что для бизнеса важны не новые инструменты, а доход от них, поэтому проекты по внедрению Больших Данных оцениваются, в том числе, с точки зрения их монетизации, которая зачастую не проявляется в краткосрочной и даже среднесрочной перспективе.
По данным исследования Института ценности бизнеса IBM, более половины компаний, в том числе телекоммуникационных, используют Big Data для эффективного маркетинга. Это позволяет отслеживать поведение потребителей, организовывать целевые маркетинговые мероприятия и предугадывать потребности клиентов. [1]
Применение аналитики больших данных в телекоммуникационной отрасли
1. Прогнозирование оттока потребителей
Прогнозирование оттока клиентов является одним из наиболее популярных примеров использования BDA, разработанных в сфере телекоммуникаций. Это связано с высокой стоимостью приобретения нового
клиента по сравнению со стоимостью удержания существующего. В нескольких исследовательских работах эта тема рассматривалась в различных аспектах.
Первый приведенный нами пример использования [2] был построен с использованием скрытой модели Маркова (Hidden Markov Model, HMM). Обучающий набор состоял из пяти месяцев исторических данных, которые включали данные о клиентах, биллинговые данные и данные о сети. Приложение было построено на платформе Hadoop одного из телекоммуникационных операторов. Для операций над статистическими данными использовался Hive. Для сравнения команда проекта разработала приложение по оттоку клиентов с использованием двух других популярных классификаторов: Random Forest и LIBLINEAR. Результаты показали незначительную разницу в пользу Скрытой Марковской Модели с площадью под кривой (AUC), равной 0,855.
Второй пример предотвращения оттока немного более экзотичен, поскольку в нем используются технологии моделирования из сектора здравоохранения, которые были применены в телекоммуникационном секторе. Целью авторов было подчеркнуть важность наличия междисциплинарных навыков в Data Science. Авторы обнаружили сходство между оттоком и выживанием. Поэтому для прогнозирования оттока абонентов был выбран алгоритм векторной машины выживания. Полученное приложение показало неплохие результаты со значением AUC, равным 0,82.
2. Склонность к предложению
Использование данных об использовании трафика, баллов лояльности, продвижения на основе событий и демографических данных в сочетании с аналитическими технологиями позволяет разрабатывать целевые предложения или услуги в соответствии с требованиями клиентов. Оператору связи в Азиатско-Тихоокеанском регионе было необходимо контролировать эффективность своего маркетинга, поэтому он внедрил решение для предиктивной аналитики, которое разрабатывает модели
склонности для отслеживания предпочтений клиентов и выявления возможностей для бизнеса. Результаты оказались отличными: оператор получил на 10 процентов больше чистой выручки за счет повышения производительности и конкурентоспособности, а также увеличил скорость специальной отчетности в 190 раз. [2]
3. Предотвращение утечки доходов
В течение последних нескольких лет операторы связи страдали от различных видов утечки доходов. Мошенничество с SIM-ящиками было одним из самых популярных. Потери для телекоммуникаций и государства были огромными. По оценкам, в Африке они составляют в среднем 150 миллионов долларов США в год. SIM-бокс - это практика в сфере телекоммуникаций, когда некоторые люди устанавливают оборудование, способное работать с несколькими SIM-картами, и используют его для завершения международных звонков, полученных через передачу голоса по IP. Чанг-Мин Чен предложил два подхода к обнаружению SIM-боксов: Проактивные тестовые звонки и пассивный анализ. Первый метод требует от оператора совершать звонки из зарубежных стран в свою страну и проверять тип их завершения (местные на международные). Этот метод слишком тяжел для реализации, поскольку он требует от оператора обеспечить полное покрытие, чтобы обнаружить всех возможных мошенников. С другой стороны, анализ трафика обойдется гораздо дешевле и обеспечит более удовлетворительные результаты. По этой причине были определены некоторые правила для обнаружения подозрительных SIM-карт, основанные на количестве сгенерированных звонков и области их генерации. Кахсу Хагос разработал решение, основанное на анализе CDR с использованием трех классификаторов: Random Forest (RF), Artificial Neural Network (ANN) и Support Vector Machine (SVM) для сравнения. Первая модель показала лучшую производительность по сравнению с двумя другими, с точностью 95,98%. Другое аналогичное исследование, основанное на модели искусственной нейронной сети (ANN), позволило добиться более высокой
точности - 98,71%. Были выбраны 9 признаков: идентификация абонента, общее количество звонков, общее количество вызовов, общее количество минут, общее количество ночных звонков, общее количество вызовов ночью, общее количество минут ночью, количество вызовов в день, отношение количества вызовов к общему количеству вызовов и среднее количество минут. [3]
6. BDA для обеспечения общественной безопасности
Некоторые правительства используют BDA в сочетании с облачными сервисами и технологиями IoT для повышения безопасности своих граждан. Это делается путем прогнозирования районов с высокой вероятностью преступлений в каждый период времени. Это стало возможным благодаря использованию телекоммуникационных данных в сочетании с данными общественной безопасности.
Интеллектуальная полиция заинтересована в получении информации, позволяющей извлекать улики, анализировать дела, типы преступлений, локализовать преступления, выявлять преступления на ранней стадии, отслеживать подозреваемых и т.д. Что касается используемых инструментов, то первоначально В. Лианг и др. смоделировали решение с помощью алгоритма Xgboost. Результат оказался неудовлетворительным, так как полученная точность составила около 48%. Тогда авторы решили исследовать другие углы реализации и попробовали модель точечного процесса самовозбуждения (SEPP), предоставленную PredPol. Точность значительно повысилась и достигла 92%. Решение было внедрено и использовано в Бюро общественной безопасности Пекина в Республике Китай.
7. Энергосбережение
Энергосбережение в центрах обработки данных (ЦОД) - важная область, которой в последние годы занимаются специалисты по исследованию данных. Лучшим примером является случай Дж. Гао, который внедрил технологии искусственного интеллекта для эффективного
использования энергии в центрах обработки данных Google. В Китае В. Лианг и др. занимались решением проблемы энергосбережения в центрах обработки данных с помощью технологий глубокого обучения (DL), которые доказали свою эффективность. Для прогнозирования тенденции энергопотребления была реализована пятислойная DL-модель. Переменные модели состояли из 19 признаков, включая общую ИТ-нагрузку на сервер, использование ресурсов, экологический индекс постоянного тока (температура и влажность)... и т.д. Логика разработки энергосберегающего приложения основана на следующих шагах:
• Мониторинг нагрузки каждой виртуальной машины (ВМ), работающей на каждом физическом устройстве;
• Определение виртуальных машин, выполняющих меньшее количество заданий и с низкой нагрузкой;
• Перемещение виртуальных машин с меньшим количеством рабочих мест с физического устройства на другое устройство с избыточными ресурсами для обеспечения непрерывности обслуживания;
• Превращение бывшего физического устройства в неработающее, что позволяет снизить потребление энергии.
8. Анализ дорожного движения в режиме реального времени
Влияние телекоммуникационных данных не ограничивается только телекоммуникационной отраслью. Еще один пример использования телекоммуникационных BDA был разработан К. Коста, Д. Зейналипур-Язти, Г. Чатзимилиудисом и М.Ф. Мокбелом, направленный на улучшение качества жизни путешественников с помощью решения для дорожного движения в режиме реального времени. Действительно, чтобы обеспечить безупречное качество услуг, операторы связи должны обеспечить широкое радиопокрытие всех зон присутствия своих клиентов и потенциальных клиентов. Используемое для этого сетевое оборудование в сочетании с магистральной IP-инфраструктурой генерирует внушительный объем данных, которые способствуют эффективному управлению дорожным
движением в режиме реального времени. В отличие от метода краудсорсинга, авторы предложили инновационный подход, основанный на моделировании трафика на микроуровне, включающий также временной аспект анализируемого трафика. Это позволило осуществлять мониторинг трафика в различные временные интервалы. Конфиденциальность данных клиентов и экономическая эффективность решения были одними из основных принципов при разработке решения. Решение Traffic Telco Big Data (Traffic-TBD) было построено на основе трехслойной архитектуры: уровень данных, уровень обработки и уровень приложений. Роль первого уровня заключается в агрегировании данных, собранных из различных источников, а именно: телекоммуникационных данных, геопространственных данных и социальных данных. Для этого используется технология HDFS в сочетании с Apache Hive. Что касается управления каталогом, авторы предпочли использовать СУБД. Второй уровень - это использование Apache Spark для обработки данных в режиме онлайн. Его роль заключается в сопоставлении входящего трафика с дорожной сетью, при этом обеспечивается конфиденциальность данных. Последний уровень предоставляет несколько функций, позволяющих пользователям получить информацию о перегруженных районах, оптимизированных маршрутах, продолжительности поездок и скорости путешественников.
Заключение
Большие данные обещают стимулировать рост и повысить эффективность и прибыльность телекоммуникационного сектора. Благодаря Big Data провайдеры улучшат маршрутизацию и обслуживание клиентов. Кибермошенничество будет выявляться незамедлительно. Большие данные позволят операторам быстро и гибко менять тарифные планы, а также помогут организовать маркетинговые кампании, направленные на конкретных клиентов, благодаря использованию технологий определения местоположения и анализа социальных сетей. На основе информации о поведении клиентов и использовании сетевых ресурсов будут разработаны
новые продукты, которые позволят снизить затраты и обеспечить новые источники дохода.
Список литературы
1. Как телекоммуникационный сектор использует Big Data [Электронный ресурс]. — Электрон. данн.- Режим доступа. - URL: https://mediasat.info/2020/10/29/kak-telekommunikacionnyj-sektor-ispolzuet-big-data/ Дата обращения 23.05.2021. — Загл. с экрана.
2. Bughin J. / Reaping the benefits of big data in telecom: / Journal of Big Data — 3 (2016) — pp. 14.
3. Chen, 2016 C.M. Chen, / Use cases and challenges in telecom big data analytics. APSIPA Transactions on Signal and Information Processing — 5 —2016, Article e19.
