Научная статья на тему 'Сбор и обработка больших данных в системах мониторинга информационно-телекоммуникационных сетей средствами технологии Hadoop'

Сбор и обработка больших данных в системах мониторинга информационно-телекоммуникационных сетей средствами технологии Hadoop Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
133
27
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
Big Data / On-line Analyzing Processing / измерительная информация / информационно-телекоммуникационная сеть / Hadoop / сервер мониторинга / система мониторинга / техническое состояние. / Big Data / On-line Analyzing Processing / measurement information / information and telecommunication network / Hadoop / monitoring server / monitoring system / technical condition.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Будко Никита Павлович, Васильев Николай Владимирович, Груздев Алексей Андреевич

В статье ставится задача рассмотреть вопросы представления и обработки измерительной информации о техническом состоянии устройств распределенных информационно-телекоммуникационных систем и сетей на основе аналитики больших объемов данных (Big Data) с помощью технологии Hadoop. Целью работы является систематизация результатов обработки измерительной информации о состоянии элементов информационно-телекоммуникационных сетей в виде так называемых «витрин данных» в интересах ситуационного управления системой. Используемые методы: в работе используются методы на основе технологий On-line Analyzing Processing – интерактивного анализа данных, посредством OLAP-кубов и средств выборки данных и их визуализации на ситуационном центре ведомства (корпорации). Новизна обсуждаемого решения состоит в применении «витрин данных» о техническом состоянии устройств распределенной сетевой инфраструктуры, формируемых от нескольких серверов мониторинга, работающих под системами сетевого мониторинга. К результатам работы следует отнести: представленную структуру узла мониторинга, осуществляющего производство данных сервером мониторинга и их взаимосвязь; порядок формирования «витрины данных» в виде «таблицы событий» как «таблицы фактов» (в терминологии OLAP – кубов «таблица событий» это та же «таблица фактов» о состоянии объекта мониторинга). Практическая значимость работы заключается в предложенной реализации на ситуационном центре ведомства «витрин данных» средствами Hadoop на примере распределенной информационно-телекоммуникационной сети Министерства транспорта России и его Федеральных агентств.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Будко Никита Павлович, Васильев Николай Владимирович, Груздев Алексей Андреевич

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Collection and processing of big data in monitoring systems of information and telecommunication networks by means of Hadoop technology

The article aims to consider the issues of presentation and processing of measurement information about the technical condition of devices of distributed information and telecommunication systems and networks based on big data analytics using Hadoop technology. The aim of the work is to systematize the results of processing measuring information about the state of elements of information and telecommunication networks in the form of so-called "data showcases" in the interests of situational management of the system. Methods used: the work uses methods based on On-line Analyzing Processing technologies – interactive data analysis, using OLAP-cubes and data sampling and visualization tools at the situation center of the department (corporation). The novelty of the solution under discussion consists in the use of "data showcases" on the technical condition of distributed network infrastructure devices generated from several monitoring servers operating under network monitoring systems. The results of the work should include: the presented structure of the monitoring node that produces data by the monitoring server and their relationship; the order of formation of the "data showcase" in the form of an "event table" as a "fact table" (in the terminology of OLAP cubes, the "event table" is the same "fact table" about the state of the monitoring object). The practical significance of the work lies in the proposed implementation on the situation center of the department of "data storefronts" by Hadoop using the example of a distributed information and telecommunications network of the Ministry of Transport of Russia and its Federal Agencies.

Текст научной работы на тему «Сбор и обработка больших данных в системах мониторинга информационно-телекоммуникационных сетей средствами технологии Hadoop»

УДК 504.064.36 DOI: 10.24412/2782-2141-2023-1-78-88

Сбор и обработка больших данных в системах мониторинга информационно-телекоммуникационных сетей средствами технологии Hadoop

Будко Н. П., Васильев Н. В., Груздев А. А.

Аннотация. В статье ставится задача рассмотреть вопросы представления и обработки измерительной информации о техническом состоянии устройств распределенных информационно-телекоммуникационных систем и сетей на основе аналитики больших объемов данных (Big Data) с помощью технологии Hadoop. Целью работы является систематизация результатов обработки измерительной информации о состоянии элементов информационно-телекоммуникационных сетей в виде так называемых «витрин данных» в интересах ситуационного управления системой. Используемые методы: в работе используются методы на основе технологий On-line Analyzing Processing -интерактивного анализа данных, посредством OLAP-кубов и средств выборки данных и их визуализации на ситуационном центре ведомства (корпорации). Новизна обсуждаемого решения состоит в применении «витрин данных» о техническом состоянии устройств распределенной сетевой инфраструктуры, формируемых от нескольких серверов мониторинга, работающих под системами сетевого мониторинга. К результатам работы следует отнести: представленную структуру узла мониторинга, осуществляющего производство данных сервером мониторинга и их взаимосвязь; порядок формирования «витрины данных» в виде «таблицы событий» как «таблицы фактов» (в терминологии OLAP - кубов «таблица событий» это та же «таблица фактов» о состоянии объекта мониторинга). Практическая значимость работы заключается в предложенной реализации на ситуационном центре ведомства «витрин данных» средствами Hadoop на примере распределенной информационно-телекоммуникационной сети Министерства транспорта России и его Федеральных агентств.

Ключевые слова: Big Data, On-line Analyzing Processing, измерительная информация, информационно-телекоммуникационная сеть, Hadoop, сервер мониторинга, система мониторинга, техническое состояние.

Введение

Все возрастающая роль ситуационного управления и широкое внедрение ситуационных центров (СЦ) при создании и развитии в Российской Федерации (РФ) экономики нового уклада на основе новых информационных технологий сегодня общепризнанный факт, зафиксированный во многих руководящих документах как уровня Президента России, так и Правительства РФ [1]. В то же время, на сегодня еще не все федеральные службы и агентства, а также федеральные органы исполнительной власти (ОИВ), имеют функционирующие по единому регламенту взаимодействия ситуационные центры, создаваемые согласно Указа Президента РФ № 648 от 25 июля 2013 г. [2]. При этом иерархически структура сети распределенных ситуационных центров органов ОИВ включает в себя три уровня: высший уровень (СЦ Президента РФ, СЦ Правительства РФ, СЦ Совета безопасности РФ и Администрации Президента РФ); второй уровень (СЦ руководителей министерств, полномочных представителей Президента РФ в федеральных округах; третий уровень (СЦ глав субъектов РФ, крупных предприятий) [2]. В тех ОИВ, где структуры СЦ уже созданы, программы цифровизации государственного управления развиваются более эффективнее, поскольку обеспечивают переход от простого мониторинга к всестороннему и комплексному анализу развития экономики, долгосрочному планированию и прогнозу [2].

Применительно к такой критически важной инфраструктуре, как транспортная отрасль, (Министерство транспорта РФ) задача формирования сети распределенных СЦ не нова. На сегодня в каждом федеральном агентстве Минтранса уже функционируют

подобные элементы, спроектированные на информационно-телекоммуникационных сетях (ИТКС) общего пользования (ОП), объединяющие в свою структуру наземные сегменты систем связи и радиотехнического обеспечения при организации управления воздушным движением (ВД), развернутые вдоль железных и автомобильных дорог со средствами сигнализации и связи при управлении движением поездов (ДП) и автотранспортом, автоматизированных систем управления (АСУ) движением судов (ДС) в морских акваториях и на внутренних водных путях (ВВП) РФ.

Системы мониторинга подобного типа, построенные на основе распределенных СЦ министерств и ведомств, а также ОИВ регионов, на сегодня представляют из себя сложнейший информационно-технологический комплекс с распределенным сбором измерительной информации (ИИ) на местах (объектах мониторинга), передачей (трансляцией) ее на огромные географически протяженные расстояния и обработкой структурированных и неструктурированных данных огромных объёмов (Big Data) в интересах систем поддержки принятия решений на ситуационное управление. Подобные системы обработки больших данных не могут работать в ручном режиме и по праву относятся к классу систем с интеллектуальным анализом данных (Data Mining), основными задачами которых являются: классификация; кластеризация; прогнозирование; анализ и обнаружение отклонений; их оценивание; визуализация и пр.

В статье представлено использование так называемых «витрин данных» на примере подсистемы мониторинга ИТКС ОП Федеральных агентств Росавиация, Росморречфлот, Росжелдор и Росавтодор Министерства транспорта Российской Федерации. При этом интеллектуальный анализ данных (Data Mining) осуществляется на ситуационном центре Минтранса, оборудованного хранилищем больших данных Hadoop с выделением на его основе «витрины данных» посредством OLAP-кубов и средств выборки данных и их визуализации.

Применимость систем мониторинга на информационно-телекоммуникационных сетях общего пользования

Системы мониторинга телекоммуникационных сетей стали в настоящее время неотъемлемым инструментом системного администратора. В табл. 1 представлены наиболее распространенные системы сетевого мониторинга на ИТКС ОП.

Таблица 1 - Обзор основных систем сетевого мониторинга

Название Zabbix Prometheus Nagios SCOM Cacti

Диаграммы Да Да Да Да Да

Автоматическое обнаружение Да Частично Через плагин Да Через плагин

Без агента Да Да Да Да Нет

SNMP Да Да Да Да

WMI Да Да Неизвестно Да Нет

Внешние скрипты Да Да Да Да Да

Плагины Да Да Да Да Да

Триггеры Да Да Да Да Да

Доступ через Web Полный доступ Просмотр Полный доступ Полный доступ Полный доступ

Распределенный мониторинг Да Да Да Да Нет

Инвентаризация Да Да Да Да Да

Метод хранения данных Oracle, MySQL, PostgreSQL, SQLite Time Series Database (TSDB) Плоская база данных, SQL Microsoft SQL Server RRDtool, MySQL, PostgreSQL

Лицензия GNU GPL GNU GPL Коммерческая, бесплатная Коммерческая GNU GPL

Стоимость Бесплатно Бесплатно От$1995 От $3607 Бесплатно

Карты Да Да Да Да Да

Платформа UNIX UNIX UNIX Windows Windows, UNIX

Контроль доступа Да Внешними средствами Да Да Да

Применимость основных систем мониторинга в мировом сообществе на сегодняшний день приведена на рис. 1. К таким системам мониторинга можно отнести такие как Zabbix, Nagios, Cacti, Prometheus и другие.

• Zabbix • Nagios «Cacti • Prometheus • System Center Operations Manager Рис. 1. Применимость основных систем мониторинга в мировом сообществе

Этапы их выхода на рынок информационно-телекоммуникационных услуг приведены на рис. 2. Так, на конец 2022 года в России наибольшее предпочтение отдается таким системам мониторинга как Zabbix и Prometheus.

• Zabbix • Nagios • Cacti • Prometheus • System Center Operations Manager

Рис. 2. Этапы выхода основных систем мониторинга на рынок информационно-телекоммуникационных услуг в мировом сообществе

Использование в ведомственных (корпоративных) ИТКС ОП централизованного сервера сбора данных о состоянии телекоммуникационной инфраструктуры позволяет наиболее эффективно решать задачи оперативного контроля выхода из строя или восстановления работоспособности отдельных сетевых компонентов. Так на рис. 3 приведен вариант карты сетей в Zabbix с выделением красным транспарантом элементов ИТКС, имеющих отклонение функциональных параметров за пределы эксплуатационных допусков (левая верхняя часть интерфейса сервера мониторинга) [3].

Как показано на рис. 4, структурно сервер мониторинга состоит из:

- сборщика «сырых» данных, осуществляющий сбор метрик через приемный шлюз;

- базы данных временных рядов, пополняемой от сборщика «сырых» данных;

- HTTP сервера, взаимодействующего с объектами мониторинга, а также подсистемой оповещения и подсистемой отображения других сегментов ситуационного центра [4].

Сборщик «сырых» данных по протоколу HTTP осуществляет опрос подконтрольных объектов мониторинга и размещает получаемые метрики в базе временных рядов. Таким образом, накопленные данные (ИИ) о состоянии одного и того же объекта мониторинга и его изменение во времени можно наблюдать, своевременно сигнализируя об отказах (авариях, блокировках) или приближении технического состояния наблюдаемого объекта к предотказному (предаварийному) состоянию, рис. 3.

Рис. 3. Вариант карты сетей в Zabbix

Рис. 4. Структурная схема сервера мониторинга ИТКС и зависимых элементов

Использование больших данных в задачах мониторинга

К видам собираемых системой мониторинга данных, прежде всего, относят первичные данные, рис. 5:

- события, events (трапы, системные события, предобработанные первичные данные);

- отказы, faults (предобработанные события);

- топология, structure (структура сетевых элементов, соединений, подсетей);

- первичные измерения объектов мониторинга, RAW DATA (сетевых элементов, соединений, сегментов);

После предобработки, как правило, путем сравнения с пороговым критическим значением, формируются события (норма, авария, предупреждение).

В последствии механизмы мониторинга производят фильтрацию событий для исключения дублей и выявления наиболее важных из них (выход параметра за пределы допуска, предаварийное состояние и пр.). Происходит формирование множества отказов.

Несколько в стороне от описанной схемы лежит сбор топологических данных о структуре телекоммуникационной сети. Он, как правило, носит вспомогательный характер для формирования отображаемой карты сети и корреляции событий при вычислении отказов.

Рис. 5. Формирование данных сервером мониторинга

Однако собираемые данные мониторинга могут использоваться не только для анализа текущего состояния отдельных сетевых элементов. На ретроспективных данных о состоянии сети связи можно осуществить, например, анализ и прогноз использования сетевых ресурсов, сформировать модель распространения отказов (анализ надежности), поиск модели нарушителя (анализ безопасности), планирование и оптимизацию сетей и её ресурсов при развитии сети, рис. 6.

Рис. 6. Использование больших данных в задачах мониторинга

Сбор данных мониторинга посредствам технологии Hadoop

Распространение технологии обработки больших данных позволяет решать подобные задачи в поточном режиме. Для объединения четырех потоков данных мониторинга (первичные данные, отказы, события, данные о топологии) можно использовать технологию mapreduce, которая является центральным компонентом технологии Hadoop. Интегральной сущностью (таблицей фактов) при этом выступает событие мониторинга, которое помимо типа события и времени фиксации содержит данные об объекте мониторинга (топологические данные структуры сети), субъект мониторинга (конфигурация агента измерения), а также (возможно) сами данные. Процедура производства данных сервером мониторинга и их взаимосвязь показана на рис. 7.

Рис. 7. Производство данных сервером мониторинга и их взаимосвязь

Событие является центральной сущностью при анализе данных мониторинга, рис. 8. При этом так называемые «витрины данных» о состоянии объекта мониторинга формируются в виде «таблицы событий» с указанием: типа события, времени, идентификатора объекта мониторинга, его IP-адреса, данных мониторинга (или измерительной информации) и выявленных отказов (или нарушений). В терминологии OLAP - кубов «таблица событий» это та же «таблица фактов».

На сегодняшний день технология Hadoop представляет из себя основополагающую технологию хранения и аналитики больших объемов данных (Big Data), фактически реализуемую на распределенной базе данных (со своей инфраструктурой сбора данных), в которую «сбрасывают» данные различные поставщики. Она имеет стандартизированные интерфейсы представления данных, основанные на SPARK-анализе и визуализации, рис. 9. Здесь данные хранятся по технологии «ключ-значение» [5-7]. При этом «ключ» характеризуется конкретным устройством (элементом) распределенной информационно-телекоммуникационной сети и параметрами, описывающими его функционирование, а «значение» - временными рядами измерительной информации со значениями параметров, снимаемыми с этого устройства (элемента сети) во времени.

Особенность технологии Hadoop состоит в том, что данные (измерительная информация) можно собирать со всей распределенной сетевой инфраструктуры и систематизироваться в виде так называемых «витрин данных» [8], например, с помощью OLAP-кубов (On-Line Analytical Processing - интерактивный анализ данных), формируемых от нескольких распределенных серверов мониторинга, работающих под системами сетевого мониторинга (Prometheus, Zabbix и пр.), рис. 10. Т. е. для аналитики больших объемов данных требуется не отдельный сервер мониторинга, а их совокупность, в которой данные реплицируются во времени.

Рис. 8. Формирование витрины данных в виде таблицы событий как таблицы фактов

отк азы

Рис. 9. Реализация витрин данных средствами Hadoop

При этом Hadoop предоставляет Spark-платформу [5] разработки приложений аналитики данных. Например, на Spark можно разработать сценарий для сбора данных от элементов распределенной информационно-телекоммуникационной сети (на рис. 11 представлен вариант структуры web-интерфейса сервера мониторинга распределенной ИТКС участка Волго-Балтийского внутреннего водного пути России). Для графоаналитических расчетов (аналитика на основе граф-метрик) необходимы наборы данных (Dataset), которые включают трафик, значения параметров (измерительную информацию) о состоянии элементов, собранные с распределенной сетевой инфраструктуры, а не только данные, проходящие через маршрутизатор доступа (граничный маршрутизатор).

Hadoop позволяет сформировать такой набор. Apar Spark (входящий в Hadoop) осуществляет расчет граф-метрик [9] для реализации аналитики поведения (состояния) распределенной сети.

Рис. 10. Вариант применения витрин данных (на примере распределенной ИТКС Минтранса России и ее федеральных агентств)

-> С a grafanaduduh ru'ri'.fplB'IK.Ull/iony pobrytiia-bnrgovykh radiololiatvonnykh-dantsji r»a-20il'orgldil«va«-ongin_pro<nrtheusi&Ya

G SS Карты /Зоны покрытия береговых радиолокационных станций не 2021 û <

portpf&vaf-hosinameinasÄvar-nod^ilO 11 12 40:9100&vai-devicF=AllKvai-inte>val=2m&vsr-_ Q » Я ф

ÉJ» В ® © Lall 12 hours - О Q - С 9 up«» О отм, в Hv^rxi ЦП* Kwwhcik «JHP ОЗУ Вр*м* работы

4 31 GIB 5 week

Î 20.8% 12-6%

Трафик * час на Свириц» nil ;J wULw Системна« натру «ta }»« И00 <*М ММ 1000 1Ю0

Ol 00 0Î00 0J W 01« OÎOO «00 0700 00 00 0»00 Истолааованн* пролуской способности с*ти на С»«<р*ца (по процессам) 100« поо «00 _ 1Sl "" «0Й ЫМ U<» ММ IÛ 00 1ÎM ЦПУ (подровн*й)

9.51 СЙ Я\ 1 10*........... —!- "--—Г"--- 1'О

Рис. 11. Вариант структуры web-интерфейса сервера мониторинга ИТКС

(на участке Волго-Балтийского внутреннего водного пути РФ)

Выводы

1. Современные технологии больших данных (Big Data) наряду с широкими каналами создают предпосылки для формирования базы «интеллектуального» мониторинга, широко использующего подходы машинного обучения не только для анализа долговременных трендов, но и для оперативной аналитики состояния устройств и распределенных телекоммуникационных сетей.

2. При трансляции всех первичных данных (измерительной информации) о значениях параметров элементов сети в центр обработки такую задачу возможно реализовать. Если представить одну подсеть (ИТКС) сверткой с числом «событий» в 5-6 функциональных состояний («неопределенное» (Undefined), «норма» (Normal), «незначительное нарушение» (Minor), «значительное нарушение» (Major), «критическое» (Critical), «авария» (Fault) [10]), другую подсеть - аналогично, то на верхнем уровне подсистема мониторинга ИТКС может лишь констатировать работоспособность или блокировку сети в целом, без детализации конкретных метрик ее параметров.

3. В настоящее время Hadoop - это де-факто базовая технология хранения и обработки (аналитики) больших объемов данных (Big Data), реализуемая на распределенной файловой системе HDMS. В указанной структуре функционирует хранилище «ключ-значение» HBase, осуществляющее сбор первичных данных нескольких узлов мониторинга, формируя т. н. витрину первичных данных аналитики. Причем «ключ» характеризует конкретное устройство распределенной сети параметрами, описывающими функционирование, а «значение» - временными рядами измерительной информации со значениями параметров, снимаемыми с этого устройства во времени.

4. Особенность баз данных HBase состоит в её оптимизации под операции чтения и записи, наиболее отвечающих потребностям мониторинга. Данные (измерительная информация) собирается средствами Hadoop Flume со всей распределенной сети и агрегируется в виде т. н. «витрин данных», частным случаем которых являются классические OLAP-кубы.

5. Рассмотренный вариант реализации сценария формирования витрин данных на основе Hadoop позволяет в последующем сформировать порядок функционирования всей подсистемы мониторинга для идентификации аномалий в работе ИТКС, что является направлением дальнейшего исследования. При этом на подсистеме сетевого мониторинга нового поколения планируется активнее использовать многомерную обработку данных (ИИ), снимаемых с сетевых устройств, каналов, интерфейсов, подсетей и т. д.

Литература

1. Зацаринный А. А., Шабанов П. А. Технология информационной поддержки деятельности организационных систем на основе ситуационных центров. - М. : ТОРУС ПРЕСС, 2015. - 232 с.

2. Указ Президента Российской Федерации от 25 июля 2013 года N 648 «О формировании системы распределенных ситуационных центров, работающих по единому регламенту взаимодействия». [Электронный ресурс] Текстовые дан. - URL: http://www.consultant.ru свободный доступ. (Дата обращения 10.03.2023).

3. Аллакин В. В., Будко Н. П., Васильев Н. В. Общий подход к построению перспективных систем мониторинга распределенных информационно-телекоммуникационных сетей // Системы управления, связи и безопасности. 2021. №4. С. 125-227. DOI: 10.24412/2410-9916-2021-4-125-227.

4. Аллакин В. В. Формирование сервера мониторинга функциональной безопасности информационно-телекоммуникационной сети общего пользования на основе оценки SRE-метрик // Техника средств связи. 2021. № 1 (153). С. 77-85.

5. D'Alconzo A., Drago I., Morichetta A., Mellia M., Casas P. A Survey on Big Data for Network Traffic Monitoring and Analysis. [Электронный ресурс] arXiv:2003.01648v1 [cs.DC] 3 Mar 2020. Текстовые дан. - URL: https://www.researchgate.net/publication/339674996 свободный доступ. (Дата обращения 22.01.2023).

6. Емельянов А. Мониторинг сервисов с Prometheus. [Электронный ресурс] Текстовые дан. -URL: https://habr.com/ru/company/selectel/blog/275803 свободный доступ. (Дата обращения 22.01.2023).

7. Мокшина О. Как базы данных «ключ-значение» обеспечивают производительность и масштабируемость без границ. [Электронный ресурс] Текстовые дан. — URL: https://habr.com/ru/company/vk/blog/685402 свободный доступ. (Дата обращения 22.01.2023).

8. Воронков К. Л., Шерстюк Ю. М., Романенко А. И. Методика синтеза структуры витрины данных медико-генетического мониторинга // Информационно-управляющие системы. 2006. N° 1. С. 14-20.

9. Bunke P., Dickinson P. J., Kraetzl M., Wallis W. D. Graph-Theoretic Approach to Enterprise Network Dynamics. Basel. Birkhauser. 2007. 226 p.

10. Recommendation ITU-T M.3703 Common management services. Alarm management. Protocol neutral requirements and analysis — URL: http://www.itu/int/rec/T-REC — M.3703 — 201006-1 (дата обращения 03.07.2021).

References

1. Zatsarinny, A.A. Technology of information support for the activities of organizational systems based on situational centers. / A.A. Zatsarinny, P.A. Shabanov. — M. : TORUS PRESS, 2015. — 232 p. (in Russian).

2. Decree of the President of the Russian Federation No. 648 dated July 25, 2013 "On the formation of a system of distributed situational centers operating under a single interaction regulation". [Electronic resource] Text data. — Access mode: http://www.consultant.ru free. (Accessed 10.03.2023). (in Russian).

3. Allakin V. V., Budko N. P., Vasiliev N. V. A general approach to the construction of advanced monitoring systems for distributed information and telecommunications networks. Systems of Control, Communication and Security, 2021, no. 4, pp. 125-227. DOI: 10.24412/2410-9916-2021-4-125-227 (in Russian).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

4. Allakin V.V. Formation of a server for monitoring the functional security of a public information and telecommunications network based on the evaluation of SRE metrics. Means of Communication Equipment. 2021. No. 1 (153). Pp. 77-85 (in Russian).

5. D'Alconzo A., Drago I., Morichetta A., Mellia M., Casas P. A Survey on Big Data for Network Traffic Monitoring and Analysis. [Electronic resource] arXiv:2003.01648v1 [cs.DC] 3 Mar 2020. Text data. — Access mode: https://www.researchgate.net/publication/339674996 свободный. (Accessed 22.01.2023).

6. Emelyanov A. Monitoring of services with Prometheus. [Electronic resource]. Text data. — Access mode: https://habr.com/ru/company/selectel/blog/275803 free. (Accessed 22.01.2023). (in Russian).

7. Mokshina O. How key-value databases provide performance and scalability without borders. [Electronic resource]. Text data. Available at: https://habr.com/ru/company/vk/blog/685402 free. (Accessed 22.01.2023). (in Russian).

8. Voronkov K. L., Sherstyuk Yu. M., Romanenko A. I. Method of synthesis of the structure of the medical-genetic monitoring data showcase // Information and control systems. 2006. No. 1. pp. 14-20. (in Russian).

9. Bunke P., Dickinson P. J., Kraetzl M., Wallis W. D. Graph-Theoretic Approach to Enterprise Network Dynamics. Basel. Birkhauser. 2007. 226 p.

10. Recommendation ITU-T M. 3703 Common management services. Alarm management. Protocol neutral requirements and analysis. Text data. Access mode: http://www.itu/int/rec/T-REC -M. 3703-2010061 (Accessed 30 July 2021).

Статья поступила 15 марта 2023 года

Информация об авторах

Будко Никита Павлович — кандидат технических наук. Независимый специалист. E-mail: budko62@mail.ru. Адрес: 194064, г. Санкт-Петербург, ул. Бутлерова, д. 9, корп. 1, кв. 252.

Васильев Николай Владимирович — кандидат технических наук, доцент. Начальник сектора ПАО «Интелтех». E-mail: gandvik1984@gmail.com. Тел.: +7(911)120-26-22. Адрес: Россия, 197342, г. Санкт-Петербург, ул. Кантемировская, дом 8.

Груздев Алексей Андреевич — студент Московского государственного технического университета радиотехники, электроники и автоматики (Российский технологический университет). E-mail: gruzdev.a.a26@mail.ru. Тел.: +7(999)360-16-72. Адрес: Россия, 355002, г. Ставрополь, ул. Мичурина, д. 2, лит. В.

Collection and processing of big data in monitoring systems of information and telecommunication networks by means of Hadoop technology

N. P. Budko, N. V. Vasiliev, A. A. Gruzdev

Annotation. The article aims to consider the issues of presentation and processing of measurement information about the technical condition of devices of distributed information and telecommunication systems and networks based on big data analytics using Hadoop technology. The aim of the work is to systematize the results of processing measuring information about the state of elements of information and telecommunication networks in the form of so-called "data showcases" in the interests of situational management of the system. Methods used: the work uses methods based on On-line Analyzing Processing technologies - interactive data analysis, using OLAP-cubes and data sampling and visualization tools at the situation center of the department (corporation). The novelty of the solution under discussion consists in the use of "data showcases" on the technical condition of distributed network infrastructure devices generated from several monitoring servers operating under network monitoring systems. The results of the work should include: the presented structure of the monitoring node that produces data by the monitoring server and their relationship; the order offormation of the "data showcase" in the form of an "event table" as a "fact table" (in the terminology of OLAP cubes, the "event table" is the same "fact table" about the state of the monitoring object). The practical significance of the work lies in the proposed implementation on the situation center of the department of "data storefronts" by Hadoop using the example of a distributed information and telecommunications network of the Ministry of Transport of Russia and its Federal Agencies.

Keywords: Big Data, On-line Analyzing Processing, measurement information, information and telecommunication network, Hadoop, monitoring server, monitoring system, technical condition.

Information about Authors

Budko Nikita Pavlovich - Candidate of Technical Sciences. An independent specialist. E-mail: budko62@mail .ru.

Address: 194064, St. Petersburg, Butlerova str., 9, bldg. 1, sq. 252.

Vasiliev Nikolay Vladimirovich - Candidate of Technical Sciences, Associate Professor. Head of the Sector of at PJSC «Inteltech».E-mail: gandvik1984@gmail.com. Tel.: +7(911)120-26-22.

Address: Russia, 197342, St. Petersburg, Kantemirovskaya str., house. 8.

Alexey Andreevich Gruzdev - Is a student of the Moscow State Technical University of Radio Engineering, Electronics and Automation (Russian Technological University). E-mail: gruzdev.a.a26@mail.ru . Tel.: +7(999)360-16-72.

Address: Russia, 355002, Stavropol, Michurina str., house 2, lit. B.

Для цитирования: Будко Н. П., Васильев Н. В., Груздев А. А. Сбор и обработка больших данных в системах мониторинга информационно-телекоммуникационных сетей средствами технологии Hadoop // Техника средств связи. 2023. № 1 (161). С. 78-88. DOI: 10.24412/2782-2141-2023-178-88.

For citation: Budko N. P., Vasiliev N. V., Gruzdev А. А. Collection and processing of big data in monitoring systems of information and telecommunication networks by means of Hadoop technology. Means of Communication Equipment. 2023. No. 1 (161). Pp. 78-88 (in Russian). DOI: 10.24412/2782-2141-20231-78-88.

i Надоели баннеры? Вы всегда можете отключить рекламу.