CC BY
43
Об использовании алгоритмов анализа и обработки данных системы мониторинга ИТ-сервисов ГВЦ ОАО «РЖД»
М.А. Большаков Санкт-Петербургский Информационно-вычислительный центр ОАО «РЖД» Санкт-Петербург, Россия bolshakovm@yandex.ru
Аннотация. Рассматриваются и сравниваются различные инструментальные системы мониторинга ИТ-инфраструктуры Zabbix, Nagios, ManageEngine OpManager, Hewlett Packard Operations Manager, Naumen Network Manager и IBM Tivoli. Указаны функции, которые должна выполнять система мониторинга и управления ИТ-инфраструктурой в целевом состоянии. Описывается текущее состояние системы мониторинга ИТ-инфраструктуры в ОАО «РЖД». Приводятся математическая постановка задачи определения контрольных значений метрик, пример разработки нейронной сети для определения контрольных значений метрик и рекомендации по ее улучшению.
Ключевые слова мониторинг, ресурсно-сервисные модели, разнородные данные, большие данные, нейросетевые методы, параллельная обработка.
Введение
Доля охвата автоматизированными системами технологических процессов в ОАО «РЖД» постоянно растет. К настоящему времени в автоматизированных системах накоплено и задействовано в работе огромное количество данных. Новые возможности современных инструментов обработки информации позволяют более полно использовать накапливаемые данные для решения целого ряда текущих задач [1]. Так, все большее признание и потребность в использовании получает технология «большие данные» (Big Data). Следует отметить, что особенностью «больших данных» применительно к компании ОАО «РЖД» является то, что информация поступает из внешних и из внутренних источников. Имеющиеся объемы данных полностью соответствуют принятым в настоящее время характеристикам «больших данных» «7 V»: Volume (объем), Velocity (скорость), Variety (разнообразие), Veracity (достоверность), Variability (изменчивость), Visualization (визуализация), Value (ценность) [2].
Одним из важнейших направлений повышения эффективности деятельности компании является снижение количества отказов и эксплуатационных расходов. При этом способы решения данных вопросов в целом схожи как для железнодорожной инфраструктуры, так и для ИТ-инфраструктуры. Например, одним из подходов к реализации мониторинга состояния железнодорожной инфраструктуры является использования концепции IRV (Instrumented Vehicles), суть которой заключается в оснащении вагонов рабочего парка средствами контроля состоя-
С.В. Пугачев Петербургский государственный университет путей сообщения Императора Александра I Санкт-Петербург, Россия nki-pugachev@yandex.ru
ния инфраструктуры. В локомотивном хозяйстве данные о работе узлов и деталей тягового подвижного состава счи-тываются непосредственно датчиками, находящимися на локомотиве [3]. В ИТ-инфраструктуре применяется аналогичный подход: различными способами снять показания работы всех узлов, где под узлами понимаются элементы вычислительных ресурсов, задействованных в создании ИТ-сервиса.
При этом в вопросе выбора конкретного поставщика системы мониторинга надо исходить из соответствия функционала рассматриваемого решения тем задачам и особенно масштабам задач, которые надо решить на имеющемся в организации ИТ-ландшафте.
О системах мониторинга ИТ-инфраструктуры
В настоящее время для решения задачи полного охвата системой мониторинга ИТ-инфраструктуры чаще других применяются следующие инструментальные системы:
• Zabbix - система с открытым кодом, характеризующаяся достаточно высокой производительностью и готовностью к масштабируемости вплоть до данных корпоративного уровня. Благодаря технологии открытого кода и широкой применимости имеет достаточно активное сообщество разработчиков, с помощью которого даже начинающий администратор системы мониторинга может разобраться с инсталляцией и сопровождением достаточно быстро. Однако вопрос непосредственно внедрения (настройки и применения метрик сбора данных) может вызвать у администратора на первых этапах использования серьезные затруднения, так как готовых агентов для мониторинга в данном инструменте нет. Кроме того, к недостаткам относится слабая проработка средств визуализации.
• Nagios - инструмент с открытым исходным кодом со схожими характеристиками (как преимуществами, так и недостатками), что и Zabbix, за исключением оперативности применения новых настроек сбора данных. Если в Zabbix перестраивать алгоритмы сбора данных можно в режиме on-line, то после внесения изменений в Nagios требуется перезагрузка комплекса [4].
• ManageEngine OpManager - инструмент, позволяющий работать также в части автоматизированной реакции на аномальные ситуации. Обладает удобным и понятным интерфейсом, однако ограничен масштабируемостью дан-
ных - полностью оправдывает свое применение на малых и средних предприятиях, на более высоком уровне заметно уступает конкурентам по производительности.
• Hewlett Packard Operations Manager - пример законченной централизованной системы мониторинга, обладающей высокими характеристиками как в части интерфейса пользователя, так и качества работы с данными для различных объемов.
• Naumen Network Manager - российский продукт, обладающий всеми необходимыми параметрами для готового решения по выстраиванию процессов мониторинга ИТ-инфраструктуры. В условиях, когда многие государственные компании направляют усилия на импортозамещение в части ИТ-инструментария, такие продукты, безусловно, должны отвечать всем потребностям клиента. В настоящее время этот инструмент обладает хорошими характеристиками как со стороны удобства развертывания, внедрения и сопровождения, так и со стороны сбора и предоставления итоговых данных мониторинга после необходимой обработки.
• IBM Tivoli - инструмент для построения централизованной системы мониторинга, отличается простотой установки, но процесс первичной конфигурации требует наличия специалистов высокого уровня. Это связано в основном с тем, что его применяют на уровне корпоративных данных, когда этап конфигурации и настройки требует большой работы. В эксплуатации система интуитивно понятна, помимо широкого набора готовых и поддерживаемых со стороны разработчика агентов есть возможность самостоятельно формировать агенты мониторинга с помощью Agent Builder. В линейке мониторинга от данного поставщика имеются инструменты для всех функций мониторинга - от сбора данных посредством различных агентов и обработки получаемых данных до автоматизированного реагирования на сбои и отображения необходимой информации через витрины данных для всех уровней пользователей.
Однако следует понимать, что выбор того или иного поставщика средств мониторинга не приводит к использованию кардинально разных подходов для его реализации. Работающая система мониторинга и управления ИТ-инфраструктурой в целевом состоянии должна выполнять следующие функции:
• обнаружения ИТ-компонентов и определения зависимостей между ними - автоматическая установка агента мониторинга и последующий сбор информации, в том числе с целью поиска связей между данными метриками, характеризующими работу ИТ-компонентов;
• управления производительностью - сбор данных с целью прогнозирования утилизации ресурсов и формирования предложений по перераспределению/балансировке нагрузки;
• корреляции и управления событиями - обеспечение приема сообщений от всех источников данных мониторинга и их последующего анализа с целью обогащения данных о событии, выявления их схожести и определения корневой причины;
• автоматизированного реагирования на события с целью восстановления работоспособности компонента или услуги в целом.
Текущее состоянии системы мониторинга ИТ-инфраструктуры в ОАО «РЖД»
В настоящее время в ОАО «РЖД» в качестве централизованной системы мониторинга реализовано зонтичное решение, где посредством различных «зондов» на нижнем уровне сбора информации (агентов мониторинга от различных поставщиков) данные передаются и обрабатываются централизованно посредством IBM Tivoli. Благодаря широкому спектру готовых агентов мониторинга от IBM доля «зондов» Tivoli на нижнем уровне мониторинга составляет около 90 % от общего количества инструментов сбора информации по всей ИТ-инфраструктуре ОАО «РЖД», следующие по охвату - средства Zabbix. Именно зонтичная структура системы мониторинга позволяет охватить абсолютно все элементы ИТ-инфраструктуры и обрабатывать эти данные согласно единой логике, избежав различных локальных и не связанных между собой систем мониторинга, например для каждого типа оборудования или географической локации.
Таким образом, основные факторы, влияющие на решение о выборе поставщика, - это готовность работы с имеющимися объемами ИТ-инфраструктуры клиента и цена данного решения. При этом наиболее затратным является именно переход от простого мониторинга ИТ-инфраструктуры к управлению ИТ-инфраструктурой и мониторингу ИТ-сервисов, так как практически у всех поставщиков элементы продуктовой линейки, реализующие функцию обработки и прогнозирования данных, являются самыми дорогостоящими. В том числе поэтому компании зачастую останавливаются в развитии системы мониторинга на уровне сбора информации по оборудованию и генерации событий о его отказах, не рассматривая связи между его элементами.
В целевом состоянии в результате инвентаризации всех ресурсов, задействованных в предоставлении ИТ-сервиса, и последующего определения влияния элементов друг на друга и на ключевые показатели работоспособности всего сервиса определяется так называемая ресурсно-сервисная модель. Это понятие является ключевым для оценки возможных последствий отказов/сбоев в работе отдельных элементов инфраструктуры на итоговую возможность предоставления ИТ-сервиса. При этом состояние каждого элемента характеризуется метриками, снимаемыми автоматизированным способом [5].
Полученные значения метрик сравниваются с контрольными, и при их выходе за допустимые пределы система мониторинга оповещает причастный персонал технической поддержки о нештатном состоянии сервиса. При этом встает задача корректного определения этих контрольных или граничных значений нормального состояния для каждой метрики и их связей между собой.
Первоначально данные значения определяются экспертным путем, однако риск субъективизма в данном случае полностью исключить невозможно. Именно поэтому задача поддержания в актуальном состоянии граничных значений и их связей между собой для большого количества метрик является достаточно сложной, кроме того, при постоянном привлечении группы экспертов - затратной [6-8].
В рамках текущего уровня развития системы мониторинга ИТ в ГВЦ ОАО «РЖД» объем данных находится на уровне 11 терабайт, при этом данное значение будет лишь увеличиваться, так как для решения задачи автоматизированной приоритезации метрик, снимаемых с ИТ-инфраструктуры, и формирования ресурсно-сервисных моделей требуется больший, чем сейчас, горизонт хранения данных. В настоящее время при хранении агрегированных данных по большинству метрик горизонт хранения находится в интервале от 1 до 3 месяцев. Непосредственно первичные данные хранятся существенно меньше.
При этом в распоряжении специалистов, ответственных за мониторинг и сопровождение ИТ-инфраструктуры, находится 1318 уникальных метрик, комбинации из которых и накладываются на выбранные ИТ-сервисы. Особое внимание должно быть уделено разнородности данных по указанным метрикам. Например, по каждому ИТ-сервису должны анализироваться такие метрики, как численные значения утилизации процессоров, выраженные в процентах, оставшееся свободное место на виртуальном сервере в мегабайтах, время ответа сетевого оборудования по 1СМР в миллисекундах и текстовые значения ответов по статусу работы ВМе-шасси.
Указанная разнородность вместе с большим объемом данных и является причиной невозможности решения задачи, основанного лишь на знаниях, навыках и умениях экспертов, занятых в сопровождении ИТ-инфраструктуры, на которой развернуты ИТ-сервисы ГВЦ ОАО «РЖД» [9].
Математическая постановка задачи
Математическая постановка задачи определения контрольных значений метрик может быть представлена в
следующем виде: для каждой метрики Mi, г е [1, т],
необходимо определить контрольные значения Ki, которые позволяют однозначно разделить все множество значений метрики на нормальные и аномальные (возможно выделение пограничного состояния).
Для этого требуется найти вектор
К = (К1;..., К,..., Кт) при усл°вии:
К х М ^ Е,
где М = {Му) - матрица значений г-й метрики (г е[1, т]) в >й период времени (у е [1, п]);
Е = (Fl,...,Е,...,Еп) - итоговое состояние сервиса, Е. - состояние сервиса для каждого у-го момента времени,
где 0 - штатное состояние, 1 - сбой.
Рассматриваемая задача может быть решена классическими методами решения совместной системы линейных уравнений:
K хM11 +••• + K xM1,. +••• + Km xM1m = F ;
K. XM, +••• + K XM.. +••• + K XM . = F :
1 j1 , J, m jm j -
k x mnl + •
•+ K XM„, +••• + Km XMnm = F„.
В то же время эта задача может быть решена с помощью аппарата искусственных нейронных сетей [8]. Эти сети имеют различную структуру, каждая из которых в свою очередь имеет преимущества и недостатки для решения разного рода задач. Исходя из того, что в -й момент времени дано значение метрик для всех предыдущих измерений и стоит задача оценки вероятности изменения итогового состояния ИТ-сервиса (отказ/деградация), можно говорить о задаче прогнозирования, т. е. о частном случае задачи регрессии. Для задач такого типа наиболее оправданным является применение нейронных сетей прямого распространения (персептронов) [10].
При этом количество слоев для сети прямого распространения и количество нейронов на каждом слое - это величины, от которых зависит, с одной стороны, скорость, с другой стороны качество обучения предложенной нейронной сети. Степень усложнения архитектуры сети и увеличения количества нейронов зависит в свою очередь от имеющихся ограничений по вычислительным мощностям.
В условиях деятельности ГВЦ ОАО «РЖД» не менее важным, чем качество расчетов коэффициентов K. , является скорость данных расчетов, так как для данной задачи обязательно требуется организовать периодический пересчет модели с целью поддержания в актуальном состоянии.
Для достижения этой цели и снижения возможного негативного влияния на ИТ-сервисы, предоставляемые ГВЦ ОАО «РЖД» потребителям, процесс периодического обучения нейронной сети должен выполняться во время минимальной загрузки вычислительного комплекса, например в режиме ежесуточного переобучения в ночное (по московскому часовому поясу) время.
Сам процесс обучения должен выстраиваться в формате обучения с учителем - обучение посредством предъявления множества имеющихся примеров входных данных
M и эталонных решений F . Как сказано выше, эта задача по сути является задачей прогнозирования, для решения которой чаще всего применяется алгоритм обучения с обратным распространением ошибки. При этом его главным недостатком является слишком долгий процесс обучения, что делает его неприменимым для данной задачи. В настоящее время существует достаточно много более быстро работающих алгоритмов, таких как метод сопряженных градиентов, метод Левенберга-Маркара, RProp и др.
Для решения задачи остановим выбор на методе RProp (Resilient Propagation), известном как метод упругого распространения ошибки. Он превосходит стандартный метод обратного распространения ошибки в части длительности обучения, особенно с учетом разнородности имеющихся данных [11].
В начале обучения все весовые коэффициенты К устанавливаются случайным образом (малыми значениями, близкими к нулю) и далее при подаче примеров на вход итерационно проводится минимизация ошибки сети.
В процессе обучения с помощью алгоритма КРгор используются знаки частных производных для подстройки весовых коэффициентов. Для каждого весового коэффициента К в цепочке для к-го нейрона вводится отдельное значение-модификатор Агк, используемое для расчета
размера корректировки соответствующего весового коэффициента.
Для определения величины коррекции на каждом шаге используется следующее правило:
А ]1к =
?]+А!
( j-i)
ik~>
если
ÔEj-ldEj
> 0;
- ( ■ - N ôEj-ldEj Г А( 1 -1'ik, если --:-< 0,
ôKlk 0КЛ
где 0 <г\ < 1 <Г)+ .
Конкретные значения модификаторов могут быть различными, однако чаще других используют предложенные в [12] и опробованные на множестве примеров значения:
Г = 0,5; т]+= 1,2;
- частная производная активационной функции по
дБ1
~дКл
весовому коэффициенту в 1-й момент времени.
Если на текущем шаге частная производная по
соответствующему весу Кк поменяла свой знак, это
значит, что последнее изменение было большим и алгоритм перешагнул локальный минимум, следовательно, величину изменения необходимо уменьшить и вернуть предыдущее значение весового коэффициента - другими словами, необходимо произвести «откат». В случае сохранения своего знака производной значение-модификатор следует еще увеличить для ускорения сходимости.
После обновления значений модификаторов изменение самих коэффициентов происходит по правилу:
ôEj
-А1 k, если-> 0;
ôKk ' ôEj
А1 k, если-< 0;
ôKk
АКй =
0, иначе;
Кк = К 1к +АК\к.
Рассмотренный пример является подходящим вариантом построения сети и ее дальнейшего обучения
для поставленной задачи; становится ясен ключевой эффект применения рассмотренных технологий - первичное построение ресурсно-сервисной модели в оперативном режиме без привлечения эксперта.
Заключение
Ключевой эффект применения рассмотренных технологий - первичное построение ресурсно-сервисной модели в оперативном режиме без привлечения эксперта.
Дальнейшие исследования, на наш взгляд, целесообразно продолжить в направлении детального выстраивания архитектуры нейронной сети для решения рассматриваемой задачи и использования имеющихся вычислительных мощностей для периодического переобучения нейронной сети на основе постоянно обновляемых обучающих выборок.
При этом вопрос эффективного использования вычислительного комплекса, а именно его динамически распределяемых ресурсов, должен строиться на принципах параллельной обработки расчетных заданий с использованием алгоритмов, применяемых в распределении работ для мультипроцессорных вычислительных систем [13].
Это позволит обеспечить построение адекватных моделей, не требующих существенных доработок блоком экспертов со стороны эксплуатации ИТ-сервисов, и поддержание их в актуальном состоянии, что в конечном счете обусловливает повышение качества оценки состояния ИТ-сервисов ГВЦ ОАО «РЖД» в режиме реального времени.
Дальнейшее развитие системы мониторинга должно строиться с учетом полученных результатов.
Литература
1. Концепция реализации комплексного научно-технического проекта «Цифровая железная дорога». -Москва, 2017. - 92 с.
2. Cukier K. A Revolution That Will Transform How We Live. / K. Cukier, V. Mayer-Schonberger - NY: Mariner Books, 2014. - 240 p.
3. Голубев А. С. Цифровая железная дорога - это реальность / А.С. Голубев, А.В. Скрябин // Евразия Вести. -2017. - № 12.
4. Шардаков К.С. Сравнительный анализ популярных систем мониторинга сетевого оборудования, распространяемых по лицензии GPL / К.С. Шардаков, В.П. Бубнов // Интеллектуальные технологии на транспорте. - 2018. -№ 1. - С. 44-48.
5. Охтилев М.Ю. Интеллектуальные технологии мониторинга и управления структурной динамикой сложных технических объектов / М.Ю. Охтилев, Б.В. Соколов, Р.М. Юсупов. - Москва : Наука, 2006. - 410 с.
6. Supriya M. Monitoring and Evalution in adaptation / M. Supriya, S. Truck, P. Davies. - Darwin, 2016. - 56 p.
7. Ayachitula N. IT service management automation - a hybrid methodology to integrate and orchestrate collaborative human centric and automation centric workflows / N. Ayachitula, M.J. Buco, Y. Diao, M. Surendra, R. Pavuluri, L. Shwartz, C. Ward // In IEEE SCC. - 2007. - Pp. 574-581.
8.Marcu P. Managing faults in the service delivery process of service provider coalitions / P. Marcu, L. Shwartz, G. Grabarnik, D. Loewenstern // In IEEE SCC, 2009. - Pp. 65-72.
9. Ортега Дж. Введение в параллельные и векторные решения линейных систем / Дж. Ортега в переводе X. Д. Икрамова и И. Е. Капорина. - Москва : Мир, 1991. -367 с.
10. Назаров А.В. Нейросетевые алгоритмы прогнозирования и оптимизации систем / Назаров А.В., Лоскутов А.И. - Санкт-Петербург : Наука и техника, 2003. - 384 с.
11. Новиков П.А. Комплекс программ для навигации мобильных устройств внутри помещений с помощью нейронных сетей / П.А. Новиков, А.Д. Хомоненко, Е.Л. Яковлев // Информационно-управляющие системы. -2016. - №1. - С. 32-39.
12. Riedmiller M. A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm / M. Riedmiller, H. Braun //In IEE, Conf. on Neural Networks. -San Francisco, 1993. - Pp. 586-591.
13. Молодкин И.А., Свистунов С.Г. Сравнительный анализ алгоритмов распределения работ в мультипроцессорных системах // Интеллектуальные технологии на транспорте. - 2018. - № 2. - С. 41-46.
About Algorithms for the Analysis and Processing of Data from IT-Services Monitoring Systems in Main Computer Centre JSC RZD
M.A. Bolshakov St. Petersburg Information and Computing Center JSC Russian Railways St. Petersburg, Russia bolshakovm@yandex.ru
Abstract. Various instrumental monitoring systems of Zabbix, Nagios, ManageEngine OpManager, Hewlett Packard Operations Manager, Naumen Network Manager and IBM Tivoli it infrastructure are considered and compared. The functions to be performed by it infrastructure monitoring and management system in the target state are specified. The current state of it infrastructure monitoring system in Russian Railways is described. A mathematical formulation of the problem of determining control values of metrics and an example of developing a neural network to determine control values of metrics and recommendations for its improvement are given.
Keywords: monitoring, resource-service models, heterogeneous data, big data, neural network methods, parallel processing.
References
1. The Concept of Implementation of the Complex Scientific and Technical Project «Digital Railway» [Koncepciya Realizacii Kompleksnogo Nauchno-tekhnicheskogo Proekta «Cifrovaya Zheleznaya Doroga»] - Russia, Moscow, 2017. -92 p.
2. Cukier K. A Revolution That Will Transform How We Live / K. Cukier, V. Mayer-Schonberger - NY : Mariner Books, 2014. - 240 p.
3. Golubev A.S Digital Railway is Reality [Cifrovaya Zheleznaya Doroga - Eto Realnost / A.S. Golubev, A.V. Skryabin // Russia, Eurasia News. - 2017. - № 12.
4. Shardakov K.S. Comparative Analysis of the Popular Monitoring Systems for Network Equipment Distributed Under the GPL License [Sravnitelnyy Analiz Populyarnyh System Monitoring Setevogo Oborudovaniya Rasprostranyaemyh po Litsenzii GPL ] / K.S. Shardakov, V.P. Bubnov // Russia, Intellectual Technologies on Transport. - 2018. - № 1. -P. 44-48.
5. Ohtilev M.YU. Intelligent Technologies for Monitoring and Control of Structural Dynamics of Complex Technical Objects [Intellektualnye Tekhnologii Monitoringa i Uprav-
S.V. Pugachev Emperor Alexander I St. Petersburg State Transport University
St. Petersburg, Russia nki-pugachev@yandex.ru
leniya Strukturnoj Dinamikoj Slozhnyh Tekhnicheskih Obektov] / M.YU. Ohtilev, B.V. Sokolov, R.M. Yusupov. -Russia, Moscow : Sciene, 2006. - 410 p.
6. Supriya M. Monitoring and Evalution in adaptation / M. Supriya, S. Truck, P. Davies. - Darwin, 2016. - 56 p.
7. Ayachitula N. IT Service Management Automation - a Hybrid Methodology to Integrate and Orchestrate Collaborative Human Centric and Automation Centric Workflows / N.Ayachitula, M. J. Buco, Y. Diao, M. Surendra, R. Pavuluri, L. Shwartz, C. Ward // In IEEE SCC, 2007. - Pp. 574-581.
8. Marcu P. Managing Faults in the Service Delivery Process of Service Provider Coalitions / P. Marcu, L. Shwartz, G. Grabarnik, D. Loewenstern // In IEEE SCC, 2009. -Pp. 65-72.
9. Ortega J. Introduction to Parallel and Vector Solutions of Linear Systems [Vvedenie v Parallelnye i Vektornye Resh-eniya Linejnyh Sistem] / J. Ortega. - Russia, Moscow : World, 1991. - 367 p.
10. Nazarov A.V. Neural Network Algorithms of Forecasting and Optimization of Systems [Nejrosetevye Algoritmy Prognozirovaniya i Optimizacii Sistem] / A.V. Nazarov, A.I. Loskutov - Russia, Saint-Petersburg: Science and technique. -2003. - 384 p.
11. Novikov P.A. Software for Mobile Indoor Navigation Using Neural Networks [Kompleks Program dlya Navigatzii Mobilnyh Ustroiistv Vnutri Pomeschenii s Pomoshyu Nei-ronnyh Setei] / P.A. Novikov, A.D. Khomonenko, E.L. Ya-kovlev // Russia, Information Management System. - 2016. -№ 1. - Pp. 32-39.
12. Riedmiller M. A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm / M. Riedmiller, H. Braun // In IEE, Conf. on Neural Networks. San Francisco, 1993. - Pp. 586-591.
13. Molodkin I.A., Svistunov S.G. Comparative Analysis of Scheduling Algorithms in Multiprocessor Systems [Sravnitelnyy Analiz Algoritmov Raspredeleniya Rabot v Multiprocessornyh Systemah] // Russia, Intellectual Technologies on Transport. - 2018. - № 2. - Pp. 41-46.
