CC BY
46
Электронный научный журнал «Век качества» ISSN 2500-1841 http ://www .agequal.ru 2017, № 2 http://www.agequal.ru/pdf/2017/AGE QUALITY 2 2017.pdf Ссылка для цитирования этой статьи:
Веселуха Г.Л. Инженерный взгляд на мониторинг оборудования Центров обработки данных // Электронный научный журнал «Век качества». 2017. №2. С. 100-111. Режим доступа: http://www.agequal.ru/pdf/2017/217007.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
УДК: 62-503.55
Инженерный взгляд на мониторинг оборудования ЦОД (опыт внедрения).
Аннотация:
В статье описывается система мониторинга инженерного оборудования ЕИВЦ ОАО «КРЭК»* на базе MasterSCADA. Особенностью системы является отказ от традиционных для IT подходов в пользу решений общепромышленной автоматизаци.
Ключевые слова:
ИнСАТ, SCADA, АСУТП, OPC, программное обеспечение
Потребителям информации кажется, что Центр Обработки Данных (ЦОД) -это исключительно область IT технологий: сервера, маршрутизаторы, дисковые массивы, трафик...
Это все правильно. Средства мониторинга сетевого оборудования, захвата и анализа трафика, в том числе в средах виртуализации, помогают улучшать доступность и качество предоставляемых ЦОДами услуг, но ориентированы исключительно на сетевое оборудование, то еесть. из множества стандартных средств общения понимают только протокол SNMP.
Веселуха Галина Леонидовна
Заместитель генерального директора ООО«ИнСАТ» 123298, г. Москва, ул. Маршала Бирюзова, д. 1, корп. 3
E-mail: galina. veselukha@insat. ru
Рисунок 1. Структура мониторинга IT сервисов ЦОД.
А службы, эксплуатирующие вычислительные центры (даже те, которые не удостоились громкого звания ЦОД), кроме основой задачи предоставления сервисов, отвечают за множество других процессов: охлаждение стоек с серверами, бесперебойное электроснабжение, пожаротушение - огромное хозяйство, требующее постоянного контроля. Вопросы мониторинга оборудования жизнеобеспечения ложатся или на производителя оборудования (например, производитель используемых в ЕИВЦ источников бесперебойного питания APC Schneider Electric имеет систему контроля параметров окружающей среды NetBotz, к которой можно подключить датчики температуры, влажности, несколько дискретных сигналов, видеокамеру), или на интегратора. Но все частнофирменные системы мониторинга, как правило, только «собственное» оборудование и поддерживают.
Специалисты, выпустившие в конце 80-х годов описание протокола управления сетевым оборудованием SNMP (Simple Network Management Protocol), были энтузиастами развития Интернета, и им не нравилось, что каждый производитель сетевого оборудования создает собственные продукты для мониторинга и конфигурирования. Они не могли не задумываться о разнообразии протоколов вообще, о том, что в других отраслях есть многими годами успешно работающие протоколы, но время требовало скорейшего решения насущной
задачи... И созданный для простых задач «простой» протокол, успев распространиться, не оставил места для более развитых решений мониторинга IT-инфраструктуры. Что мы имеем в результате? Оборудование (маршрутизаторы, серверы), всегда использующееся в сетях TCP/IP, в большинстве случаев поддерживает протокол SNMP. Оборудование, преимущественно использующееся для поддержки серверной и сетевой инфраструктуры (в основном, ИБП), опционально может иметь сетевые карты с поддержкой SNMP. Оборудование общепромышленного назначения (кондиционеры, дизель-генераторы, автоматы ввода резерва, системы пожарной сигнализации и контроля доступа), иногда использующееся для организации упомянутой инфраструктуры, обычно такой поддержки не имеет и вряд ли будет иметь. В них традиционно используются другие протоколы, ориентированные на наиболее тиражные для них области. Так для дизель-генераторов, используемых «везде», наиболее характерен общепромышленный протокол связи Modbus, а для кондиционеров -распространенный в системах автоматизации зданий протокол LonWorks. При стихийном росте системы мониторинга ЦОД по мере оснащения разным оборудованием и возникновения потребностей руководства и обслуживающего персонала в получении информации, можно получить такую схему:
Рисунок 2. Вариант несистемного подхода к построению системы мониторинга.
Даже упрощенная, она выглядит избыточной и фрагментированной, а, значит, плохо обслуживаемой. Большинство современных комплексных средств мониторинга IT инфраструктуры, как с подходом «от предоставляемых сервисов», так и с подходом «от оборудования и программ» помогают разным группам системных администраторов в своевременном обнаружении инцидентов, связанных с предоставлением IT сервисов. Организация эксплуатации инженерного оборудования ЦОДа должна продумываться до начала исполнения проекта. Упустил это заказчик - получит непредвиденные расходы на начальном этапе, увеличение сроков окупаемости. Кто поможет инженеру, эксплуатирующему не сетевое, но очень важное оборудование?
А давайте привлечем в IT область технологии промышленной автоматизации. Почему бы не взглянуть на ЦОД, как на технологическую систему? Если это одна технологическая система, то логичнее все реализовать в одной программной системе (см. Рисунок 3) и единственный вариант, конечно, система типа SCADA. Решаемая задача полностью адекватна термину «Supervisory Control And Data Acquisition». И, чем раньше выбор будет сделан в пользу такого подхода, тем лучше. Например, решили вы выбрать хорошее оборудование, прекрасно выполняющее технологическую задачу, допустим, кондиционирования. И объем воздуха, и необходимую разность температур подсчитали, мощность установки определили, куда поставить выбрали...
Все прекрасно! А стоимость преобразования нестандартного протокола связи встроенного в нее управляющего контроллера в любой стандартный - может в некоторых случаях достигать четырехзначных цифр в чужой валюте. Прежде чем купить и поставить, определитесь, за что и когда вы готовы платить. Выбор большой, есть возможность найти те же характеристики у другого, более лояльного к клиентам производителя!
Рисунок 3. Системный подход к мониторингу оборудования.
Итак, начав разработку для КРЭК, мы пошли путем перехода от структуры, отображенной на рис. 2, к виду рис. 3, для чего заменили оборудование с нестандартными протоколами. На практике никто не меняет дизель-генератор из-за того, что он не вписывается в систему мониторинга. Но иногда можно заменить управляющий контроллер! Если и этого нельзя - у М^егБСАОА есть средства подключения оборудования без написания драйверов (например, мастер форматированного обмена по каналам связи МаБ1егЬтк). Его пришлось использовать для подключения системы автоматического пожаротушения. Подключить можно всё, но с разными затратами.
Подход к мониторингу ЦОД не только со стороны сервисов, не только с заботой о тяжелой судьбе сисадминов, но и с продумыванием нужд инженеров-эксплуатационников и диспетчеров, позволяет построить по-настоящему комплексную систему мониторинга. Именно такую задачу ставило перед собой руководство ЦОД ОАО «КРЭК», когда создавало концепцию системы мониторинга.
К сожалению
К счастью
Электронный научный журнал «Век качества» Online scientific journal «Age of Quality»
№ 2 (2017) ISSN 2500-1841
http://www.agequal.ru [email protected]
эта концепция созрела не на этапе проектирования ЕИВЦ, а в результате опыта эксплуатации
эта концепция - не теоретизирование на этапе проектирования, а результат анализа эксплуатационных проблем
Стандартная задача мониторинга: непрерывный контроль состояния, доступности, производительности оборудования, получение сообщений об авариях и их устранении, отображение этих сведений на АРМ диспетчера и эксплуатирующего персонала. Мониторингу подлежат параметры электроснабжения и среды в помещениях с установленным оборудованием (температура, влажность, наличие протечек воды, утечка фреона), серверные шкафы (температура), оборудование электроснабжения (состояние АВР, параметры ИБП, параметры генератора резервного питания, контроль автоматов групп электроснабжения), состояние вентиляционного оборудования, система пожаротушения.
Дополнительная задача, которая была возложена на систему мониторинга: измерение температуры каждой батареи во всех ИБП Simmetra. Доступное решение от производителя ИБП, компании Schneider Electric, при большом количестве точек измерения становится громоздким (позволяет подключить всего до 8-ми датчиков температуры на контроллер мониторинга высотой в 1U) и дорогим. Примененный нами альтернативный вариант выигрывает и по компактности (20 датчиков на 1U) и по стоимости.
Рисунок 4. Структура мониторинга инженерных систем ЦОД на базе MasterSCADA.
Система мониторинга, созданная на базе MasterSCADA, включает выделенный архивный сервер и 8 клиентских рабочих мест, а также видеостену на 6 экранов в центральной диспетчерской. Сбор данных и управление обеспечивают контроллеры B-Tune с исполнительной системой MasterPLC через которые осуществляется контроль более 400 температурных сигналов 1-wire, 25 модулей M-7000, к которым подключено более 150 сигналов от датчиков (протечки, температуры, влажности, уровня, контроля напряжения, открывания двери). Оборудование, поддерживающее стандартные протоколы, подключено к MasterSCADA при помощи OPC северов. Universal MODBUS MasterOPC Server опрашивает дизель-генераторную установку FG Wilson с панелью Power Wizard, автоматы ввода резерва AtyS, модули ввода сигналов ICP DAS и ОВЕН, согласователь работы кондиционеров СРК-М, регистраторы параметров качества электроэнергии Парма, насосы Grundfos - всего более 400 сигналов. MasterOPC Multiprotocol Server (плагин SNMP) занимается опросом источников бесперебойного питания APC Symmetra, в т.ч. Symmetra PX160kW - более 3000 сигналов. Сигналы системы пожаротушения Дозор-16 через мультипортовую плату интерфейса RS485 (MOXA) читаются в MasterSCADA c помощью визарда обмена данными SmartLink.
Успешного внедрения системы удалось добиться совместными усилиями. Всем, пожалуй, известно, что на начальном этапе реализации подобного проекта Заказчик довольно схематично представляет задачу автоматизации. Поэтому с ключевыми специалистами ЕИВЦ КРЭК обсуждение Технического Задания велось поэтапно, с перерывами на осмысление и уточнение задач. Этап за этапом желания стыковались с возможностями, рождая действительно функциональную и эффективную систему мониторинга инженерного оборудования. Новые задачи и пожелания появлялись и после ввода в промышленную эксплуатацию, что доказало верность нашего утверждения: система, построенная на базе Ма81ег8СЛБЛ, может быть безболезненно расширена или модернизирована на любом этапе жизненного цикла.
Стартовые мнемосхемы для АРМ диспетчера и других пользователей системы отличаются. В диспетчерском пункте требуется более оперативное предоставление информации, поэтому для отображения состояния всех подсистем одновременно выводятся 6 мнемосхем на 6 мониторов видеостены.
Рисунок 5 Стартовая мнемосхема АРМ инженера и руководителя.
При возникновении важных событий в подсистемах, не поместившихся на 6 мониторах, их изображение автоматически появляется поверх стартовых окон. Например, в случае пропадания напряжения на обоих вводах и запуске дизель-
генератора, появляется его детальная мнемосхема с подробной информацией состоянии и режимах:
Состояний АБР Модуль-контейнер энергетический Оператор; Диспетчер | Сменить оператора ! частартовуо
Окно ^прйепвния
О об/мин
лита рччмай
| А ] н sg j \ i\ 1 I ! j
_ __
Сигнализация
Напряжение 12 Напряжение L3
Г
Jr Е-DL ^^k
M-D гзм
iJW
Давлвни« масле
Темпере-ура ентифриэа 33 Ü5 93
s
Рисунок 6 .Мнемосхема ДГУ
В данном случае задача была структурирована Заказчиком по целевым критериям:
• снижение эксплуатационных расходов
• увеличение надежности
• автоматизация простейших эксплуатационных операций.
И созданная система полностью достигает поставленных целей! Она также обладает мощными средствами и для «разбора полетов» после каких-либо инцидентов: фиксация всех событий системы в специализированных журналах, объединение графиков параметров с журналами, позволяющее произвести анализ взаимозависимости значений параметров и событий, происходящих в системе.
Рисунок 7. Тренд параметров электроснабжения с развернутой таблицей значений.
Развитые средства анализа позволяют точно определять причины аварийных ситуаций. Например, на Рисунок 8 наглядно видно пропадание напряжения на
вводе.
Рисунок 8. Фиксация пропадания напряжения на вводе.
Специалист легко проверит, как сработала подсистема гарантированного электроснабжения именно в это время (какие АВР переключились, потребовалось ли включение питание от ИБП или дизель-генератора, какие потребители могли остаться без питания и т.п.). И никому не придется тратить время на оправдания, написание и чтение служебных записок.
Таким образом, подход к мониторингу ЦОДа, как технологической системы доказал свои преимущества, а возможности MasterSCADA с запасом перекрывают любые, даже самые требовательные, запросы Заказчика.
Литература
1. Zhiltsov S.A., Karpushin A.A. Application of an innovative wind power generator for electric power supply to remote consumers // Modern Science. 2017. № 3. С. 32-39.
2. Велькин В.И., Логинов М.И. Выбор оптимального состава оборудования в кластере возобновляемых источников энергии на основе регрессионного анализа // Международный научный журнал Альтернативная энергетика и экология. 2012. № 3. С. 100-104.
Engineering view on monitoring of data center equipment (implementation
experience).
Annotation:
The article describes the monitoring system for engineering equipment of the EIVC of OAO KREK on the basis of MasterSCADA. The peculiarity of the system is the rejection of traditional approaches for IT in favor of solutions for general industrial automation.
1. Zhiltsov S.A., Karpushin A.A. Application of an innovative wind power generator for electric power supply to remote consumers // Modern Science. 2017. № 3.
2. Vel'kin V.I., Loginov M.I. Vybor optimal'nogo sostava oborudovaniya v klastere vozobnovlyaemykh istochnikov energii na osnove regressionnogo analiza // Mezhdunarodnyy nauchnyy zhurnal Al'ternativnaya energetika i ekologiya. 2012. № 3.
Veselukha Galina Leonidovna
Deputy General Director of LLC INSAT 123298, Moscow, Marshal Biryuzova st., building 1-3
Keywords:INSAT, SCADA, ASUTP, OPC, software
REFERENCES:
С. 32-39.
S. 100-104.
