CC BY
93
Электронный научный журнал «Век качества» ISSN 2500-1841 http://www.agequal.ru 2018, № 2 http://www.agequal.ru/pdf/2018/AGE QUALITY 2 2018.pdf Ссылка для цитирования этой статьи:
Филин С.А. Организация системы управления эксплуатацией центра обработки данных // Электронный
научный журнал «Век качества». 2018. №2. С. 35-59. Режим доступа:
http ://www. agequal. ru/pdf/2018/218003 .pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
УДК 621.311.161
Организация системы управления эксплуатацией центра обработки
данных.
Филин Сергей Александрович
Главный бухгалтер ООО "Системс" 141400, Московская область, г. Химки, улица Академика Грушина, д. 41 filin-sergey@yandex. ги
Аннотация: Как спроектировать и построить центр обработки данных, как обеспечить его надежность и экономичность, как построить службу эксплуатации, способную сочетать и эффективность, и экономичность, какие виды работ целесообразно отдать на аутсорсинг, а какие выполнять организации своими силами, кто первым должен задумываться об эксплуатации и закладывать соответствующие требования в техническое задание - дать ответ на эти вопросы призвана данная статья. В основу статьи положены материалы, полученные в результате размышлений и дискуссий, обобщенные автором а и опубликованные в виде размышлений и советов в сети интернет1.
Ключевые слова: экономический эффект, безопасность, сеть, авария, дата центр, системы эксплуатации, центр обработки данных.
Именно заказчик, он же пользователь, первым должен задумываться об эксплуатации и закладывать соответствующие требования в техническое задание. Для этого обычно привлекаются либо собственная служба эксплуатации, если объект данного типа у заказчика не первый и есть реальный опыт эксплуатации, либо внешние консультанты. Можно пойти и третьим путем, довериться генподрядчику, который, основываясь на своем
1 См. сайт: http://upr-proektom.ru.
опыте, разработает технические и эксплуатационные решения и воплотит их в жизнь, после чего примет объект в эксплуатацию. К сожалению, в России еще мало организаций, обладающих таким опытом, чтобы наряду с проектной документацией разработать алгоритмы и регламенты системы эксплуатации. Когда ЦОД «падает», может быть только три виновника: люди, оборудование и природа.
Неправильно номинированные или несогласованные автоматы могут привести к существенным повреждениям систем, длительному простою и даже вызвать травмы персонала. Несогласованная защита цепи — это, прежде всего, проблема проектирования и сдачи в эксплуатацию. Обычно ошибки при переключении вызваны человеческим фактором. Они являются третьими по частоте среди причин аварий в дата-центрах (51 %). Ослабление контактов на устройствах переключения могут также стать причиной ухода дата-центра в оффлайн [2].
Исследования показывают, что отказ аккумуляторов бесперебойного питания (ИБП) — самая частая причина отключения энергии (с этим столкнулись 55% опрошенных). ИБП обеспечивают непрерывную и регулируемую подачу чистой энергии на ИТ-оборудование: с помощью аккумуляторов закрывается брешь между прекращением подачи магистральной энергии и началом подачи энергии от генераторов.
Вода и ИТ остаются несовместимыми вещами, но при этом именно вода становится причиной немалой доли ухода дата-центров в офлайн. Утечка воды и повышение влажности могут быть вызваны разными причинами: погодными условиями, прохудившимися трубами, протечками кондиционеров и так далее. Такого рода происшествия можно предотвратить, если обеспечить герметизацию критических частей ИТ-систем и установить системы мониторинга, позволяющие обнаружить утечку воды.
Неправильная, ненадлежащая эксплуатация дата-центра (на примере ошибок в эксплуатации таких простых вещей, как аккумуляторные батареи или система ИБП) может иметь и более серьезные последствия.
Стихийные бедствия случаются вне зависимости от человека. Это -действие «высших сил».
Как же если не устранить возможность аварии, то хотя бы снизить вероятность её возникновения. Начнем по порядку. Итак, решение о создании ЦОД принято - есть инвестор, выделены деньги, начинается проектирование. Как исключить аварии?
Первое, и, пожалуй, самое эффективное - это резервирование оборудования, закладываемое еще на стадии проектирования. Этой проблемой, в свое время, озаботился Uptime Institute. В 96-м году появился первый документ, описывающий требования к инженерной инфраструктуре вычислительных центров по методологии Uptime Institute. Основные четыре
уровня были введены на основе статистики отказов и опыта организации. Уровень отказоустойчивости указывал возможный аптайм.
Уровни выглядят так: первый работает и может отказать, второй в целом нормально работает и выдерживает часть самых распространённых отказов, третий выживает в любых некритичных условиях, четвёртый пригоден для работы в военных условиях.
Вот классификация по их стандарту:
Tierl — без резервирования.
TierII — резервирование критических узлов.
TierIII — резервирование критических узлов, путей получения электроэнергии и трасс доставки топлива, холодоносителя и т,п. При этом есть возможность вывода любого узла из эксплуатации для его обслуживания с сохранением полной функциональности объекта в целом.
Как пример: если мы делаем систему с доставкой жидкого теплоносителя по трубам, в Tier III надо делать двойное кольцо, а в Tier II можно обойтись одним. При этом уровень резервирования чиллеров и фанкойлов может быть одинаковым. То же самое касается электропитания и других систем. На уровне IV ИБП и трассы питания должны быть не просто задублированы, но ещё и разнесены в разные помещения: если первый блок взорвётся (аварийный случай, а не плановая остановка), то второй не должен пострадать. Если прорывает трубопровод в каком-то месте, это никак не влияет на дублирующую электронику — есть физическое разделение систем.
При проектировании ЦОД следует руководствоваться принципами эргономичности: простотой, удобством и безопасностью, а также ориентированностью на человека [3].
В данном случае простота - это понимание системы обслуживающим персоналом, исключающее допущение ошибок. Удобство и безопасность -возможность для человека любой комплекции и физической формы обслуживать систему без травм и других критических последствий. На всех этапах создания ЦОД необходимо помнить, что человек - его неотъемлемая часть.
Приведем несколько примеров того, на что необходимо обращать внимание при разработке инженерной системы дата-центра.
Сквозная маркировка оборудования упрощает идентификацию оборудования, как на стадии проектирования, так и при эксплуатации. Также он значительно сокращает время поиска необходимого элемента и снижает риск ошибочного выбора другого элемента. При создании единой системы маркировки в нее заносится каждый предварительно промаркированный элемент. Указывается его положение в системе, модель и производитель, наличие на складе ЗИП, а также аналоги для замены. Это позволит значительно уменьшить время локализации и устранения проблем.
Унификация оборудования. Применение типового оборудования и типовых узлов также позволяет упростить обслуживание систем ЦОД.
Во-первых, чем больше однотипного оборудования в системе, тем меньше оборудования на складе ЗИП.
Во-вторых, при использовании типового оборудования проще обучить персонал качественно его обслуживать [4].
На ограничение размера компонентов нужно обратить особое внимание. Следует еще на этапе проектирования ограничивать габариты оборудования. Не говоря уже о логистических преимуществах, смонтировать, обслужить и демонтировать такое оборудование смогут один-два человека за короткий промежуток времени без применения специальных механизмов.
Важным является и зонирование технологических помещений. Маркировка сильно упрощает поиск необходимого элемента, но риск ошибки все же остается. Для его минимизации применяют метод зонирования. Обеспечение беспрепятственной транспортировки ЗИП. Ко всем элементам ЦОД необходим свободный доступ.
Но все-таки конечная оценка проектных решений будет сделана на стадии эксплуатации. Уже при монтаже инженерных систем необходимо начинать выстраивать систему управления эксплуатацией. А к моменту перехода от опытной эксплуатации к производственной она должна быть окончательно сформирована.
Цель этапа проектирования заключается в формировании требований к инженерным системам со стороны будущей 1Т-инфраструктуры ЦОД. На данном этапе проводится сбор данных о характеристиках комплексов технических средств ИТ-инфраструктуры, планируемых к размещению в проектируемом центре обработки данных, сбор данных о потребностях комплексов технических средств.
На этапе разработки технической концепции проводятся обследования зданий, сооружений и площадок, на которых предполагается создание ЦОД. Этап сопровождается сбором и изучением информации и документов и о площадке (площадках), необходимых для подготовки заключения о пригодности исследуемых площадок для размещения ЦОД с заданными параметрами. При необходимости в состав работ по этапу могут быть включены и другие виды обследований и изысканий, включая инженерные изыскания, результаты которых используются при подготовке отчета об обследовании и заключения по площадке. Также результаты проведенных на этапе инженерных изысканий могут быть использованы при разработке проектных решений. В период подготовки предварительных технических решений определяется состав ИС ЦОД, их функционал, одновременно разрабатывается укрупненная структура ИС ЦОД, основные принципы взаимодействия между их частями и системами, производится
предварительные оценка стоимости оборудования, материалов и работ по созданию ИС ЦОД, формируется техническое задание.
При выработке проектных решений ведется уточнение технического задания на создание ИС ЦОД в части требований к инженерному оборудованию ЦОД в целом, ее частям и системам, разработка общих решений по размещению оборудования. Предлагаются решения по взаимодействию смежных систем, проводится согласование проектных решений, а при необходимости, разработка, оформление, согласование и утверждение частных технических заданий на части (системы) инженерных систем ЦОД.
Проектная документация на инженерные системы ЦОД, ее части и системы в общем случае разрабатывается в составе проектной документации на строительство или реконструкцию объекта капитального строительства. В ходе разработки проектной документации должны быть выданы задания для разработчиков смежных разделов. Цель разработки проектной документации заключается в документировании выработанных проектных решений.
Разрабатываемая рабочая документация должна содержать все необходимые и достаточные сведения для обеспечения выполнения работ по выполнению строительно-монтажных работ, испытаниям и вводу систем в эксплуатацию.
И, на всех стадиях и этапах - борьба с «заинтересованными лицами». Первая крупная ошибка создания ЦОД — то, что команду эксплуатационников не вовлекают в процесс проектирования. Вторая ошибка состоит в том, что они слишком слепо полагаются на проект дата-центра. Проектировщики должны полностью подготовить людей, которые будут заниматься эксплуатацией дата-центра с первого дня его работы. В этом вопросе человеческий фактор выходит на первый план.
Другие ошибки состоят в неспособности правильно подобрать специалистов, системно обучить людей и тестировать их уровень подготовки, организовать документирование процессов и процедур в дополнение к операционным программам.
Сюда же можно добавить и неспособность выполнить соответствующие процедуры и процессы в проектируемом пространстве, неспособность разработать и внедрить системы проверки качества, неумение использовать инструменты программ управления — такие как системы контроля, помогающие отслеживать работу устройств через интеллектуальные измерительные устройства на постоянной основе.
При строительно-монтажных работах во-первых обеспечивается получение комплектующих изделий серийного и единичного производства, материалов и монтажных изделий в соответствии с установленными
сроками и надлежащего качества, организуется входной контроль качества поставляемых изделий и материалов. Выполняются работы по монтажу оборудования инженерных систем ЦОД, испытания смонтированного оборудования, сдачу оборудования для проведения пусконаладочных работ, наладка средств автоматизации отдельных систем ИИ ЦОД и всей инженерной инфраструктуры ЦОД. Проводятся испытания частей и систем на работоспособность и соответствие техническому заданию в соответствии с программой и методикой предварительных испытаний, устраняются замечания (При необходимости вносятся изменения в техническую документацию, в том числе эксплуатационную, в соответствии с протоколами испытаний). Итогом должно стать оформление акта о приемки в эксплуатацию.
Это обеспечение надежности на стадии проектирования и строительства. Вторая часть процесса - организация эксплуатации оборудования.
Типичный дата-центр состоит из:
• информационной инфраструктуры, включающей в себя серверное оборудование и обеспечивающей основные функции дата-центра — обработку и хранение информации;
• телекоммуникационной инфраструктуры, обеспечивающей взаимосвязь элементов дата-центра, а также передачу данных между дата-центром и пользователями;
• инженерной инфраструктуры, обеспечивающей нормальное функционирование основных систем дата-центра.
Команды квалифицированных специалистов круглосуточно производят мониторинг всех систем.
Нельзя построить ЦОД, запустить в работу инженерные системы и думать, что дальнейшая эксплуатация наладится сама собой. Если к этому моменту у вас не будет стройной системы управления эксплуатацией, велика вероятность, что негативные явления не заставят себя ждать.
Техническое обслуживание ЦОД (центра обработки данных, серверной) - это поддержание всех компонентов и систем ЦОД в рабочем состоянии, своевременное устранение неисправностей и предупреждение сбоев.
Обслуживание ЦОД (серверной) осуществляется в соответствии с разработанным и принятым Заказчиком регламентом технического обслуживания.
В состав работ по сервисному обслуживанию ЦОД входят контроль и техническое обслуживание оборудования инженерных систем ЦОД, а именно:
Системы безопасности: пожарная сигнализация, система пожаротушения, охранная сигнализация, система контроля доступа, видеонаблюдение (СБ).
Система вентиляции и кондиционирование технологических помещений (СКТП).
Система электроснабжения в составе систем гарантированного и бесперебойного электропитания (СЭ). Структурированная кабельная система (СКС). Система мониторинга оборудования и параметров среды (СМ).
Надо заметить, что способность организовать профилактический ремонт - т.е. выполнить ремонт до возникновения неисправности - занятие сродни искусству. В это деле серьезную помощь техническому персоналу оказывает грамотно организованный мониторинг технических параметров всех систем. Возможность удаленно контролировать основные параметры работы ЦОД в режиме реального времени позволяет оперативно реагировать на возникающие сбои и предугадать их.
Работы по техническому обслуживанию ЦОД состоят из следующих видов работ: техническое обслуживание, плановый текущий ремонт, плановый капитальный ремонт, внеплановый ремонт, наблюдение за правильной работой оборудования, периодический осмотр и контроль за техническим состоянием оборудования, устранение обнаруженных дефектов, регулировка настройка, опробование и поверка.
ЦОД - «живая» система, в которой постоянно что-то модернизируется, налаживается или демонтируется. Все эти изменения должны надлежащим образом отображаться в исполнительной документации и соответствующих инструкциях.
Важнейшая часть эксплуатации ЦОД - поддержание всех инженерных систем в работоспособном состоянии. Эта задача решается путем проведения планового технического обслуживания оборудования и систем на основании регламентов, а также ремонта или замены оборудования, вышедшего из строя. Служба эксплуатации дата-центра своими силами или с помощью подрядчиков должна разработать регламенты технического обслуживания всех систем. В регламенты включаются сведения об оборудовании, периодичности или сроках проведения ТО, описание операций по обслуживанию, информация о необходимом инструменте, расходных материалах и запасных частях. На основании регламентов составляются перечни материалов и запчастей, которые передаются в службы закупки. Поставки комплектов расходников должны осуществляться в строго оговоренные сроки. Для быстрого восстановления работоспособности оборудования в дата-центре должен храниться комплект запчастей. Перечень ЗИП для ремонта инженерных систем обычно разрабатывается с участием поставщиков (вендоров), а также исходя из практического опыта эксплуатации и статистики выхода из строя элементов систем. Актуальная информация о ЗИП должна быть доступна ремонтным службам. Система хранения должна обеспечивать быстрый поиск
необходимой детали и ее выдачу. По мере расходования комплекта ЗИП его необходимо пополнять, обеспечивая некий неснижаемый остаток (запас).
Существуют три основных подхода к техническому обслуживанию и ремонту выполнение работ собственными силами, выполнение работ сотрудниками сторонних организаций, выполнение работ как собственными силами, так и сотрудниками сторонних организаций. В большинстве российских дата-центров практикуется смешанный вариант. Это позволяет минимизировать затраты и гарантировать качество работ. Как правило, на аутсорсинг отдаются сложные работы, требующие высокой квалификации работников и специализированного инструмента.
Сторонние организации привлекаются не только для технического обслуживания оборудования. Поставка электроэнергии и дизельного топлива, вывоз мусора, утилизация отработанных масел и технических жидкостей, уборка помещений - полный список всех договоров крупного дата-центра может содержать несколько десятков пунктов. Они имеют разную значимость для функционирования ЦОД, но ни об одном из них не следует забывать [12]. Постоянный мониторинг существенно облегчает контроль состояния систем, позволяет быстро выявлять различные неисправности или прогнозировать их развитие. Система мониторинга - это сложная инженерная система, поэтому для нормального функционирования она требует технического обслуживания, замены неисправных элементов, обновления ПО.
Важную информацию о реальном состоянии инженерных систем дата-центра можно получить при скрупулезном учете всех происходящих в нем инцидентов. Должна быть описана причина возникновения инцидента. Если же назвать точную причину возникновения сбоя сразу невозможно, то в графе «причина» записывается «выход из строя по неизвестной причине», и такие случаи рассматриваются с особой тщательностью. Следующий важный параметр, который должен фиксироваться, - это степень влияния инцидента на работу ЦОД.
Анализируя данные об инцидентах, можно выявить некоторые тенденции в состоянии инженерных систем и получить статистические данные. Всё это служит материалом для дальнейшего улучшения системы эксплуатации ЦОД.
Помимо этих технических аспектов на службах и отделах эксплуатации инженерных систем лежит ответственность за обеспечение соблюдения организационных и технических способов обеспечения безопасности труда, а это и создание система распределения ответственности, и назначение ответственного за электрохозяйство, и организация работ и допуска к работам.
Организация системы эксплуатации инженерных систем ЦОД процесс сложный и многогранный, и только внимательный, комплексный подход ко
всем вопросам, внимание к мелочам, может обеспечить достижение приемлемого результата.
Вот список некоторых действующих и будущих стандартов и технических документов, связанных с отказоустойчивостью дата-центров. Они актуальны для проектирования, строительства и эксплуатации ЦОД.
Серия стандартов компании «CENELEC» EN 50600 определяет минимальные требования для инфраструктуры дата-центров всех форм и размеров. Они включают в себя защиту от природных катаклизмов, падений и несанкционированного доступа, включая внутренние и внешние экологические события. В стандарте EN 50600-3-1 рассматриваются измерения, контроль и учет энергопотребления в определенных локациях. При правильном применении этого стандарта он может помочь оценить работу дата-центра, используя разделы из серии стандартов EN 50600-4 и его KPI (Key Performance Indicators, ключевые показатели эффективности). Стандарт EN 50600-4 напрямую управляет факторами эффективности, такими как PUE и REF.
ETSIES 205 200 определяет так называемые Global KPIs (Глобальные ключевые показатели эффективности), обеспечивая контроль энергоуправления информационно коммуникационных технологий (ИКТ). Этот стандарт предлагает единый глобальный KPI - энергетическое управление обработки данных и коммуникаций -, который определяет четыре целевых KPI: потребление энергии, эффективность выполнения задач, использование возобновляемых источников энергии и повторное использование энергии. Это позволяет определять энергетическую эффективность ИКТ всего предприятия.
ITU-TL.1300 от «ITU-TStudyGroup 5» в значительной степени основан на инициативе ЕС по уменьшению воздействия на ЦОДы (EU CoC Best Practices V4.0.5) и включает 23 дополнительных пункта. Различия касаются, в частности, предпочтением «ITU-T» ссылаться на диапазон изменения окружающей среды, поддержанный серией стандартов ETSI EN 300 019, нежели на диапазон, указанный в документе Евросоюза.
DISISO/IEC 30134, описывающие KPI дата-центра, уже находятся в открытом доступе, но они отражают стандарты JTC 1/SC 39 WG 1 - новая работа от CENELEC. Во избежание дублирования документов рассматривается их включение в Европейский набор стандартов. Международная электротехническая комиссия IEC также рассматривает разработку технического отчета, который бы содержал рекомендации по проектированию дата-центров применительно к управлению ресурсами.
Согласно стандарту энергоэффективного EthernetIEEE802.3az от «IEEE 802.3 Working Group», сетевые устройства и интерфейсы представляют более 10% всего годового потребления энергии, достигая десятков Тераватт. Если смотреть далеко в будущее и предположить, насколько поднимется
планка потребностей общества, все лишь усложняется. Пропускная способность увеличивается, количество сетевых соединений увеличивается, количество устройств с возможностью подключения к Wi-Fi увеличивается, спрос на более гибкую инфраструктуру для удовлетворения этих потребностей также увеличивается. В 2010 была представления технология Energy Efficient Ethernet (EEE, энергоэффективный Ethernet) с целью создания механизма и стандарта для уменьшения энергопотребления сетевых интерфейсов без ущерба для их функционала. Несмотря на то что эта технология - новая и есть еще много моментов, которые нужно проработать, лабораторные исследования Cisco и Intel показали, что она может предложить, к примеру, 15% экономии на Cisco 4500 Switch. Сочетая EEE с Wake-on-LAN (WoL) можно добиться экономии до 50%.
Стандарт энергетического управления ISO 50001:2011 предоставляет организациям концепцию для интеграции энергоэффективности в процесс управления. Среди прочего, он включает в себя установку базовых линий, которые измеряются, контролируются и корректируются для обеспечения контроля управления, используя эти данные в качестве базы для текущего прогнозирования, улучшения операций по энергоэффективности, приобретения и повсеместного размещения эффективного низкоэнергетического оборудования.
Стандарт экологического управления ISO 14001:2015 предлагает концепцию обеспечения тщательного контроля интерфейса, чтобы избежать или минимизировать какой-либо негативный экологический эффект. По стандарту ISO 14001 требуется инициативное управление экологическими рисками для поддержки долгосрочных экологических и экономических целей.
В статье от 21 января 2014 г. «Классификация подходов к организации эксплуатации инженерной инфраструктуры ЦОД» Заурбек Алехин, Дмитрий Басистый обрисовали идеальную модель организации технического сопровождения, назвав её Тип A «Усовершенствованный». В ней «ЦОД воспринимается руководством как важный и критичный элемент функционирования компании в настоящее время и на перспективу. Подход обеспечивает абсолютные гарантии надежности функционирования и доступности инженерной инфраструктуры ЦОД с учетом нынешних и будущих потребностей.» [13]. Это некий идеальный вариант, и в настоящее время ему не соответствует ни один реальный российский ЦОД.
Организовать подобное содержание оборудования и отношение к нему очень сложно и затратно. Кроме того, инженерное оборудование ЦОД, как правило, очень надежно. И, как следствие, ваш высокопрофессиональный персонал большую часть времени загружен работой не будет.
Для обеспечения требуемой надёжности в составе ЦОД требуется структура обеспечения эксплуатации инженерных систем.
Сколько это стоит? Проиллюстрируем наследующем примере [14]: o Функции структуры: осуществляет контроль за работой инженерных систем; восстанавливает работоспособности инженерных систем при сбоях и выходах из строя;
проводит работы по техническому обслуживанию инженерных систем;
ведёт техническую документацию;
разрабатывает технические задания (далее - ТЗ) по созданию и развитию инженерных систем;
организует взаимодействие с ресурсоснабжающими организациями по эксплуатации инженерных систем здания.
Можно обеспечить надёжность функционирования систем обеспечивается путём организации круглосуточного дежурства диспетчерского и технического персонала на объекте.
Сложность эксплуатируемых систем и высокие требования к обеспечению надёжности определяют узкую специализацию работников, предъявляя повышенные требования к слаженности при выполнении работ по техническому обслуживанию и при устранении неисправностей.
Диктуемая рынком труда величина оплаты услуг технических специалистов составляет (по данным одной из уважаемых компаний). Единица инженер (инженер-механик, инженер-электрик). Сумма затрат предприятия составляет 908 856.00 руб./год (75 738,00 руб./мес.) из расчёта:
оклад - 39 600,00 руб.;
премия 50% - 19 800,00 руб.;
ПФ 20% - 11 880,00 руб.;
Соц. стр. 2,9% - 1722,60 руб.;
Мед.стр. 2%+1,1% - 1 841,40 руб.;
Стр. от несч. сл. 1,5% - 594,00 руб.
Инженерные системы ЦОД, как устройства, находящийся под электрическим напряжением, могут обслуживаться только двумя работниками с группами допуска по электробезопасности IV и III (п.п. 4.2.4., 4.2.5.). Следовательно, количество дежурных специалистов, обслуживающих любую установку не может быть меньше двух. При уходе на больничный или в отпуск одного из работников - работы останавливаются, следовательно, необходим резерв персонала.
Необходимость специализации персонала увеличивает его количество в четыре раза. Получаем смену из девяти человек (четыре направления специализации).
5 смен по 9 человек - 45 человек. Прибавим начальника отдела - 46 человек. Нехитрый примерный расчёт позволяет получить цифру:
46 человек х 908 856.00 руб./год = 41 807 376,00 руб./год.
Это суммарные годовые затраты предприятия на персонал отдела инженерных систем. Это серьёзная сумма даже для крупного предприятия.
Можно ли реструктурировать эту эксплуатационную структуру предприятия? Какие есть для этого пути и чем оправдано их применение?
Функционал распределяется по пяти направлениям:
• система диспетчеризации оборудования;
• система гарантированного электроснабжения;
• система кондиционирования и охлаждения;
• система охраны и контроля доступа;
• дизель-генераторная установка (система резервного электроснабжения).
Соответственно формируется пять секторов в составе отдела инженерных систем. Особенность работы персонала обеспечивающего эксплуатацию заключается в его эпизодической загруженности: специалисты службы эксплуатации задействованы только в период выполнения регламентированных работ по техническому обслуживанию и устранении неисправностей, поэтому вопрос обеспечения эксплуатации можно в максимально сжатые сроки решить путем использования аутсорсинговых схем взаимодействия с поставщиками услуг и работ.
Для ответа на вопрос «делать самому или покупать?» надо оценить • стратегические перспективы рассматриваемой бизнес - операции, ее возможную конкурентоспособность, стоимость услуг внутренних и внешних исполнителей, возможные риски.
Главная, и самая объективная оценка применимости аутсорсинга - это определение его экономической эффективности. Для расчета потребуется сравнить стоимость данной работы (услуги), если она будет выполняться своими силами, что повлечет расходы, которые можно предварительно подсчитать, это: стоимость аренды офисной (или иной необходимой) площади; стоимость и размеры оборудования, используемого для выполнения данной функции; фонд оплаты труда необходимого для данного объема работ персонала и стоимость этой работы (услуги), если она будет предоставлена специализированной компанией. Для точного расчета будут нужны расценки на оказываемые услуги у нескольких фирм-поставщиков каждой из этих услуг. Рассмотрим этот анализ на примере организации эксплуатации системы гарантированного электроснабжения на базе дизель-генераторной установки Е.О^йвопР1000 Е1.
В результате такого расчета можно будет сделать вывод, выгоден аутсорсинг или нет.
Предположим, что существует некий перечень профилактических работ на объекте, определяемый изготовителем и особенностями условий эксплуатации. Для дизельного генератора большой мощности он выглядит примерно так:
• проверка уровня охлаждающей жидкости в радиаторе;
• проверка состояния приводного ремня;
• проверка наличия воды в фильтре предварительной очистки топлива;
• замена фильтрующего элемента топливного фильтра(ов);
• проверка давления масла с помощью внешнего манометра и сравнение результатов с показаниями указателя давления масла в двигателе ДГУ;
• проверка и, при необходимости, регулировка блока ЛУЯ;
• проверка плотности затяжки соединений;
• замена моторного масла;
• замена масляного фильтра;
• проверка системы отвода картерных газов;
• очистка воздушного фильтра, удаление пыли из пылесборника;
• замена воздушного фильтра(ов);
• проверка работоспособности генератора подзарядки АКБ, стартера;
• замена антифриза через каждые 3000 м/ч или 1 раз в год;
• проведение испытания под нагрузкой (два раза в год);
• проверка состояния АКБ, качества контактов.
Есть два пути, по которым можно пойти при организации выполнения этих работ: создать специализированное подразделение и привлечь стороннюю организацию. Сравним экономически эти два варианта (см. Табл. 1).
Таблица 1.Сравнительный анализ затрат на эксплуатацию ДЭС
Примерная
стоимость
обслуживания Примерная стоимость обслуживания своими
силами силами
подрядной
организации.
1. Цена Договора об оказании услуг по техническому обслуживанию ДГУ системы гарантированного энергоснабжения составляет-
315 000,00 руб.
2. Примерная величина затрат на заправку дизель-генераторной установки дизельным топливом из расчёта (500л прямой расход, 1000 л - замена топлива):
руб./год. подготовку по программам Wilson. Сертификат
учебного центра не присваивает квалификацию, а
лишь подтверждает факт прохождения обучения.
Всего затрат на обучение 3-х человек -
110 700 руб.
3. Примерная 3. Закупить приборы и инструменты:
величина затрат
на - ампервольтметр - 2000 руб.,
профилактический - мегаомметр - 6000 руб.,
ремонт дизель- - указатель напряжения, фазоуказатель -
генераторной 6000 руб.,
установки - динамометр для проверки натяжения
- 100 000,00 ремней - 15 000 руб.,
руб./год. - набор приспособлений для настройки
тепловых зазоров клапанов - 5000 руб.,
Итого при - насос для откачки масла из картера
двигателя - 25 000 руб., -электрический
обслуживании насос для перекачки охлаждающей
ДГУ силами жидкости - 3000 руб.,
подрядной - комплекты гаечных ключей (накидных,
организации торцевых (метрических и дюймовых)) -
ежегодных 15 000 руб.,
расходов: - динамометрические ключи - 6000 руб.,
552 000,00 руб. - набор слесарных инструментов - 7000 руб.,
- -набор электромонтажных инструментов -
3000 руб.,
- набор для ремонта кабеля - 4500 руб.,
- набор аккумуляторщика - 6000 руб.,
- светильники - 3000 руб. и др.
Примерная стоимость закупаемого
оборудования более 106 500 руб.
4. Стоимость приобретаемых расходных
материалов на год:
- воздушные - 3500 руб.,
- топливные - 2000 руб.,
- масляные фильтры - 2500 руб.,
- масло - 25 000 руб.,
- антифриз - 50 000 руб. и др.
Примерная стоимость закупаемого оборудования
и расходных материалов - 83 000 руб./год
5. Подготовить (арендовать) помещение для
организации мастерской и организовать склад для
хранения горюче- смазочных материалов -
150 000 руб./год
Итого при обслуживании ДГУ штатным
персоналом:
- разовых расходов - более 200 тыс. руб.
(217 200 руб.);
- ежегодных расходов - около 3 000 000 руб.
(2 959 568 руб.)
Таким образом, расчёты показывают, что способ обслуживания дизель-генераторной установки силами подрядной организации более чем в пять раз экономичней способа обслуживания штатным персоналом.
Аналогичная картина наблюдается и при анализе стоимости обслуживания других систем жизнеобеспечения. Снижение стоимости специализированными организациями возможно за счет обеспечения непрерывной загруженности персонала и увеличения объёмов закупки комплектующих.
Можно ли решить проблему? Да, если предприятие располагает несколькими ЦОД, загрузку можно обеспечить. Но, как правило это не так. Здесь на помощь приходят специализированные предприятия.
Аутсорсинг заключается в передаче какой-либо деятельности одной компании - другой - на длительное время. Предметом аутсорсинга могут быть все бизнес-процессы. На аутсорсинг часто передается ведение какой-либо непрофильной деятельности организации, которая может осуществляться и самостоятельными силами (документооборот, составление отчетности и др.) Однако значимые, стратегические функции компании также могут являться предметом аутсорсинга. К примеру, аутсорсинг маркетинговой службы, обучающего центра компании и т.д.
Смысл аутсорсинга сводится к простой формуле: сосредоточить все ресурсы на том виде деятельности, который является основным для вашей компании, и передать остальные (поддерживающие, сопутствующие) функции надежному и профессиональному партнеру.
Всегда найдется кто-то, кто вашу непрофильную деятельность будет выполнять лучше, быстрее и дешевле вас - просто потому, что для них это будет профильной деятельностью, и они станут вкладывать деньги в
развитие такой деятельности. Ведь функциональная служба любой компании, как правило, не обладает возможностью расширяться до тех пределов, которые ей могут показаться разумными. Поэтому как бы грамотны не были сотрудники этой самой службы, у них нет возможности объять необъятное. Люди заняты текущими проблемами и у них почти нет времени на то, чтобы оглянуться по сторонам, внимательно изучить то, что происходит в мире, не говоря уже о том, чтобы тщательно изучать все появляющиеся новинки. Кроме того, их опыт работы ограничен рамками той организации, в которой они работают. В отличие от них аутсорсеры не замкнуты рамками отдельной компании, они, как правило, специализируются в конкретной области и, по крайней мере, пытаются знать все в этой области, что им доступно.
Для того чтобы передать выполнение каких-либо работ, задач или шагов бизнес-процесса на сторону, необходимы навыки управления по «входу» и «выходу» в аутсорсинговый проект. Это относится не только к маркетинговым услугам или услугам ИТ, но и ко всем сторонам деятельности предприятия. По наблюдениям экспертов, многие компании опасаются передать работы на сторону из-за неумения контролировать выполнение работ, другие боятся роста расценок или потери квалифицированных специалистов. Часто препятствием становится опасение потерять универсальных работников, которыми можно «затыкать дыры».
Есть еще одна большая проблема - как удержать «на поводке» эту самую фирму. Аутсорсер много умеет, много знает о предприятии в целом, и если он «вдруг» разорвет отношения, то основному бизнесу может настать конец. Подобная ситуация свидетельствует об отсутствии профессиональных отношений на отечественном рынке аутсорсинга.
Передавая на внешний подряд крупные участки операций, компания получает управление процессами, которое может позитивно сказаться на сокращении просрочек оплаты счетов, улучшении финансового прогнозирования и уменьшения нагрузки на рабочий капитал. Среди таких преимуществ:
• улучшения в управлении запасами и наличными средствами;
• значительное снижение нагрузки на рабочий капитал;
• снижение затрат на финансирование инвестиционного капитала;
• уменьшение количества трудоемких процессов;
• более эффективно работающие автоматизированные финансовые
системы.
Аутсорсинг, как метод работы, становится все более и более популярным. Считается, что с его помощью можно решить целый ряд задач:
• снизить накладные расходы на ведение технического сопровождения, сосредоточиться исключительно на деятельности, приносящей прибыль;
• повысить эффективность и качество исполнения работ.
Но реструктуризация с переходом предприятия на аутсорсинг подразумевает увеличение количества поставщиков и связанные с этим проблемы.
Возникает множество вопросов: какие функции сохранить и усилить, а от каких можно отказаться? Как найти поставщиков услуг? Как организовать систему взаимодействия с партнерами? Как обеспечить надежность с заданным уровнем качества? Как это делать? С чего начать?
Что касается рисков, каждая модель позволяет минимизировать их определенный вид. Так, обычный аутсорсинг, предлагающий устойчивый уровень услуг, снижает финансовые риски. В свою очередь, совместный аутсорсинг за счет более высокого уровня предлагаемых услуг, повышения гибкости и скорости бизнес-процессов, позволяет разделить операционные риски. Аутсорсинг с элементами реорганизации позволяет разделить стратегические риски обоих партнеров.
Таким образом, не существует единой для всех модели аутсорсинга, которая гарантировала бы стопроцентный результат. Однако, выбирая определенный вид аутсорсинга и переходя от малого к большему, компания способна влиять не только на управление рисками, но и на всю свою корпоративную культуру.
Следует понимать, что аутсорсинг - это не передача каких-либо этапов выполнения работ из одного филиала организации в другой, даже если они находятся в разных странах мира. Аутсорсинг предполагает партнерское взаимодействие двух совершенно независимых друг от друга организаций.
Например, имеется фирма, изготавливающая электронные блоки бесперебойного питания. Сборку электронной части блоков она выполняет собственными силами, а металлические корпуса для них выпускает фирма-партнер. В данной ситуации имеются все основания говорить об аутсорсинге. Поскольку качество корпусов существенным образом влияет на качество продукта в целом, организация-производитель блоков питания должна оказывать управляющие воздействия на предприятие, изготавливающее корпуса для них.
Сказанное означает, что процессом аутсорсинга нужно управлять. Следует понимать, что подобное управление обязательно будет сопряжено с некоторыми трудностями, поскольку речь идет об управлении процессами, пусть даже партнерской, но все же другой организации.
При передаче отдельных процессов (операций) на аутсорсинг необходимо учитывать возможные риски:
Операционные риски:
• нарушение качества работ, технических требований;
• ценовой диктат, смена ценовой политики;
• нарушение сроков;
• угроза потери контроля бизнеса и самостоятельности;
• снижение устойчивости бизнеса;
• возможная зависимость от компании-провайдера, передача слишком многих полномочий в «одни руки»;
• потеря части бизнеса;
• утечка конфиденциальной информации;
• возможность банкротства исполнителя.
Среди причин перехода на аутсорсинг можно выделить увеличение производительности труда, уменьшение затрат, желание сфокусироваться на основной деятельности. Основными выгодами являются быстрые сроки выполнения работ и доступность.
Итак, расчеты подтверждают экономическую целесообразность, а как обеспечить добросовестность при выполнении работ (оказании услуг), ведь именно качество должно обеспечить надёжность?
Поддержание исправности (работоспособности) различных технических систем требует выполнения регламентных работ и работ по устранению возникающих неисправностей. Это эпизодические работы и привлечение специализированных сторонних организаций выгоднее экономически, чем формирование собственной соответствующей структуры.
В чем опасность, и в чем преимущества создания системы аутсорсинговой эксплуатации инженерных систем? Проанализируем сильные и слабые стороны предприятия, возможности и опасности данного метода (см. Табл. 2).
Таблица 2. Анализ сильных и слабых сторон предприятия, возможностей и опасностей при аутсорсинговой эксплуатации инженерных систем_
Событие Вероятность Степень серьезности Трудность обнаружения
Зависимость от исполнения договора подрядной организацией (недобросовестность) Низкая Высокая Средняя
Утечка конфиденциальной информации Высокая Высокая Высокая
Отставание собственной материально-технической базы Низкая Средняя Низкая
Возникновение коррупционных схем Средняя Высокая Высокая
Итак, какие выводы можно сделать, проанализировав таблицу? Крупное предприятие в состоянии реализовать чёткую систему аутсорсинговых отношений, что, в свою очередь делает рациональной предлагаемую реструктуризацию.
Используя возможности методики аутсорсинга, мы:
• увеличиваем привлекаемые к выполнению работ ресурсы при одновременном снижении цены;
• увеличиваем оперативность реагирования при ликвидации аварий и неисправностей;
• уменьшаем стоимость работ.
Какие рекомендации можно дать по обеспечению исполнения процесса? Нейтрализация внешних угроз:
- Предусматриваем жёсткие штрафные санкции к подрядным организациям.
- Предлагаем заключать договоры о конфиденциальности с подрядными организациями
- Подрядные организации отбираем с перекрытием зон специализации (для создания возможности перераспределения объёмов работ).
Укрепление слабых сторон:
- Активно обучаем персонал, создаем собственную систему технического надзора.
- Нейтрализуем возможность создания коррупционных схем путём организации конкурсного отбора организаций-кандидатов.
Как уже указывалось, функционал распределяется по пяти направлениям:
• система диспетчеризации состояния оборудования;
• система гарантированного электроснабжения:
• система кондиционирования и охлаждения;
• система охраны и контроля доступа;
• дизель-генераторная установка.
Систему диспетчерского контроля выделим в отдельную структуру, а технический персонал направлений заменим специалистами технического контроля, существенно сократив их число.
Отдел инженерных систем будет состоять из специалистов, отвечающих за исполнение договоров обеспечения функционирования систем безопасности, кондиционирования и электроснабжения. Он организует восстановление работоспособности инженерных систем при сбоях и выходах из строя, техническое обслуживание инженерных систем.
Специалисты отдела, закрепленные за конкретными системами (функционально сгруппированными комплексами оборудования) взаимодействуют с подрядными организациями, являясь, по сути, представителями технического надзора. Они формируют технические задания при организации конкурсных процедур и отвечают за техническое содержание договора сопровождения системы.
Однако на рынке действует достаточное количество непорядочных игроков [5]. Нередко используются уязвимые места и знание инсайдерской информации в своих целях.
Путь тут только один - грамотно составленный договор. Договор должен содержать несколько принципиальных моментов, которые позволять иметь: во-первых рычаги влияния, а во-вторых механизмы, позволяющие решать вопросы о стоимости услуг.
Аутсорсеру оборудование, передаются в обслуживание по подробным спецификациям, в договорах прописываются регламенты, сроки работ. Устанавливаются степени ответственности за ненадлежащее исполнение условий договора.
Заключается срочный договор. В текст договора закладывается возможность расторжения при низком качестве работ (услуг).
Используются механизмы конкурсного производства при отборе претендентов.
Закладывается механизм изменения цены.
Договор должен быть направлен на заинтересованность обоих сторон в одном результате, например, в случае ремонтов оплата должна производиться не за человеко-час или проведенный ремонт, так как такая система заинтересовывает подрядчика в длительных простоях и в большом количестве ремонтов. Правильный подход в заключении договора на полный сервис и оплате по результатам работы оборудования- чем больше оборудование работает, чем больше его коэффициент технической готовности - тем больше получает подрядчик. При таком подходе векторы
интересов Подрядчика и Заказчика совпадают, и результат получается максимально выгодный всем сторонам.
Хороший, но не всегда осуществимый на практике шаг - получать доступ к финансовой информации контрагента. Пример: оговорить заранее в техническом задании включение в состав совета директоров представителя Заказчика.
Аутсорсинг возможен при установлении надежных партнерских отношений и формальное их воплощение - договор. Предприятие, активно использующее аутсорсинговые методы хозяйствования, «обречено» на формирование четкого регламента договорной работы. Передавая на внешний подряд весь процесс, включая и связанные с ним процессы и технологии, вы позволяете провайдеру стать реальным владельцем результатов осуществляемых им процессов и контролировать их [6]. Это не только требует значительной степени доверия и установления действительно партнерских взаимоотношений с контрагентом, но и вызывает необходимость в составлении подробных отчетов, эффективном управлении.
Для организации эффективного взаимодействия с контрагентом необходимо:
• предварительного выявления рисков по договорам;
• предупреждения рисков.
Юридическая служба - наиболее распространённая модель организации юридического администрирования. Именно она обеспечивает формализацию отношений между участниками аутсорсинговой схемы. Однако в процессе формирования договора не она является инициатором. Кто он? Это функциональный заказчик.
Основным исходным техническим документом для заключения договора является техническое задание (ТЗ), которое устанавливает комплекс требований к содержанию, объему, срокам выполнения работ.
Проект ТЗ может разрабатываться как функциональным заказчиком, так и исполнителем договора на основе исходных требований функционального заказчика. Проект ТЗ, завизированный функциональным заказчиком, передается в контролирующие подразделения для предварительного согласования структуры и содержания ТЗ. После предварительного согласования ТЗ юридическая служба обеспечивает функционального заказчика проектом контракта (договора) для обсуждения и согласования сторонами условий его выполнения в целом. В обсуждении и согласовании сторонами условий договора в целом принимают участие руководители заинтересованных структурных подразделений функционального заказчика.
Проект договора после проработки с исполнителем, функциональным заказчиком согласовывается в установленном порядке на предмет правильности отнесения выделенных финансовых средств по статьям расходов и калькуляции плановой себестоимости, а также с юридической службой на предмет его соответствия законодательству Российской Федерации.
После подписания договора, контроль его исполнения распределяется между соответствующими структурами:
• качество и объёмы работ - отдел инженерных систем,
• исполнение платежей - бухгалтерия,
• соблюдение нормативов законодательства - казначей,
• соблюдение нормативов планирования - плановый отдел.
Так, путем специализации и разделения функциональных обязанностей и можно обеспечить работы по обеспечению надёжности инженерных систем существенно снизив их стоимость.
Как показала практика работы на рынке аутсорсинга, все нюансы договором не охватить. Есть множество ситуаций, когда возникают споры. В этих случаях нужно изначально попытаться создать механизм воздействия на контрагента. И он должен стать частью договора.
В завершении хотелось бы отметить несколько моментов -предостережений.
Не следует пытаться ускорять процесс - результат может быть обратным. Но и когда есть полнота картины - не следует излишне затягивать процесс перехода на аутсорсинг. В техническом задании рекомендуется сразу отражать все условия, задачи. Все требования (например, требование выкупа складских остатков) указывать в тексте договора. Также стоит указать и сроки начала работ. Всегда особое внимание рекомендуется уделить стратегии компании - ключевые компетенции должны оставаться под контролем компании - клиента.
Как показала практика, самая большая проблема в применении аутсорсинга - это неподготовленность процесса и отсутствие необходимой информации.
Вывод. При введении аутсорсинговых схем обеспечения технической эксплуатации стоимость эксплуатации может быть снижена в несколько раз при росте качества и незначительном увеличении рисков. Целями перехода на аутсорсинг должны стать повышение качества услуг, снижение уровня издержек, высвобождение ресурсов, повышение капитализации компании, расширение бизнеса, а также улучшение имиджа компании. Аутсорсинг способен не только улучшить показатели по прибыли компании, но и
перевести компанию из числа выживающих к числу инвестирующих в новое развитие.
Литература
1. Эксплуатация ДГУ производства F.G.Wilson. [Электронный ресурс]. -URL: http://cons-systems.ru/kspluatatciya-dgu-proizvodstva-f-g-wilson
2. Структура энергоснабжения центра обработки данных. [Электронный ресурс]. - URL: http: //cons-systems. ru/struktura-nergosnabzheniya-tcentra-obrabotki-dannykh
3. Драгунов А.В., Демьяненко Ю.А., Микушев В.М., Седунов А.В. Информационные и коммуникационные технологии в образовательном кластере псковской области // Информатика и образование. 2013. № 9 (248). С. 3-9.
4. Казакова Н.Е. Повышение квалификации как фактор обеспечения компетентности персонала при строительстве телекоммуникационных объектов и сооружений связи // Век качества. 2016. № 3. С. 112-119.
5. Соколова Е.С., Чернышева Е.Н. Организационные аспекты повышения качества финансовой информации // Экономические науки. 2009. № 61.
С. 386-389.
6 .Увеличение экономической эффективности ЦОД путем передачи части процессов на аутсорсинг. [Электронный ресурс]. - URL: http://cons-systems.ru/uvelichenie-konomicheskoy-ffektivnosti-tcod-putem-peredachi-chas.
7. Матющенко И. А. Работа в среде Microsoft Office Excel 2013. - Saint-Louis, Missouri, 2016. - 62 с.
8. Кошкин Г.М., Рюмкин В.И., Васильев В.А., Добровидов А.В. Непараметрическое оценивание функционалов от распределений по зависимым выборкам // Отчет о НИР № 98-01-00296 (Российский фонд фундаментальных исследований).
Organization of a control system of operation of data center
Filin Sergey Alexandrovich
Annotation: It is the customer, who is the user, who first has to think about the operation and put the corresponding requirements into the technical task.
How to design and build a data center, how to ensure its reliability and economy? How to build an operation service capable of combining both efficiency and profitability? The materials received as a result of reflections and discussions, generalized by the author and and published in the form of reflections and councils on the Internet are the basis for article.
Keywords: Data center, economic effect, network, accident, data center
