CC BY
148
ПОСТРОЕНИЕ СОВРЕМЕННОГО ТЕРРИТОРИАЛЬНО-РАСПРЕДЕЛЕННОГО ЦЕНТРА ОБРАБОТКИ ДАННЫХ
Ю.М. Лисецкий, к.т.н. («S&T Софт-Тропик», Украина, г. Киев)
Современные компании все чаще сталкиваются с такими проблемами, как возрастающая необходимость централизации вычислительных мощностей и возникающие при этом риски, а также необходимость обеспечения физической безопасности данных и оборудования. Особенно остро эти проблемы стоят перед территориально-рас-пределенными структурами [1]. Такие организации можно условно разделить на три категории. К первой относятся те, чья структура предполагает четко обозначенный центр управления и однотипные удаленные филиалы, примером могут служить розничные сети банков. Представители второй категории также имеют единый центр, однако их региональные отделения более самостоятельны. В качестве примера можно привести сети розничной торговли и дистрибьюторские организации. Третья категория - холдинги, объединяющие компании разных размеров и специализации.
Стратегия развития территориально-распре-деленных компаний различная и, как правило, зависит от сектора экономики. Если банковские и торговые сети практикуют территориальную экспансию, а холдинги консолидируют управление дочерними компаниями, то перед государственными структурами стоит задача упорядочить внутренние процессы и повысить оперативность работы удаленных подразделений.
Создание высокопроизводительного центра обработки данных (ЦОД) является одним из самых эффективных способов удовлетворения постоянно возрастающих требований компаний к производительности и надежности своей вычислительной инфраструктуры при одновременном увеличении объемов обрабатываемой информации, обеспечении адаптивности к меняющимся потребностям в ИТ-ресурсах и сокращении затрат на поддержку и развитие ИТ-инфраструктуры.
Для крупных телекоммуникационных операторов, которые эксплуатируют множество географически распределенных технических площадок, также актуальна проблема консолидации ресурсов в ЦОД. Подобная консолидация позволяет повысить управляемость инфраструктурой, снизить затраты на сопровождение и поддержку, обеспечить гарантированное качество предоставления сервисов.
Рассмотрим этот вопрос на примере ОАО «Укртелеком», которое является национальным оператором связи, предоставляющим услуги во всех регионах Украины. Компания имеет собственную высокоскоростную опорную сеть, где го-
рода-миллионники соединены кольцами с пропускной способностью 2,5 Гбит/с.
ЦОД представляет собой целостную организационно-техническую информационную систему, состоящую из тесно интегрированных программных и аппаратных компонентов, инженерных систем, а также из организационных процедур, средств управления ИТ-ресурсами и обеспечения информационной безопасности. Построение, как правило, осуществляется по иерархическому принципу. Основа ЦОД - инженерная инфраструктура, которая гарантирует непрерывное функционирование всех его подсистем, обеспечивает физическую безопасность и является технологическим фундаментом для построения ИТ-инфраструктуры. Аппаратная инфраструктура ЦОД объединяет в себе все вычислительные мощности для выполнения основных и служебных приложений и сетевые коммуникации, которые обеспечивают взаимодействие между серверами, а также организует внутрикорпоративные и внешние каналы связи. Программное обеспечение является базой для организации систем эксплуатации и информационной безопасности и выполняет непосредственную обработку данных.
Цель построения ЦОД:
- внедрение современной ИТ-платформы для предоставления ИТ-сервисов соответствующего уровня для клиентов и сотрудников компании;
- стандартизация и консолидация ИТ-служб;
- уменьшение затрат на управление ИТ-ресурсами за счет современных средств управления и мониторинга;
- обеспечение сотрудников компании платформой коллективной работы и эффективными средствами доступа к информации.
Основная задача - предоставление сотрудникам компании ИТ-сервисов с одинаковым гарантированным качеством, независимо от месторасположения пользователя.
Необходимость повышения эффективности строительства и модернизации ЦОД на основе системного подхода и тиражируемых решений привела к появлению стандартов, регламентирующих, в частности, требования к помещениям, инженерной инфраструктуре, безопасности: в США - Е1А/ Т1А-942, в Европе - проект стандарта ЕК 50173-5. Независимо от направления деятельности компаний можно выделить следующие основные требования [2], предъявляемые к построению ЦОД:
• централизация хранения данных;
• совместное использование устройств и данных в кластерных системах;
• централизация управления ресурсами хранения, резервного копирования и восстановления данных;
• резервирование и возможность территориального распределения компонентов системы;
• высокая доступность системы;
• высокая надежность и безотказность информационной инфраструктуры и системного ПО;
• виртуализация системных ресурсов.
• интеграция решения в существующие информационные среды;
• внедрение систем эффективного управления решением.
Приступая к проектированию ИТ-инфраструктуры для распределенной компании, необходимо предварительно изучить информационную модель ее бизнеса: формализовать структуру организации, бизнес-процессы и логику их взаимосвязи, определить ИТ-ресурсы, задействованные в подразделениях и т.п. Корректное сопоставление территориальной и логической структур позволяет разработать оптимальное и эффективное решение [3].
Анализ использовавшихся в «Укртелекоме» решений выявил наличие различных аппаратных платформ и баз данных, почтовых серверов, а также разрозненных систем хранения. Осознание потребности в корпоративной инфраструктуре, которая основывалась бы на унифицированных элементах, требовало также выработки гибкого и универсального подхода к построению и функционированию. В ходе составления плана модернизации инфраструктуры пришли к выводу, в соответствии с которым вместо распределения ресурсов по районным центрам, целесообразней создать консолидированные системы. Была сформулирована концепция построения новой ИТ-инфраструктуры в виде мощного территориально-распределенного ЦОД. В состав ЦОД входят шесть центров - один головной и пять региональных, которые образуют единое целое и способны обслуживать более 30 тысяч корпоративных пользователей.
Проведенный анализ показал отсутствие четкого единообразного подхода к построению аппаратной инфраструктуры. В разных отделениях использовались системы разных производителей, что делало невозможным эффективное управление инфраструктурой в целом. Поэтому первоочередной задачей проекта стала унификация аппаратных средств.
Выбор аппаратных средств производился с учетом возможности дальнейшего масштабирования из дискретных систем производства мировых лидеров. От использования решений hi-end-клaссa было решено отказаться из-за их стоимости: капитальные затраты оказывались особенно высокими
при построении систем с резервированием элементов. В то же время применение дискретных систем позволяло оптимально распределить инвестиции в аппаратную инфраструктуру во времени.
Для обеспечения работы СУБД Oracle были выбраны серверы HP на процессорах Intel Itanium 4640. Серверы, обслуживающие СУБД Microsoft SQL Server, работают на процессорах Itanium 2620. Для хранения транзакционных данных используются системы EMC Clarion, оборудованные жесткими дисками с интерфейсом Fiber Channel: в регионах - CX300 и CX500, в центре - СХ500 и CX700. Также используются хранилища данных EMC с дисками SATA, которые обслуживают сервисы резервного копирования. Для управления и мониторинга систем хранения используется ПО компании EMC.
Сеть хранения данных построена на специализированных коммутаторах Cisco MDS 9506 (в центре) и MDS 9140 (в регионах). Общая сетевая инфраструктура основывается на двухуровневой модели Core&Accsess, в которой предусмотрено разделение элементов ядра и средств доступа.
Построенная таким образом сетевая инфраструктура не имеет единой точки отказа, в ней применены дублирующие и балансирующие соединения, которые позволяют распределить нагрузку между элементами сети.
Особенности и результаты внедрения
Проектирование ЦОД представляет собой достаточно сложный процесс и выполняется с учетом решаемых бизнес-задач, уровня требований к безопасности, пожеланий заказчика и имеющегося оборудования [4]. При организации подобных центров необходимо разрешить целый комплекс архитектурно-строительных и проектных проблем. Наряду с этим требуется обеспечить все, что связано с электроснабжением, кондиционированием, пожаротушением, с контролем доступа и с защитой информации.
Проект начался с проектирования перспективной архитектуры: была подготовлена документация, описывающая все сервисы. В состав пакета документации вошла спецификация функциональности, эксплуатации, регламентных работ, настройки, переконфигурирования и т.п. Этот подход обеспечил также обслуживание и непрерывность сервисов при ротации кадров.
По каждому внедряемому сервису были созданы рабочие группы, куда вошли представители заказчика, компании-интегратора и компании-производителя систем. Руководитель группы отвечал за реализацию сервиса. Проектирование и планирование осуществлялось совместно в рамках рабочих групп, после чего принятые решения анализировал и утверждал технический руководитель проекта.
Изначально проект был разбит на два этапа. В ходе первого этапа были внедрены 14 сервисов в головном ЦОД, произведена оценка их эффективности. На первом этапе в региональных ЦОД было внедрено меньшее количество сервисов: дальнейшее полное развертывание системы во всех ЦОД проводилось на следующем этапе проекта. К моменту окончания второго этапа как головной, так и региональные ЦОД смогли обслуживать 5-10 тысяч корпоративных пользователей.
По плану на реализацию первого этапа проекта потребовалось 40 рабочих недель. Избежать одного из наиболее вероятных рисков при реализации масштабных внедрений - несоответствия предварительно оговоренным срокам - помог проектный подход, описанный Microsoft Systems Architecture - MSA 2.0, в соответствии со стандартами международного института IPI.
В процессе создания территориально-распре-деленного ЦОД «Укртелекома» построена сеть из шести мощных корпоративных ЦОД. Основные количественные параметры проекта: численность корпоративных пользователей - более 30 тыс., суммарная площадь помещений - 880 кв.м, количество технологических шкафов - 153, общий объем хранения транзакционных данных - 249 Тб, общее количество серверов - 361 (в том числе кластеры из двух, четырех и восьми узлов), мощность системы кондиционирования - 824 КВт. В общей сложности в 6 ЦОД введены в эксплуатацию 72 системы хранения EMC, работающие по принципу online. В настоящее время отказоустойчивость обеспечивается в рамках одного ЦОД. В каждом из них используется резервирование систем. Локальные сети ЦОД работают на скоростях 1 Гб/с и 10 Гб/с, а сети хранения Fibre Channel - на 2 Гб/с и 4 Гб/с.
Эти сети построены на базе активного оборудования Cisco. Локальные сети реализованы в виде двухуровневой структуры. Коммутаторы Catalyst 6509 с модулями межсетевых экранов, обнаружения вторжений, контент-менеджмента использованы в ядре сети. На уровне доступа установлены Catalyst 3750, подключенные по схеме сдвоенного резервного дублирования. Каждое устройство, например сервер или система хранения, соединяется с разными ветками коммутато-
ров 3750 в режиме балансировки нагрузки. Еще одна разновидность оборудования Cisco - коммутаторы MDS 9506 - использована при построении сети хранения SAN.
Системы хранения представлены решениями EMC CLARiiON CX300, C500, CX700 и обновленной линейки CX3 80. В системе используются ленточные библиотеки производства компании ADIC. В качестве серверной составляющей для развертывания MSA были выбраны системы производства HewlettPackard. В качестве серверов используются модели Itanium RX 4640 для работы с Oracle и Itanium RX 2620 для Microsoft SQL.
В общей сложности внедрено в центральном и региональном ЦОД 14 сервисов: служба активного каталога, системы хранения данных, резервирования и восстановления, корпоративная электронная почта, файловое хранилище, сервис портала и др.
В результате успешного решения комплекса задач, возникающих при реализации проекта такой сложности, за 10 месяцев была построена сеть из шести мощных корпоративных ЦОД.
Консолидация ресурсов в мощных ЦОД позволила компании «Укртелеком» повысить надежность предоставляемых сервисов, обеспечить их гарантированное качество, создать основу для дальнейшего масштабирования. Построение новой инфраструктуры предоставило возможность оптимизировать распределение бюджета на поддержку и развитие ИТ-служб.
В ходе реализации проекта построения распределенной сети ЦОД для «Укртелекома» накоплен уникальный опыт. Технологии и подходы к решению задач, примененные в этом проекте, в значительной мере универсализированы, что дает возможность предлагать портфельное решение построения ЦОД высокого уровня сложности.
Список литературы
1. Гриценко В.И., Урсатьев А. А. Распределенные информационные системы. Состояние. Проблемы развития //УСиМ.-2003 .-№4.-С.11-21.
2. Гоменюк А.Р., Сопенко С. И. Строим центр обработки данных //Корпоративные системы К.-2007.-№5.-С.6-11.
3. Уайдл Д. Оптимальное проектирование. / Пер. с англ. -М.: Мир, 1981.
4. Захаров И.Г. Теория компромиссных решений при проектировании. - Л.: Машиностроение, 1987.
ПОСТРОЕНИЕ АВТОАДАПТИВНОГО ФОНТА В ДОКУМЕНТАХ ЭЛЕКТРОННЫХ БИБЛИОТЕК
А.Н. Сотников, д.ф.ж.н.; И.Н. Чередниченко (МСЦРАН, г. Москва)
С развитием Интернет-технологий и удешевлением стоимости хранения электронной информации, возрастает актуальность создания и разви-
тия электронных библиотек. Электронные библиотеки стали уже привычным явлением в нашей жизни и содержат широчайший спектр научно-
