Миграция высокодоступного кластера VMware vSphere

Гуренко В.В.; Макаров А.А.

Ссылка на статью:

// Радиооптика. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 03. С. 14-26.

Б01: 10.7463/п1о1*.0315.0789630

Представлена в редакцию: 27.04.2015 http://radiooptics.ru Исправлена: 11.05.2015

УДК 004.75

Миграция высокодоступного кластера УМ,^аге у8рЬеге

Гуренко В. В.1'*, Макаров А. А.1

1МГТУ им. Н.Э. Баумана, Москва, Россия

Статья посвящена вопросу практической миграции ядра сетевой инфраструктуры, построенного на базе виртуального кластера VMware vSphere, на новую версию программного обеспечения. Указаны причины первоначального перехода от традиционной организации серверной платформы к платформе виртуальных машин. Отмечены достоинства технологии виртуализации. Описан процесс перехода высокодоступного кластера VMware vSphere с версии 4.0 на версию 5.1. Основное внимание уделено преимуществам миграции, касающимся разгрузки силовых цепей и повышения энергоэффективности серверной фермы, оптимизации подключения физических серверов, загрузки процессорных устройств и оперативной памяти, сокращения времени простоя виртуальных машин. Результаты работы могут быть полезны специалистам в области сетевой инфраструктуры в качестве опыта обновления платформы виртуализации крупной корпоративной сети. Актуальность работы обусловлена отсутствием универсального подхода к обновлению из-за уникальности архитектурных решений каждой корпоративной сети, что приводит к различиям в практическом осуществлении миграции.

Ключевые слова: корпоративная сеть, кластер, VMware, vSphere, виртуализация, платформа виртуальных машин

Введение

Платформы виртуальных машин все более широко применяются с целью повышения эффективности ГГ-инфраструктуры организаций. Понятие виртуализации используют повсеместно, причем нередко в разнообразных контекстах, имея в виду виртуализацию систем хранения, операционных систем, приложений. В то же время под термином «виртуализация» принято понимать представление некоторого объекта в удобном для пользователя виде, когда подробности реализации скрываются, а сам объект обладает привычным интерфейсом, позволяющим взаимодействовать с внешней средой.

Когда говорят о виртуализации центров обработки данных, то, прежде всего, имеют в виду создание виртуальных машин - абстракций, заключающих в себе собственную виртуальную аппаратно-программную среду. Тем самым на одной физической платформе оказывается возможным установить и одновременно запустить несколько экземпляров

Радиооптика

операционной системы. Вследствие этого представление операционной системы, с точки зрения пользователя, отделяется от «привязки» к техническим средствам. Кроме того, несколько виртуальных серверов размещаются на одном физическом, получая при этом возможность быстрой миграции и восстановления операционных сред в случае сбоя или отказа. Такой подход обеспечивает максимальную гибкость в отношении развертывания серверов, обеспечения их отказоустойчивости, поддержания работоспособности и управления ими.

В последнее время заметно возросло использование кластера VMware vSphere в качестве ядра инфраструктур корпоративных сетей. Его доступность существенно расширяет возможности внедрения в организациях новых информационных ресурсов. VMware vSphere представляет собой пакет программного обеспечения, включающий несколько серверов VMware ESXi и одного сервера VMware vCenter. На серверах ESXi производят запуск виртуальных машин, а сервер vCenter решает задачу центрального управления ими.

В настоящей статье основное внимание уделяется актуальности внедрения платформы виртуализации VMware, процессу ее обновления и полученным в результате миграции на новую версию преимуществам. Процесс миграции рассмотрен на примере корпоративной сети одного из государственных высших учебных заведений города Москвы (далее по тексту - университет).

1. Причины первоначальной виртуализации

Компания VMware стала одним из первых участников на достаточно новом рынке платформ виртуализации. Конкурентами VMware в отношении виртуализации серверов являются компании Microsoft с продуктом Hyper-V и XenSource c продуктом Xen. На момент первого внедрения названные разработки были нестабильными в отличие от отказоустойчивого кластера vSphere компании VMware [2].

Кластер университета был создан в 2009 году на базе платформы виртуализации VMware ESXi 4.0 под управлением vCenter 4.0 с введением системы хранения данных Hitachi AMS 2100 и серверных ферм Oracle Sun Fire X4170 M2 и Sun Fire X4150. Выбор технологии виртуализации был обусловлен следующими ее преимуществами перед традиционным использованием серверов.

1. Увеличение коэффициента использования аппаратного обеспечения. Согласно статистике, большинство серверов локальных сетей организаций при выполнении штатных задач загружены в среднем на 5-10% [8]. Использование нескольких виртуальных серверов на одном физическом позволяет увеличить его загруженность до 80% [3], что дает очевидную экономию средств на приобретение сетевого оборудования.

2. Упрощение конфигурирования сетевой среды при замене аппаратного обеспечения. Поскольку виртуальные серверы разобщены с конкретным оборудованием, при обновлении парка физических серверов не требуется повторная установка и настройка

программного обеспечения. Виртуальная машина просто переустанавливается («мигрирует») на другой сервер без простоя.

3. Повышение гибкости использования серверов. Использование нескольких виртуальных серверов является лучшим решением в условиях меняющейся нагрузки, так как виртуальный сервер при повышении нагрузки может быть безболезненно перенесен на другую платформу, в то время как физический сервер может оказаться перегружен [3].

4. Сокращение времени простоя и повышение доступности серверов. Резервное копирование виртуальных машин и восстановление из них занимает значительно меньшее время и является более простой процедурой, чем замена физического оборудования. При выходе оборудования из строя резервная копия виртуального сервера может быть сразу запущена на другом физическом сервере.

5. Повышения качества управления серверной инфраструктурой. Существует множество программных продуктов для управления виртуальной инфраструктурой, позволяющих централизованно управлять виртуальными серверами, обеспечивать балансировку нагрузки и так называемую «живую» миграцию.

6. Сокращение затрат на содержание обслуживающего персонала. Использование виртуальных серверов, очевидно, означает привлечение меньшего штата специалистов. Тем не менее нельзя не учитывать тот факт, что требования к квалификации специалистов неуклонно возрастают, а подготовка высококвалифицированных специалистов - это немалые капиталовложения [9].

7. Сокращение затрат на электроэнергию и, как следствие, снижение негативного воздействия на окружающую среду. Крупные центры обработки данных характеризуются высокой энергоемкостью - большой потребляемой мощностью систем силового питания, охлаждения аппаратуры и кондиционирования серверных помещений. В случае концентрирования нескольких виртуальных серверов на одном физическом эти затраты снижаются.

В 2014 году в связи с расширением системы хранения данных Hitachi AMS 2100 и добавлением в неё новых жестких дисков NearLine SAS (NL-SAS) [1] объёмом 3ТБ, а также по причине невозможности внедрения новых операционных систем, таких как Windows Server 2012R2 и Red Hat Enterprise Linux (RHEL) версии 7 [2], стал актуальным вопрос о миграции серверов VMware ESXi и vCenter с версии 4.0 на версию 5.1 (обновление 2). Помимо этого, до миграции сервер vCenter работал на платформе Microsoft Windows Server 2003 редакции «Standard», окончание поддержки которой в 2015 году представляло угрозу как управляющему серверу, так и всему вычислительному кластеру в целом.

2. Миграция виртуальных машин vSphere на новую версию

2.1. Причины миграции

Основными причинами миграции виртуальных машин установленного программного продукта VMware vSphere с версии 4.0 на новую версию 5.1 стали следующие решения, принятые в новой версии:

1) поддержка системой хранения данных Hitachi AMS 2100 жестких дисков NL-SAS объемом 3 ТБ [4];

2) усовершенствованная система настройки кластера;

3) поддержка хост-профилей;

4) наличие гибких политик vMotion;

5) поддержка новых операционных систем, таких как Windows Server 2012R2 и RHEL

7;

6) возможность создания отказоустойчивого хранилища [5].

2.2. Подготовка к миграции

В составе отказоустойчивого кластера университета работают 18 серверов, из них 14 - серверы Oracle Sun Fire X4170 M2 и 4 - серверы Sun Fire X4150. Количество виртуальных машин - около 120.

В соответствии с рекомендацией фирмы-разработчика, для корректной миграции виртуальных машин vSphere был установлен набор утилит на систему VMware Tools, увеличивший ее производительность на 15-20% [3]. Перед установкой данного компонента был сделан так называемый «снимок» системы виртуальных машин для обеспечения возможности отката в случае ошибки инсталляции. После этого было произведено обновление версии виртуальных кластеров VMware ESXi. Они были переведены в режим обслуживания и выведены из состава общего кластера, оставшегося под управлением серверов vCenter старой версии 4.0 [6].

Затем была произведена настройка служебных виртуальных серверов vCenter и vCenter SQL, предназначенных для централизованного управления средами VMware vSphere, а также сервера Microsoft SQL Server для хранения данных vCenter. В качестве базовой операционной системы для них была выбрана Windows Server 2012R2 редакции «Standard», доступная по программе Microsoft Volume Licensing (MS VL). В качестве SQL-сервера был выбран Microsoft SQL Server 2012R2 Enterprise, для которого были выполнены настройки параметров в соответствии с требованиями компании VMware. Для повышения производительности и масштабируемости кластера серверы vCenter и vCenter SQL были установлены на разные виртуальные машины [4]. В сервере vCenter также был настроен доступ по технологии единого входа SSO (Single Sign On) с целью дальнейшей «привязки» к домену Active Directory.

Следующим этапом подготовки стало обеспечение замены старых жестких дисков на новые без потери информации. Для этого была осуществлена консолидация

виртуальных машин на меньшем количестве адресов LUN (Logical Unit Number). В дальнейшем были отформатированы разделы и собраны резервированные массивы независимых дисков по технологии RAID уровня 10 на устройстве Hitachi. Хотя технология RAID обеспечивает надежность резервирования больших объемов данных, достаточно высокую скорость обмена и приемлемую отказоустойчивость хранилища, ее недостатком является слишком большая избыточность, т.е. потери полезного дискового пространства.

2.3. Осуществление миграции

Для миграции виртуальных машин был создан высокопроизводительный отказоустойчивый вычислительный кластер, поддерживающий сетевые технологии HA (High Ability), DRS (Distributed Resource Scheduler), DPM (Distributed Power Management) и EVC (Enhanced vMotion Compatibility).

Применение технологии HA способствует снижению времени простоя виртуальной машины до 3 минут в случае отказа физического сервера путем ее перезапуска на менее нагруженном рабочем сервере. Технология DRS позволяет оптимизировать распределение виртуальных машин на физическом сервере. Технология DPM обеспечивает включение или отключение серверов в зависимости от нагрузки с использованием ILOM-интерфейса компаний Oracle и Sun Microsystems, а также динамическое управление работой стоечных кондиционеров APC InRow, предназначенных для поддержания микроклиматических условий в серверном помещении. Применение DPM, таким образом, приводит к снижению энергозатрат и способствует продлению периода безотказной работы оборудования. Технология EVC позволяет выполнять «живую» миграцию vMotion между серверами, построенными на процессорах разных моделей одного производителя [7].

Процесс миграции был осуществлен путем отключения каждой виртуальной машины, удаления ее из перечня прежнего сервера vCenter и добавления в инвентарь нового сервера. При этом простой виртуальной машины составлял от 1 до 15 минут в зависимости от объема выделенной машине памяти. После включения машины выполнялся ее перенос на новый адрес LUN, а также производилось обновление версии конфигурационного файла VMware Configuration File для данной виртуальной машины.

После переноса всех виртуальных машин и подключения к новому кластеру полного состава виртуальных серверов были составлены хост-профили для каждого экземпляра серверного оборудования и созданы файлы ответов для быстрого разворачивания новых серверов в кластере VMware.

При помощи инструментальных средств технологии DRS удалось добиться равномерного распределения как данных в системе хранения, так и самих виртуальных машин в дисковом пространстве физического оборудования, а также обеспечить высокую скорость доступа.

3. Основные преимущества миграции

Помимо очевидных преимуществ перехода на новую версию сетевого программного обеспечения, связанных с повышением производительности, надежности, отказоустойчивости и защищенности системы виртуальных машин, по итогам миграции кластера была достигнута экономия энергоресурсов. Ниже приведен расчет затрат на электроэнергию, потребляемую физическими серверами до миграции на версию vSphere 5.1 и после нее. До миграции в составе кластера во включенном режиме постоянно работали все 18 физических серверов. После перехода на обновленную версию серверы перешли в избирательный режим работы: для эффективного обеспечения информационно-вычислительного процесса в каждый момент времени оказалось достаточным автоматического включения от 3 до 7 серверов из 18 в зависимости от загрузки, различающейся по времени суток. В расчете принято среднее количество включенных серверов, равное 6.

Средняя измеряемая мощность одного сервера Oracle X4170M2 по данным интерфейса Oracle ILOM составляет 0,8 кВт (для сервера Sun Fire X4150 значение сопоставимое).

Работа сервера в сутки: 24 часа.

Потребление одним сервером в сутки: 0,8 * 24 = 19,2 кВт ч.

Количество задействованных серверов в каждый момент времени до миграции (без DPM): 18.

Среднее количество задействованных серверов в каждый момент времени после миграции (с использованием технологии DPM): 6.

Потребление всеми серверами в сутки до миграции: 18 * 19,2 = 345,6 кВт ч.

Потребление серверами в сутки после миграции: 6 * 19,2 = 115,2 кВт ч.

Тариф за один кВт ч: 4,2 руб.

Затраты на электроэнергию в сутки до миграции: 345,6 * 4,2 = 1451,52 руб.

Затраты на электроэнергию в сутки после миграции: 115,2 * 4,2 = 483,84 руб.

Годовые затраты на электроэнергию до миграции: 1451,52 * 365 = 529'804,80 руб.

Годовые затраты на электроэнергию после миграции: 483,84 * 365 = 176'601,60 руб.

Экономия в год: 529'804,80 - 176'601,60 = 353'203,20 руб.

Указанная в расчете величина экономии, как видно, учитывает снижение энергозатрат на работу собственно физических серверов. Между тем, экономия достигается, безусловно, и за счет уменьшения затрат на обслуживание и ремонт оборудования, на электроэнергию, потребляемую системами охлаждения и кондиционирования.

Немаловажным итогом произведенной виртуализации стало существенное сокращение времени простоя критически важных компонентов программного

обеспечения, таких как «1С: Бухгалтерия» и «1С: Зарплата и кадры», обслуживающих все подразделения университета, а также портала дистанционного обучения, службы удаленных рабочих столов и других систем.

С целью проиллюстрировать полученные в результате виртуализации преимущества был построен ряд диаграмм, на которых сопоставлены значения некоторых показателей до миграции и после перехода на новую версию VMware vSphere с учетом применения указанных выше технологий DPM, HA и DRS.

На рис. 1 представлена диаграмма суммарных значений силы тока на выходах силового распределителя Rack Power Distribution Unit фирмы American Power Conversion (APC Rack PDU), который обеспечивает питание всего электронного и охлаждающего оборудования серверного помещения, для разного времени суток. Данные получены с помощью управляющего интерфейса названного распределителя.

Рис. 1. Нагрузка силового распределителя питания APC Rack PDU до и после миграции

Приведенные на рис. 1 данные показывают, что существенная экономия электроэнергии после миграции кластера достигается вне зависимости от периода эксплуатации в течение суток. Так, в наиболее загруженное дневное время потребляемый ток сократился с 33 до 28 А. В ночное время значение потребляемого тока снижается на еще большую величину - с 28 до 16 А.

На рис. 2 представлены данные загрузки источника бесперебойного питания (ИБП) UPS Symmetra PX фирмы APC.

Загрузка ИБП, %

О 10 20 30 40 50 60 70 80 90

Утро (09:00-13:00) День(13:00-16:00) Вечер (16:00-20:00) Ночь (20:00-09:00)

■до миграции ■ после миграции (сиспользованием DPM) Рис. 2. Загрузка ИБП UPS Symmetra PX до и после миграции

Данные рассчитаны автоматически схемотехникой ИБП и получены со встроенного ЖК-индикатора. Как и к распределителю тока, к ИБП непосредственно подключены физические серверы кластера. Видно, что загрузка ИБП стала заметно ниже после перехода на новую версию. В частности, в основное рабочее время она снизилась с 83% до 69%. В целом загрузка ИБП сократилась на 10-15%.

Помимо экономии электроэнергии и разгрузки силовых цепей в итоге миграции кластера были получены и преимущества, связанные с ростом производительности вычислительной среды. Так, на рис. 3 и рис. 4 показаны диаграммы, иллюстрирующие рост полезной загрузки центрального процессора (CPU) и оперативной памяти (ОП) физического сервера кластера.

Загрузка CPU, %

О 10 20 30 40 50 60 70 80

1 8

■до миграции ■ после миграции (с использованием DRS)

Рис. 3. Среднемесячное использование процессорного времени физическим сервером

Полезное использование процессорного времени возросло с 8% до 76% (см. рис. 3), а оперативной памяти - с 14 ГБ до 110 ГБ (см. рис. 4). Благодаря этому на одном

физическом сервере после перехода на версию 5.1 может быть размещено большее количество виртуальных машин. Данные, визуализированные на диаграммах, являются усредненными и получены с помощью системы мониторинга виртуальной инфраструктуры Veeam ОКЕ V. 8 в результате автоматического анализа загрузки сервера в течение одного месяца.

Объем ОП, ГБ

О 20 40 60 80 100 120

1 14

1 110

■до миграции Впосле миграции (с использованием DRS)

Рис. 4. Среднемесячное использование ОП физическим сервером

Диаграмма, представленная на рис. 5, визуализирует данные о времени простоя виртуальной машины в случае отказа физического сервера или отсутствия передачи пакетов. Данные получены с помощью сетевой системы мониторинга PRTG Network Monitor версии 15.1.15.2021. Среднее время простоя сократилось на 95% - с 47 до 2,4 минут. Эффект достигнут за счет настроек функций HA и DRS в оборудовании системы хранения данных.

Время простоя, мин.

О 5 10 15 20 25 30 35 40 45 50

1 47

1 2,4

■ до миграции ■ после миграции (с использованием функций НА и DRS)

Рис. 5. Время простоя виртуальной машины при отказе хоста

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Выше отмечалось, что обновление версии VMware vSphere и, в частности, использование DPM и других улучшенных технологий позволило перейти к гибкому режиму включения/выключения физических серверов, отказавшись от постоянной круглосуточной работы всех серверов. Диаграмма на рис. 6 показывает, на сколько единиц снизилось количество включенных серверов в зависимости от времени

эксплуатации в течение суток. Например, в утреннее рабочее время с 9-00 до 13-00 число задействованных физических серверов сократилось с 18 до 7. В целом в различные промежутки времени сокращение произошло на величину от 60% до 83%. Диаграмма отражает данные среднемесячного мониторинга.

Количество серверов, шт.

0 2 4 6 8 10 12 14 16 18 20

Утро (09:00-13:00)

День (13:00-16:00)

Вечер(16:00-20:00)

Ночь (20:00-09:00)

■до миграции ■ после миграции Рис. 6. Среднее число включенных физических серверов в кластере

Заключение

В данной работе был рассмотрен вопрос миграции высокодоступного кластера УМ№аге уБрЬеге с версии 4.0 на версию 5.1. Анализ проведенной работы позволил констатировать, что в результате обновления версии получены следующие преимущества.

1. Достигнута консолидация виртуальных машин на меньшем количестве физических серверов.

2. Повышена энергоэффективность серверной фермы за счет снижения тепловыделения, сокращены затраты на электроэнергию.

3. Снижена нагрузка на ИБП физических серверов на величину до 15% за счет отключения неиспользуемых серверов и снижения энергопотребления системой охлаждения.

4. Достигнута возможность запуска новых версий операционных систем в виртуальной среде.

5. Благодаря технологии EVC стало осуществимым автоматическое распределение нагрузки на физические серверы, включенные в единый вычислительный кластер.

6. Увеличен суммарный объем доступного места в отказоустойчивом хранилище, что позволило реализовать проекты по виртуализации рабочих столов с

использованием тонких клиентов на базе программного комплекса VMware Horizon.

7. Реализованы технологии, возможность внедрения которых до миграции была технически неосуществима: дистанционное обучение студентов, а также создание корпоративного портала, включающего компоненты электронного документооборота.

Развитие полученного кластера в перспективе может быть продолжено путем наращивания инфраструктуры корпоративной сети, что позволит в течение достаточно длительного периода внедрять и эксплуатировать актуальные программные системы, обеспечивающие применение современных образовательных технологий и отвечающие постоянному росту информационных потребностей учебной организации.

Список литературы

1. Михеев М. Администрирование VMware vSphere 5. М.: ДМК Пресс, 2012. 504 с.

2. Wolf C., Halter E.M. Virtualization: From the Desktop to the Enterprise. Apress, 2005. 600 P.

3. VMware Documentation // VMware: company website. Available at: https://www.vmware.com/support/pubs , accessed 16.06.2015.

4. Flueckiger P. Hitachi Adaptable Modular Storage 2000. Family Best Practices for VMware Virtual Infrastructure. Hitachi Data Systems, 2009 // Storage for VMware: website. Available at: http://www.storageforvmware.com/download/hitachi best practices for vmware.pdf , accessed 16.06.2015.

5. Abhilash G. VMware vSphere 5.1 Cookbook. Packt Publishing, 2013. 466 p.

6. Kusek C., Van Van Noy, Daniel A. VMware vSphere 5 Administration Instant Reference. 2nd ed. Atlanta: The Big Nerd Ranch, 2011. 384 p.

7. vSphere Installation and Setup. Update 1, vSphere 5.1. VMware, Inc., 2014 // VMware: company website. Available at: http://pubs.vmware.com/vsphere-51/topic/com.vmware.ICbase/PDF/vsphere-esxi-vcenter-server-511-installation-setup-guide.pdf accessed 15.06.2015.

8. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. 4-е изд. СПб.: Питер, 2010. 945 с.

9. Ващенко Б.И., Иванов И.П., Колобаев Л.И, Сюзев В.В. Проектирование сети кампуса: учеб. пособие. М.: Изд-во МГТУ им. Н.Э. Баумана, 2006. 64 с.

Radiooptics

Radiooptics of the Bauman MSTU, 2015, no. 03, pp. 14-26.

DOI: 10.7463/rdopt.0315.0789630

Received: 27.04.2015

Revised: 11.05.2015

Migration of the High-Availability VMware vSphere Cluster

V.V. Gurenko1*, A.A. Makarov1

^^urenkoigbmstuju :Bauman Moscow State Technical University, Moscow, Russia

Keywords: corporative network, cluster, VMware, vSphere, virtualization, virtual machines platform

The virtual machines platforms find frequent or regular application when designing the telecommunication infrastructures. The implementation-level virtualization system software and continuous updates of its versions remains inevitably relevant. The work focuses mainly on the reasons for virtualization and benefits of migration to an updated version of high-availability computing vSphere cluster development of VMware company using, as an example, a corporate network of one of the Moscow universities.

The authors have formulated the basic benefits available with the initial introduction of a platform of the virtual machines. Among them are allocated: simplifying the network environment configuration, increasing the flexibility of using servers, their availability and quality of server infrastructure management, increasing the hardware utilization factor. In addition, reducing maintenance costs of equipment and electricity is achieved.

In addition to the benefits of virtualization, a clear benefit from the update is gained, i.e. migrations of vSphere cluster to a new version using built-in capabilities meeting up-to-date network technologies. The article also concerns the preparation for migration and the upgrade process itself. An effect achieved as a result of migration is systematized and presented in the form of diagrams to reflect the quantitative evaluation of the received benefits for a number of positions. These are as follows: the reduced load on the power supplies in your server farm, increasing a share of the useful use of CPUs and RAM, reducing downtime of the virtual machines in the host failure, more economic distribution of computing load on physical servers.

The article summarizes the results of migration, shows new functionality and information technology offered to the network owner resulting from the cluster upgrade. In particular, it mentions the introduction of distance learning and the creation of a corporate portal with electronic document management software.

The results of this paper can be useful for specialists in virtualization and network infrastructure, who are engaged in supporting large corporate networks.

References