CC BY
152
УДК 378 1 004 И.М. Крепков, С.Н. Хорьков
РИНЦ 14.85.35 r ’ г
Виртуализация вычислительных ресурсов в научных исследованиях и учебном процессе университета
В статье рассматривается опыт внедрения систем виртуализации вычислительных ресурсов в информационной сети университета. Рассмотрены основные преимущества систем виртуализации и варианты их применения для научных исследований и учебного процесса. Дано описание применения системы Vmware vSphere 5 на примере информационно-вычислительной сети НИУ МЭИ. Кроме Vmware vSphere описаны варианты применения систем виртуализации, относящихся к свободно распространяемому программному обеспечению.
Ключевые слова: система виртуализации, кластеризация, системы высокой доступности.
VIRTUALIZATION OF COMPUTING POWER IN SCIENTIFIC RESEARCHES AND UNIVERSITY EDUCATION PROCESS
The article describes the experience of introducing a system of virtualization of computing power in university informational network. The authors of the article study key advantages of the virtualization system and possible cases of its implementation for scientific research and educational process. The article presents a depiction of how Vmware vSphere 5 system is employed on the example of informational and computing university MPEI networking. Despite the Vmware vSphere system, possible cases of implementation for virtualization system, that deal with freely distributed software, are presented in the article.
Keywords: virtualization system, clustering, high availability systems.
Введение
В последнее время наблюдается настоящий бум систем виртуализации, применяемых при построении центров обработки данных. Виртуализация серверов в сочетании с живой миграцией виртуальных машин (серверов) между узлами кластера хост-серверов и кластерами хост-серверов предоставляют возможность организации высокодоступных и высоконадежных сервисов, обеспечивающих потребителям доступ к данным и вычислительным ресурсам независимо от времени и географического положения. Такой подход сейчас широко применяется для создания систем облачных вычислений.
Правильно сконфигурированная система виртуализации позволяет строить защищенные информационные системы высокой доступности. При этом уровень защиты информационной системы от аварий может быть описан
как устойчивый к отказам (Fault tolerance), так и как устойчивый к разрушению (Disaster tolerance). Системы уровня Fault tolerance применимы на уровне организации или предприятия, например, такого как университет. Уровень Disaster tolerance применим к большим информационным системам высокой значимости (региональным, отраслевым или общенациональным).
Огромным достоинством применения систем виртуализации является удобство создания резервных копий виртуальных машин и восстановления виртуальной машины из резервной копии. Для обеспечения сохранности резервных копий возможно организованное хранение их вне сети предприятия (университета). При такой организации, в случае серьезных проблем внутри сети предприятия, обеспечивается сохранность данных и возможен запуск виртуальных машин на внешних вычислительных
ресурсах и обеспечение доступности информационных систем. Применение систем виртуализации для обеспечения научных исследований и учебного процесса в университете дает значительную экономию за счет снижения трудоемкости обслуживания парка серверов, экономии электроэнергии и оптимизации работы таких инфраструктурных систем, как система охлаждения и резервирования электропитания.
Следует отметить, что не все специалисты по информационным технологиям согласны с широким развитием и применением облачных технологий, выражая обеспокоенность привязкой к определенному поставщику услуг [1] и обеспечением безопасности данных [2].
В настоящей статье рассмотрен опыт построения и применения различных систем виртуализации в информационно-вычислительной сети НИУ «МЭИ» (ИВС МЭИ).
Игорь Михайлович Крепков,
к.т.н., директор ИВЦНИУ МЭИ Тел.: 8 (495) 362-70-72 Эл. почта: KrepkovIM@mpei.ru Национальный исследовательский университет Московский энергетический институт www.mpei.ru
Igor M. Krepkov
PhD in Technical Sciences, President of Computer information center science and research university MPEI Tel.: 8 (495) 362-70-72 E-mail: KrepkovIM@mpei.ru
Сергей Николаевич Хорьков,
зав. отделом системных и сетевых технологий ИВЦ МЭИ Тел.: 8 (495) 362-73-22 Эл. почта: khorkov@mpei.ru Национальный исследовательский университет Московский энергетический институт www.mpei.ru
Sergey N. Khorkov,
Head of system and networking technologies department at Computer information center science and research university MPEI Tel.: 8 (495) 362-73-22 E-mail: khorkov@mpei.ru www.mpei.ru
1. Основные преимущества, предоставляемые платформой виртуализации
Сам термин «виртуализация» означает представление некоего объекта в удобном виде для пользователя. При этом подробности реализации скрываются, а сам объект имеет привычные интерфейсы взаимодействия с внешней, по отношению к нему, средой. В отношении операционных систем, прежде всего, имеют в виду создание виртуальных машин - неких абстракций, заключающих в себе собственную виртуальную аппаратнопрограммную среду, позволяющую на одной физической платформе установить и запускать одновременно несколько экземпляров операционных систем. Это нужно, прежде всего, для отделения представления операционной системы от аппаратуры и размещения нескольких работающих виртуальных серверов на одном физическом с возможностью быстрой миграции и восстановления операционных сред. Такой подход также обеспечивает максимальную гибкость в отношении развертывания серверов, поддержания их жизнеспособности и управления. [3]
Какие основные преимущества дает применение современных платформ виртуализации [3]?
• Увеличение коэффициента использования аппаратного обеспечения.
По статистике, большинство серверов загружены на 15-20% при выполнении ими повседневных задач. Использование нескольких виртуальных серверов на одном физическом позволит увеличить его производительность до 80%, обеспечив при этом существенную экономию на приобретении аппаратного обеспечения.
• Уменьшение затрат на замену аппаратного обеспечения. Поскольку виртуальные серверы не связаны с конкретным оборудованием, при обновлении парка физических серверов не требуется повторная установка и настройка программного обеспечения. Виртуальная машина может быть просто скопирована на другой сервер.
• Повышение гибкости использования виртуальных серверов.
В случае если вам необходимо использование нескольких серверов (к примеру, для тестирования) при изменяющейся нагрузке, виртуальные серверы являются лучшим решением, так как они могут быть безболезненно перенесены на другие платформы, когда физический сервер испытывает повышенные нагрузки.
• Обеспечение высокой доступности.
Резервное копирование виртуальных машин и их восстановление из резервных копий занимает значительно меньшее время и является более простой процедурой. Также при выходе из строя оборудования резервная копия виртуального сервера может быть сразу запущена на другом физическом сервере. Кроме того, современные системы виртуализации предлагают реализацию функций высокой доступности виртуальных машин. При этом при отказе физического сервера происходит перезапуск виртуальной машины на другом физическом сервере. Тем самым минимизируется время простоя виртуальной машины. Для критических приложений можно применять режим Fault tolerance, при котором в виртуальной среде запускаются одновременно 2 копии виртуальной машины, синхронизирующие содержимое ОЗУ и жестких дисков.
• Повышение управляемости серверной инфраструктуры. Существует большое число программных продуктов для управления виртуальной инфраструктурой, позволяющих централизованно управлять виртуальными серверами и обеспечивать балансировку нагрузки и «живую» миграцию.
• Экономия на обслуживающем персонале.
Упрощение управления виртуальными серверами в перспективе влечет за собой экономию на специалистах, обслуживающих инфраструктуру организации. Тем не менее нужно учитывать, что для эксплуатации системы виртуализации требуются высококвалифицированные кадры, имеющие вы-
сокий уровень подготовки в области эксплуатации как серверного парка, так и компьютерных сетей. Несмотря на высокий уровень подготовки обслуживающего персонала, система виртуализации обеспечивает высокую производительность труда обслуживающего персонала.
• Экономия на электроэнергии.
Для небольших организаций этот фактор не имеет особого значения, однако для крупных дата-центров, где затраты на поддержание большого парка серверов включают в себя расходы на электроэнергию (питание, системы охлаждения), это становится существенным. Концентрация нескольких виртуальных серверов на одном физическом уменьшает эти затраты. В современных решениях система управления позволяет останавливать ненагруженные серверы, переводить их в режим ожидания с пониженным энергопотреблением и, при необходимости, быстро включать их в работу при повышении нагрузки.
Не все системы целесообразно переводить на виртуальные платформы. Например, не стоит переводить на виртуальную платформу высоконагруженные серверы, имеющие среднесуточную загрузку процессора около 60%. Для таких систем можно применять другие способы обеспечения высокой надежности и непрерывности предоставления услуг. Также нецелесообразно переносить на виртуальную платформу системы, использующие дополнительное оборудование, которое не может быть поддержано системой виртуализации.
Влияние фактора стоимости в определении целесообразности внедрения системы виртуализации в последнее время снижается, поскольку многие поставщики и разработчики ПО предлагают бесплатные продукты, зачастую не уступающие по функциональности коммерческим. Бесплатные системы виртуализации в большинстве случаев покрывают те потребности, которые предъявляют к такой системе малые и средние предприятия.
2. Основные задачи, решаемые системой виртуализации в сети университета
Информационные сети университетов имеют несколько особенностей, отличающих их от других корпоративных сетей.
1. Высокий уровень самостоятельности подразделений, которые сами определяют техническую политику в области информатизации в соответствии со стоящими перед ними задачами.
2. Различные требования к информационным и вычислительным ресурсам у различных подразделений. При этом может наблюдаться весьма большой разброс требований: одним подразделениям для своей работы требуются очень большие вычислительные мощности для решения задач математического моделирования, а другим -достаточно обычных рабочих станций с Microsoft Office.
3. Различный уровень подготовки персонала, обслуживающего информационную структуру.
4. Необходимость проведения массовых работ с привлечением вычислительной техники (лабораторные работы и другие практические занятия студентов).
Следует выделить в информационной сети те ресурсы, которые будут использоваться всеми (или большинством) подразделений университета. К таким ресурсам относятся:
а) инфраструктурные серверы, такие как контроллеры домена, серверы DNS и т.п., этими сервисами пользуются все подразделения и практически все компьютеры, входящие в сеть;
б) серверы, обеспечивающие общие для университета информационные ресурсы, - электронная почта, веб-серверы;
в) серверы, обеспечивающие специализированные общие информационные системы, - кадровые системы, составление расписания и решение других задач обеспечения учебного процесса;
г) системы, предоставляющие вычислительные и другие ресурсы для массовых практических занятий студентов.
Именно вышеперечисленные ресурсы целесообразно переводить на виртуальную платформу, поскольку в этом случае более полно реализуются преимущества таких платформ.
Кроме перечисленных общих задач, есть задачи, связанные с размещением информационных и вычислительных систем подразделений на общей платформе виртуализации. Это освобождает подразделения от необходимости обеспечивать работоспособность таких систем, позволяя им полностью сосредоточиться на выполнении своих основных задач.
3. Платформа виртуализации Vmware vSphere 5
Одной из наиболее широко используемых платформ виртуализации является система Vmware vSphere, представляющая собой дальнейшее развитие платформ Vmware ESX Server. Компания Vmware уже долгое время является одним из лидеров по разработке и поставке программного обеспечения виртуализации.
Система виртуализации Vmware vSphere предоставляет такие функции [3]:
• централизованное управление виртуальной инфраструктурой на базе Vmware vCenter server, обеспечивающее автоматизацию процессов, оптимизацию ресурсов и высокую доступность виртуальной инфраструктуры. Кроме Vmware vCenter server предлагаются и бесплатные системы управления, такие как Vmware vSphere Management Assistance и Vmware vSphere PowerCLI, позволяющие расширить функции управления виртуальной инфраструктурой;
• Vmware DRS - планировщик распределенных ресурсов, осуществляющий балансировку нагрузки между узлами виртуальной инфраструктуры;
• Vmware vMotion - технология перемещения виртуальных машин между узлами виртуальной инфраструктуры «на лету», без прерывания работы;
• Vmware HA - средство обеспе-
чения высокой доступности виртуальных машин. При отказе какого-либо элемента виртуальной инфраструктуры, включая и элементы сетевой инфраструктуры, Vmware HA перезапустит виртуальную машину на доступном элементе виртуальной инфраструктуры. Таким образом, перерывы в предоставлении услуги сводятся к минимуму - время простоя определяется временем, требующимся для перезапуска виртуальной машины на другом сервере;
• Vmware vSwitch - виртуальный сетевой коммутатор в составе виртуальной инфраструктуры. Именно сетевые возможности Vmware vSphere и стали основой при выборе системы виртуализации в ИВС МЭИ. Технология Vmvare vSwitch, ее расширение - распределенный коммутатор (Distributed vSwitch) и реализация коммутатора Cisco Nexus 1000 в виртуальной среде позволяют легко применить такие возможности, как:
• агрегирование каналов по стандарту IEEE 802.13ad и поддерж-
ка ЕШегЛапие1. Агрегирование каналов позволяет объединять несколько сетевых интерфейсов сервера Vmware в один, обладающий кратно увеличенной производительно стью;
• поддержка виртуальных локальных сетей на основе стандарта 1ЕЕЕ 802.Ц, включая поддержку транковых (тегированных) каналов;
• поддержка резервирования линий связи и протоколов определения соседства, таких как CDR Несмотря на некоторые особенности реализации виртуального коммутатора [4], существует множество вариантов подключения серверной фермы Vmware к сетевой инфраструктуре предприятия, реализующих различные сценарии обеспечения сетевой доступности элементов виртуальной инфраструктуры.
В ИВС МЭИ в соответствии с рекомендациями Cisco [4] принята схема подключения узлов Vmware к сети с использованием технологии Ethechannel и 1ЕЕЕ802.Ц. При этом обеспечивается подключение
серверов к нужным виртуальным локальным сетям с использованием скоростей в 4-8 Гбит/сек.
Схема подключения представлена на рис. 1.
Как видно из представленного рисунка, пользовательские компьютеры PC1 и PC2 используют виртуальное соединение с вир-туализированными серверами на хост-сервере Vmware vSphere. Виртуальное соединение использует либо технологию IEEE802.1q при реализации ядра сети на 2-м уровне сетевой модели ISO/OSI, либо технологию MPLS VPN при реализации ядра сети на З-м уровне сетевой модели.
При реализации ядра сети на З-м уровне модели ISO/OSI (маршрутизация) возможно использование не только технологий MPLS VPN, но и других реализаций VPN. Применение MPLS VPN и технологий Virtual Forwarding and Routing позволяет строить сети большего размера, с большими возможностями масштабирования.
Ферма серверов виртуализации может быть расположена практиче-
PC 1
PC 2
Коммутатор доступа Коммутатор доступа
VLAN 1
Коммутатор распределен
Internet Коммутатор ядра
Рис. 1. Типовая схема подключения хост-серверов Vmware vSphere в ИВС МЭИ
ски в любом месте ИВС МЭИ, где для этого есть физические возможности (ограничение физического доступа, электропитание и охлаждение). В единую систему виртуализации могут быть включены не только общеинститутские серверы Vmware, но и серверы подразделений. Это дает возможность широкого маневра ресурсами, обеспечения высокой доступности приложений и даже построения информационных систем, устойчивых не только к отказам, но и к разрушению.
Как уже упоминалось, в большой информационно -вычислительной сети немалую роль играют сервисы, предоставляющие информационную инфраструктуру - контроллеры доменов Windows, средства централизованного доступа, службы DNS. Эти сервисы используют все подключенные к сети рабочие станции и серверы. От бесперебойного функционирования инфраструктурных сервисов зависит и работа множества приложений. В ИВС МЭИ такие службы большей частью реализованы на виртуальной инфраструктуре Vmware. И если ранее были замечания по надежности работы служб DNS и контроллеров домена, то с переходом на виртуальную платформу такие жалобы прекратились. Например, даже при фатальном отказе сервера службы имен срок восстановления его работоспособности исчисляется минутами, которые потребуются на поиск и восстановление сервера из копий или на клонирование сервера из готового шаблона. Кроме серверов службы DNS и контроллеров домена на виртуальную, платформу вынесены и средства управления сетью, такие как Nagios, CiscoWorks.
Кроме серверов инфраструктуры и серверов управления на виртуальной платформе работают и серверы, задействованные в комплексной информационной системе управления вузом. Это позволяет обеспечить высокую доступность хранимой на этих серверах информации и обеспечить непрерывный процесс предоставления информации для управления НИУ «МЭИ».
Главной задачей высшего учебного заведения является обучение студентов и ведение научных исследований. И то, и другое требует больших ресурсов для тестирования, разработки и отладки программного обеспечения, применяемого в учебном процессе и в научных исследованиях. Эта задача также возложена на систему виртуализации. Выгода состоит в том, что не требуются дополнительные аппаратные ресурсы для разработки, тестирования, отладки и разворачивания ПО различного назначения. После тестового периода эксплуатации виртуальный сервер перемещается с хост-сервера разработки на сервер эксплуатации, где обеспечен должный уровень надежности работы и доступности. При этом обеспечивается масштабирование виртуального сервера в зависимости от требований к ресурсам. Значительно упрощается и первоначальное развертывание серверов - вместо процесса инсталляции системного и прикладного ПО, что требует времени, образ сервера разворачивается из готового шаблона с уже установленным необходимым ПО. По подобной методике предоставляются и виртуальные серверы для подразделений института.
Выгоды от размещения серверов общеинститутского назначения и серверов подразделений уже перечислены выше. Кроме того, более эффективно используются лицензии на различное ПО. Наибольший эффект достигается при использовании разделяемых лицензий, когда лицензируется количество одновременно работающих приложений в сети организации, независимо от количества инсталляций.
Сетевые возможности Vmware и способ подключения серверов к ИВС МЭИ с использованием MPLS VPN и IEEE802.1q VLAN дает возможность предоставлять пользователям виртуальную сетевую инфраструктуру. Эта инфраструктура обособлена, защищена от доступа из других сетей (в том числе из сетей в составе ИВС МЭИ). В виртуальную сетевую инфраструктуру входят рабочие
станции пользователя, его собственные серверы службы имен, контроллеры доменов, серверы приложений и серверы доступа. При этом все эти элементы виртуальной сетевой инфраструктуры находятся в обособленном адресном пространстве IPv4, недоступном другим пользователям. Такие выделенные структуры предлагаются для пользователей, чья деятельность требует определенной обособленности по соображениям безопасности.
Следующим шагом во внедрении систем виртуализации должна стать услуга предоставления отдельным пользователям собственных виртуальных машин. При этом под пользователями подразумеваются не только подразделения института или научные группы, но и отдельные сотрудники. Такая виртуальная машина предназначается в основном преподавателям под определенный курс. На этой виртуальной машине имеется предустановленный набор необходимого ПО, предназначенного для решения определенного круга задач. Это ПО лицензируется централизованно через общеинститутские службы. При необходимости виртуальные машины быстро разворачиваются из шаблона и включаются в работу. Пользователь сам вправе доустанавли-вать различное ПО, необходимое ему для выполнения научных исследований и учебных задач. Но за лицензионной чистотой подобного ПО пользователь должен следить сам.
Преимуществами подобной схемы являются более эффективное использование лицензий на программное обеспечение и сокращение количества инцидентов с использованием нелицензионного ПО, поскольку большая часть лицензий предоставляется централизованно.
Доступ к виртуальным машинам пользователя возможен как с использованием известных средств удаленного доступа к рабочему столу (RDP, VNC, Xwindows), так и с использованием средств предоставления службы рабочего стола Vmware View.
Служба рабочего стола Vmware View предлагает пользователю отображать на его рабочей станции рабочий стол персональной виртуальной машины. При этом виртуальная машина может быть мощнее рабочей станции пользователя в несколько раз или же иметь другой набор ПО. Vmware View предлагает статические персональные виртуальные машины пользователя и динамические. Динамические виртуальные машины наиболее удобны для применения в учебных целях. Такие машины разворачиваются из шаблона по мере необходимости, в зависимости от числа подключающихся пользователей. По мере прекращения работы динамические виртуальные машины уничтожаются, данные на них не сохраняются. Это очень удобно при проведении массовых учебных занятий, когда машина нужна пользователю на короткое время занятия (2-4 часа). По окончании сеанса запущенные виртуальные машины удаляются, а на новое занятие разворачиваются вновь из нужного шаблона, содержащего необходимый набор ПО.
Положительный эффект достигается за счет сокращения трудоемкости обслуживания учебных рабочих станций (не требуется установка дополнительного ПО), снижения требований к аппаратному обеспечению учебных рабочих станций (вплоть до применения технологий «тонкого» клиента), более эффективного использования аппаратного обеспечения платформы виртуализации.
4. Другие системы виртуализации
Системы виртуализации представлены не только продукцией Vmware, но и другими проприетарными и свободно распространяемыми продуктами. Весьма широко используются продукты виртуализации на базе Microsoft Hyper-V. особенно привлекательной из-за политики лицензирования виртуа-лизированных серверных операционных систем семейства Windows. Среди свободно распространяемых продуктов следует выделить такие
системы, как Proxmox и Openstack (известный как проект Nova).
Основным достоинством
OpenStack является возможность интеграции различных гипервизоров. В единую систему включаются как проприетарные продукты (Vmware ESX и Microsoft Hyper-V), так и свободно распространяемые (на базе KVM или Xen). Кроме ПО управления системами виртуализации (собственно сам проект Nova), в состав OpenStack входит хранилище данных Swift, системы управления настройками сети и пользовательский интерфейс. OpenStack применим для построения распределенных систем виртуализации, включающих в себя различные гипервизоры, сетевые хранилища данных и образов виртуальных машин. В ИВС МЭИ OpenStack планируется применять для первоначального развертывания тестовых виртуальных машин, виртуальных машин студентов, аспирантов, сотрудников и организации хранения образов виртуальных машин. Для обеспечения совместимости с основной фермой хост-серверов в качестве гипервизора будет использоваться Vmware ESXi, хотя это и ограничит возможности кластера OpenStack/Nova.
Следует особо выделить Proxmox Virtual Environment (PVE), который функционально близок младшим версиям Vmware vSphere, но, в отличие от них, является бесплатным и использует в качестве гипервизора KVM и OpenVZ. PVE достаточно сложен в установке и настройке, требует от администратора серьезных знаний в области Linux-систем. Но для организации небольших дата-центров с невысокими требованиями по доступности, надежности и не требующих развитой сетевой инфраструктуры со множеством виртуальных локальных сетей (VLAN) и частым изменением их количества PVE может рассматриваться в качестве достойной альтернативы Vmware vSphere и Miscrosoft Hyper-V. Нужно заметить, что применение PVE совместно с Vmware vSphere или Microsoft Hyper-V может привести к некоторым проблемам совместимости виртуальных машин. Впро-
чем, есть достаточное количество средств конвертации виртуальных машин [8, 9].
Заключение
Рассмотрены функциональные возможности различных систем виртуализации, описаны их области применения в составе информационно-вычислительной сети высшего учебного заведения (университета).
Целесообразно размещать две системы виртуализации с различным назначением или различными характеристиками доступности и надежности. Основная система виртуализации предназначена для размещения важных серверов, дополнительная - для размещения систем, используемых в научных исследованиях, и систем для личного использования студентами и аспирантами.
Vmware vSphere применяется для размещения критических виртуальных серверов, обеспечивающих работу инфраструктуры сети, систем электронной почты и основных информационных систем университета. При этом используется кластерное решение с высоконадежным сетевым хранилищем данных с использованием технологий FiberChannel или iSCSI с поддержкой множества путей (multipathing) на базе резервированных каналов связи GigabitEthernet. На кластере применяется Vmware vSphere версии не ниже Enterprise, желательно Enterprise Plus. Для обеспечения совместимости среду разработки и пилотные проекты информационных систем так же целесообразно размещать на платформе Vmware vSphere и выносить на кластер Vmware vSphere все виртуальные серверы и машины, требующие высокой доступности, в том числе и предназначенные для учебного процесса. Весьма эффективным представляется размещение на виртуальной платформе серверов, предоставляющих пользователям доступ к дорогостоящим приложениям. При этом обеспечивается снижение стоимости владения этими приложениями и их более эффективное использование. В ряде случаев, в основном
для небольших организаций, возможно применение Ргохтох УЕ в качестве основной системы виртуализации.
Для размещения тестовых машин, виртуальных машин, исполь-
зуемых для разработки новых программ, а также виртуальных машин, применяемых в научных исследованиях, в работе студентов и аспирантов (виртуальных машин с коротким жизненным циклом),
применяются менее дорогостоящие системы на базе Оре^1аск или Ргохтох УЕ, при этом следует обеспечить совместимость виртуальных машин с основной системой виртуализации.
Литература
1. Cloud computing is a trap, warns GNU founder Richard Stallman [Электронный ресурс]. - URL: http://www. guardian.co.uk/technology/2008/sep/29/cloud.computing.richard.stallman (дата обращения: 24.09.2012).
2. Как обеспечить безопасность денежных операций в виртуальном окружении облаков? [Электронный ресурс]. - URL: http://www.e-moneynews.ru/bezopasnost-v-oblakah/ Виртуализация на платформах VMware Server и VMware ESX Server, http://www.ixbt.com/cm/vmware-server-esx-server.shtml (дата обращения: 24.09.2012)
3. Технологии виртуализации VMware: динамическая ИТ-инфраструктура уже сегодня [Электронный ресурс]. - URL: http://www.vmc-company.ru/pdf/VMware_Solutions_for_Dynamic_IT_web.pdf (дата обращения: 24.09.2012)
4. VMware Infrastructure 3 in a Cisco Network Environment [Электронный ресурс]. - URL: http://www.cisco.com/ en/US/docs/solutions/Enterprise/Data_Center/vmware/VMware.pdf (дата обращения: 24.09.2012)
5. Microsoft Hyper-V Virtualization & Management [Электронный ресурс]. - URL: http://www.microsoft.com/en-us/server-cloud/datacenter/virtualization.aspx (дата обращения: 24.09.2012)
6. Proxmox Virtual Environment [Электронный ресурс]. - URL: http://pve.proxmox.com/wiki/Main_Page (дата обращения: 24.09.2012)
7. OpenStack: The Open Source Cloud Operating System [Электронный ресурс]. - URL: http://www.openstack. org/software
8. Migration of servers to Proxmox VE [Электронный ресурс]. - URL: http://pve.proxmox.com/wiki/Migration_of_ servers_to_Proxmox_VE (дата обращения: 24.09.2012)
9. VMware vCenter Converter Standalone User's Guide [Электронный ресурс]. - URL: http://www.vmware.com/ pdf/convsa_50_guide.pdf (дата обращения: 24.09.2012)
