CC BY
140
Программные продукты и системы /Software & Systems
№ 4 (112), 2015
УДК 004.72 Дата подачи статьи: 09.09.15
DOI: 10.15827/0236-235X.112.016-021
ОСНОВЫ АНАЛИЗА IT-ИНФРАСТРУКТУРЫ ОТКРЫТОГО КОНТУРА АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ПОДГОТОВКИ КОСМОНАВТОВ ДЛЯ СОЗДАНИЯ ИНТЕГРИРОВАННОГО ТРЕНАЖЕРНОГО КОМПЛЕКСА
С.Н. Ковригин, начальник отдела, S.Kovrigin@gctc.ru (НИИ ЦПК им. Ю.А. Гагарина, Звездный городок, Московская обл., 141160, Россия); В.В. Янюшкин, к.т.н., зам. генерального директора, v.yanyushkin@simct.ru (Центр тренажеростроения и подготовки персонала, ул. Первомайская, 92, г. Москва, 115088, Россия)
В работе описан предмет тестирования открытого контура автоматизированной системы информационного обеспечения подготовки космонавтов НИИ ЦПК имени Ю.А. Гагарина с учетом создания тестового стенда платформ виртуализации VMware и Citrix с дальнейшим размещением набора тонких клиентов в рамках разветвленной сетевой структуры. Кратко описываются структура стенда и используемые технические решения, в том числе графический сервер, оснащенный платами NVIDIA GRID K2, тонкие клиенты системы виртуализации двух типов и ПО системы виртуализации. В качестве объектов тестирования выбирается специализированное ПО двух компонент технических средств подготовки космонавтов: рабочие места виртуальной Международной космической станции и рабочие места обучаемых автономного тренажера «Телеоператор», оснащенного ручками управления движением и навигацией. Работа данных средств проверяется в рамках систем VMware и Citrix. Эксперименты должны подтвердить возможность развертывания систем виртуализации тренажеров и функционально-моделирующих стендов в рамках описываемой автоматизированной системы. В работе приводятся основные технические и концептуальные решения, подвергающиеся проверке, а также предложения для разработки программно-аппаратной инфраструктуры закрытого контура на основе современных технологий. Четко определены основные требования, которым должны отвечать массивы серверов, системы хранения, коммутационное оборудование и конечные устройства. Особенностью работы является то, что все тестирование проводится на базе потенциального заказчика, на его сетевой инфраструктуре и существующих рабочих местах. Целью выполнения работы является определение возможности создания набора интегрированных решений для консолидации ПО тренажеров функционально-моделирующих стендов в рамках корпоративного центра обработки данных.
Ключевые слова: автоматизированная система информационного обеспечения подготовки космонавтов, интегрированный комплекс, центр обработки данных, сетевая инфраструктура, графический сервер.
Разветвленная инфраструктура автоматизированной системы информационного обеспечения подготовки космонавтов (АСИОПК) создана в НИИ ЦПК имени Ю.А. Гагарина в 2009-2014 гг. [1]. С целью оценки возможности использования IT-инфраструктуры АСИОПК для реализации единого интегрированного учебно-тренажерно-моде-лирующего комплекса (УТМК) предполагается проведение работ по тестированию и отработке ряда новых программных и технических решений.
IT-инфраструктура АСИОПК основывается на трехуровневой системе передачи данных и едином виртуальном вычислительном комплексе (ВВК), построенном с использованием системы виртуализации компаний VMware, изделий и ПО компаний Veeam, HP и NetApp. Система передачи данных сети общего информационного обмена (открытого сегмента) АСИОПК (рис. 1) состоит из уровней доступа (access level) и распределения (distribution level), а также ядра (core level) [2].
Так, уровень доступа предназначен для проводного подключения конечных пользовательских устройств, имеющих сетевые интерфейсы (компьютеры, принтеры, wi-fi-точки доступа и пр.) к остальным ресурсам сети. Уровень доступа состоит из одного или более (в стеке) коммутаторов и структурированной кабельной системы. В каче-
стве сетевых коммутаторов используются модели типа Huawei S3352P-SI. Для обеспечения отказоустойчивости каждый коммутатор уровня доступа подключен двумя (медными и/или оптическими) кабелями к коммутатору уровня распределения.
Уровень распределения предназначен для объединения коммутаторов уровня доступа в группы и подключения их к магистральной линии связи. Уровень распределения состоит из пары (стека) коммутаторов Huawei S5328C-EI-24S. Каждый коммутатор уровня распределения подключен оптическим кабелем к коммутатору уровня ядра.
Уровень ядра предназначен для объединения всех подсетей и маршрутизации между ними. В качестве маршрутизирующих коммутаторов используются два территориально разнесенных между собой коммутатора Huawei S9306.
Вычислительным ядром АСИОПК является виртуальный вычислительный комплекс, построенный на базе четырех серверов HP ProLiant DL380 G6, системы хранения NetApp, ПО виртуализации VMware [3] и резервного копирования Veeam [4]. На все серверы установлены гипервизоры VMware ESXi 5.1.0, объединенные в единую виртуальную инфраструктуру с помощью ПО VMware vCenter.
ПО функционально-моделирующих стендов (ФМС), комплексных и специализированных тре-
16
Программные продукты и системы /Software & Systems
№ 4 (112), 2015
нажеров, то есть технических средств подготовки космонавтов (ТСПК), дополнительно к требованиям безопасности накладывает жесткие ограничения на вычислительный комплекс и всю ИТ-инфраструктуру относительно времени передачи информации.
С целью проведения оценки возможности использования информационной инфраструктуры АСИОПК для реализации единого интегрированного УТМК предлагается провести работы по оценке характеристик информационной инфраструктуры АСИОПК, используя систему передачи данных открытого контура. Для этого должен быть создан тестовый стенд и проведен ряд экспериментов, подтверждающих корректную работу специализированного ПО тренажеров и ФМС в рамках систем виртуализации.
Задачи и структура тестового стенда
В качестве сервера системы виртуализации используется графический сервер Dell PowerEdge 720, оснащенный картами NVIDIA GRID K2.
Новейшая серверная технология, которая использовалась компанией Dell при разработке этого сервера, обеспечивает отличные возможности внедрения виртуализации, обработки больших объемов информации. Сервер Dell PowerEdge R720 обладает прекрасной плотностью записи, обеспечивает сбалансированную производительность
ввода-вывода, а также вычислительную мощность современных процессоров [5].
Производительные процессоры в сочетании с достаточным объемом оперативной памяти обеспечивают высокую эффективность серверных приложений. С помощью сервера Dell PowerEdge R720 можно увеличить количество виртуальных машин на одном сервере и существенно расширить возможности виртуализированной среды. Возможность установки дополнительного GPU-ускорителя, который оказывает дополнительную вычислительную поддержку при высокопроизводительных вычислениях, также помогает увеличить производительность технологии VDI [6].
В качестве ПО для виртуализации используется VMware VSphere 6 в редакции Enterprise Plus и Citrix Xenserver [7], данные версии ПО поддерживают все последние технологии, в том числе NVIDIA.
В роли специализированного ПО для проверки ИТ-инфраструктуры АСИОПК выступают виртуальные машины стенда системы виртуальной реальности, включающие в себя три рабочих места обучаемых пользователей и одно рабочее место преподавателя, и виртуальные машины автономного тренажера, включающие в себя визуализацию режима, виртуальный пульт управления и рабочее место инструктора (рис. 2).
В качестве технологии виртуализации GPU на обеих платформах виртуализации используется
17
Программные продукты и системы /Software & Systems
№ 4 (112), 2015
Рабочее место Рабочее место Рабочее место Рабочее место
3D 1 3D 2 3D 3 инструктора
I_____________________Стенд виртуальной М.КС______________________
Рабочее место Пул ьт Рабочее место
визуализации управления инструктора
Графический сервер Dell Power Edge R720/ встроенная система хранения данных
Модель единой вычислительной системы в центре обработки данных
О
Уровень распределения
□
Уровеньдоступа
От
Модель трехуровневой системы передачи данных
♦О!
Wyse Р25 4- -* Периферийные устройства
Wyse Р25 4- > Периферийные устройства
Wyse Z90Q8 4- > Периферийные устройства
Wyse Z90Q8 4- > Периферийные устройства
Персональный -I компьютерАСИОПК
1 Модель
потребителей | информации I
зуд и РУО
Уровень ядра
Рис. 2. Структура тестового стенда Fig. 2. A test stand structure
технология NVIDIA GRID vGPU. NVIDIA создала технологию NVIDIA GRID vGPU, обеспечивающую прямую передачу графических команд каждой виртуальной машины в GPU, без трансляции гипервизором. Один физический графический модуль, благодаря драйверу, имеет несколько профилей виртуального GPU c различным количеством ядер и дискретной графической памяти. Именно данное преимущество, в отличие от других существующих технологий виртуализации графических ресурсов, даст возможность более оптимального распределения и использования дорогостоящих ресурсов графических серверов.
Для проведения тестирования используются специализированные тонкие клиенты Wyse P25 и Wyse Z90Q8 [8].
Wyse P25 с аппаратной поддержкой PCoIP (PC-over-IP, personal computer over internet protocol -персональный компьютер по протоколу IP) [9] для VMware View представляет собой нулевой клиент, обеспечивающий графическую производительность для таких сложных приложений, как CAD (проектирование) и 3D-моделирование в реальном времени. Клиент разработан специально для VMware View, с процессором от Teradici и аппаратной поддержкой протокола PCoIP, включая кэширование на стороне клиента для достижения высокого уровня производительности. Подключается клиент с использованием сетевого интерфейса Ethernet, имеет 4 порта USB для подключения и проброса устройств, поддержку до 2 мониторов, при этом потребляя менее 8 Вт электроэнергии.
В отличие от программных реализаций выделенный аппаратный механизм PCoIP обеспечивает высокий уровень производительности графической системы для приложений, таким образом, клиент Wyse P25 обладает всеми преимуществами эффективной защищенной централизованной вычислительной среды единого центра обработки данных (ЦОД). Оптимизированные алгоритмы сжатия работают в режиме реального времени, обеспечивая максимальное качество изображений для доступной пропускной способности сети.
Клиент Wyse Z90Q8 - это высокопроизводительный тонкий клиент, оснащенный средствами ускорения обработки графики и мультимедиа [10].
Дополнительная вычислительная мощность обеспечивает поддержку виртуального рабочего стола Windows и облачных приложений с широкими возможностями создания и обработки содержимого, воспроизведения видео высокого разрешения и работы с 3D-графикой. Клиенты данной серии оснащены операционной системой Windows® Embedded Standard.
При проведении тестирования посредством работы автономного тренажера тонкий клиент дополнительно оснащается действующими макетами ручек (управления движением и управления ориентацией), подключенными по интерфейсу USB. Это обеспечивает отработку подключения внешних устройств к тонкому клиенту и оценку времени реакции на управление объектами с помощью данных манипуляторов.
Также предполагается использование при проведении проверок программных тонких клиентов, установленных на персональные компьютеры существующих рабочих мест, пользователей АСИОПК.
Состав работ и проводимые эксперименты
На тестовый стенд устанавливается и настраивается система виртуализации, разворачиваются необходимые виртуальные серверы и проводится тестирование с использованием тонких клиентов, выполняя подключение к системе передачи данных АСИОПК на различных уровнях (рис. 2 - отметки 1 и 2).
Таким образом оценивается возможность использования существующих каналов локальной вычислительной сети (ЛВС), волоконно-оптических линий связи и средств доступа АСИОПК в интересах реализации интегрированных ТСПК. Параллельно оцениваются возможности комплекса технических и программных средств ИТ-инфра-структуры АСИОПК при использовании систем
18
Программные продукты и системы /Software & Systems
№ 4 (112), 2015
виртуализации и доступа к результатам вычислений виртуальными машинами ТСПК из ЦОД.
Для более детального анализа сравниваются результаты работы специализированного ПО и возможности систем виртуализации Citrix и VMware, а также осуществляется проверка возможности переноса ПО вычислительных систем ФМС и автономного тренажера на ИТ-инфраструктуру АСИОПК с сохранением существующего функционала.
Во время работы комплекса виртуальных машин каждого из тренажеров средствами мониторинга системы виртуализации фиксируется нагрузка на выделенные для данных виртуальных машин ресурсы, средствами системы мониторинга System Center Operations Manager проводится оценка загрузки портов коммутаторов, к которым подключены используемый тонкий клиент и аппаратная часть сервера виртуализации.
Во время работы пользователей посредством тонких клиентов с комплексом виртуальных машин каждого из тренажеров должна проводиться оценка задержки передачи данных от клиента к виртуальной машине и от виртуальной машины к тонкому клиенту, а также качества изображения, количества кадров в секунду и времени задержки при использовании устройств ввода.
Требования к программной и аппаратной составляющим закрытого контура
При создании инфраструктуры закрытого контура в части интегрированного тренажерного комплекса должно быть предусмотрено решение следующих задач:
- создание и выделение виртуализированных вычислительных серверов из общего набора ресурсов с заданными операционными системами, оперативной памятью и процессорным временем для размещения на них систем моделирования, СУБД, интегрирующего ПО тренажеров и ФМС;
- создание и выделение виртуализированных графических серверов из общего набора ресурсов с заданными операционными системами, оперативной и графической памятью и процессорным временем для размещения на них систем 3D-модели-рования, выполнения сложных графических расчетов в реальном времени;
- отработка взаимодействия наборов виртуальных серверов с удаленными клиентами посредством проводных и беспроводных ЛВС АСИОПК, а также набора персональных компьютеров и мобильных клиентов для получения и отображения форматов управления, данных 3D-моделирования и другой вспомогательной информации;
- отработка систем управления структурой созданных вычислительных и графических сетевых сервисов, в том числе резервирования, обеспечения надежности, антивирусной защиты, опера-
тивного контроля и мониторинга производимых локальными и удаленными клиентами операций.
В соответствии с перечисленными задачами к составным частям ЦОД закрытого контура предъявляются следующие основные требования:
1) предоставление возможности эффективного взаимодействия проектируемых сетевых сервисов для организации работы специализированного ПО тренажеров, систем виртуальной реальности и вспомогательных систем;
2) предоставление возможности гибкого масштабирования информационной системы при наращивании ресурсов и изменении конфигурации системы;
3) обеспечение отказоустойчивости на уровне выхода из строя любого сервера, коммутационного узла, канала связи;
4) обеспечение отказоустойчивости на уровне выхода из строя одного накопителя данных в любом узле системы;
5) наличие надежной системы резервного копирования информационных БД и виртуальных серверов;
6) обеспечение оборудования ЦОД электричеством в течение 15-20 минут после отключения общего электроснабжения;
7) возможность установки различных уровней доступа для индивидуальных пользователей или групп пользователей при работе с приложениями и ресурсами;
8) разбивка стендов и развертываемых тренажеров на соответствующие сетевые сегменты, возможно, виртуальные частные сети;
9) в серверном сегменте, кроме самих серверов, допускается нахождение только компьютеров администрирования и контроля, если таковые будут предусмотрены проектом закрытого контура;
10) обеспечение защиты локальной сети закрытого контура АСИОПК (а также виртуальных машин и сетей) от внешних сетевых угроз Интернета, а также от внутренних угроз открытого контура и организационными, и программными мерами.
Для реализации требований 1 и 2 система должна быть оснащена набором высокопроизводительных серверов, поддерживающих технологии виртуализации, а также соответствующим сетевым оборудованием.
Для реализации требований 3-5 система должна иметь возможность построения RAID-массивов для резервного хранения информации, а также оснащаться общим сетевым хранилищем. Дополнительным решением может быть введение дублирующих элементов сетевого оборудования и соответствующих программных средств.
Для реализации требования 6 система должна быть оснащена источниками бесперебойного питания.
Для реализации требований 7 и 8 система поддерживает виртуализацию ресурсов, а также созда-
19
Программные продукты и системы /Software & Systems
№ 4 (112), 2015
ние виртуальных частных сетей на уровне серверов и активного сетевого оборудования.
Для реализации требования 9 система должна быть оснащена рабочим местом администрирования, контроля комплекса, а также необходимым ПО, управляемым с данного рабочего места.
Для реализации требования 10 система должна включать антивирусную защиту, средства ограничения доступа в глобальные сети и внутренние процедуры восстановления работоспособности, а также административные меры контроля доступа в помещения.
Для повышения надежности и единообразия используемых аппаратных средств предпочтение должно быть отдано уже апробируемым и используемым в открытом контуре продуктам ведущих мировых компаний.
Прикладное ПО закрытого контура предназначено для осуществления следующих операций: управление виртуальной инфраструктурой серверов; создание резервных копий в случае возникновения критических ошибок и обеспечение возможности отката; контроль энергопитания и автоматического выключения оборудования в случае возникновения аварийных ситуаций; обеспечение антивирусной защиты и всего спектра внутренних и внешних угроз для ПО; оперативный мониторинг и отслеживание сетевой активности пользователей с целью контроля и предотвращения несанкционированных действий; обеспечение работоспособности сетевых служб, таких как Active Directory, DNS, DHCP; настройка и администрирование набора пользовательских сервисов и специализированного ПО.
Прикладное ПО серверов обработки информации представляет собой набор специализированных приложений системы управления тренировками, интеграции ПО, моделирования и визуализации объектов тренажеров и ФМС, а также для хранения БД и вспомогательной информации.
Требования к серверам. Высокопроизводительный вычислительный сервер предназначен для развертывания виртуальных серверов с задачами и сервисами, выдачи вычислительных мощностей для виртуальных машин отрабатываемых стендов и тренажеров. Данный сервер должен обладать внутренним аппаратным RAID-контроллером, сетевым контроллером с несколькими портами по 1 Гбит/c и возможностью установки модулей до 10 Гбит/c, системой хранения данных, возможностью установки достаточных объемов оперативной памяти. Высокопроизводительный графический сервер предназначен для развертывания виртуальных серверов с задачами и сервисами детализированной 3D-графики, выдачи вычислительных мощностей для виртуальных машин отрабатываемых стендов и тренажеров. Сервер должен обладать достаточным объемом оперативной памяти и иметь в своем составе графические карты, позволяющие
выделять ресурсы для создания виртуальных графических адаптеров со всеми возможностями физических адаптеров. Система сетевого хранения должна обеспечивать хранение информации, образов виртуальных машин, подключаемых дисковых массивов к системам, БД с возможностями резервирования и создания любых конфигураций RAID-массивов. Для сетевого взаимодействия должны использоваться высокопроизводительные коммутаторы серверного сегмента, которые обеспечивают объединение компонент серверного сегмента, системы хранения и серверов и поддерживают большую скорость внутренней передачи.
Исходя из требований к производительности ПО тренажеров должны быть созданы соответствующие виртуальные машины. Все образы виртуальных машин должны храниться в единой системе хранения данных для обеспечения централизованного доступа и удобства перемещения ВМ между серверами.
В качестве платформы виртуализации может выступать VMware vSphere или Citrix XenServer, которые на данный момент поддерживают технологию GRID Virtual GPU, но, так как в открытом контуре применяется ПО VMware vSphere, для сохранения унификации серверных кластеров и при положительных оценках системы виртуализации на специализированном ПО тренажеров и ФМС предпочтительнее выбор системы VMware vSphere.
При развертывании системы виртуализации серверных мощностей в VMware vCenter должны быть созданы кластеры и включены службы HA и DRS, обеспечивающие миграцию работающих виртуальных машин в случае отказа и для распределения равномерной нагрузки на серверы.
Специализированный протокол обмена системы виртуализации PCoIP определяет низкие требования к пропускной способности сетевых каналов обмена между набором тонких клиентов на тренажерах и ФМС и единым вычислительным комплексом УТМК. При этом используется компрессированный поток реального времени для видеоданных и трафика USB устройств в виде IP-пакетов для передачи на конечное устройство отображения информации только об изменившихся пикселях изображения.
Для этого должны применяться тонкие клиенты на рабочих местах АСИОПК закрытого контура. В части выдвигаемых требований к тонким клиентам на рынке представлены модификации нулевых клиентов для основных платформ виртуализации (Citrix и VMware), которые обладают всеми необходимыми характеристиками и достаточным уровнем производительности в зависимости от решаемой задачи. Следует отметить, что при работе с технологией VDI и результатами удаленных графических расчетов, а также при использовании системы виртуализации VMware желательно исполь-
20
Программные продукты и системы /Software & Systems
№ 4 (112), 2015
зование клиентов, поддерживающих на аппаратном уровне протокол PCoIP, например Wyse P25 или P45.
Литература
1. Центр подготовки космонавтов имени Ю.А. Гагарина. Официальный сайт. URL: http://www.gctc.ru (дата обращения:
18.08.2015) .
2. Основы коммутации. URL: http://www.intuit.ru/studies/ courses/3591/833/lecture/14251?page=9 (дата обращения:
18.08.2015) .
3. Виртуализация VMware для настольных компьютеров, серверов, приложений, общедоступных и гибридных облаков. URL: http://www.vmware.com/ru (дата обращения: 18.08.2015).
4. Резервное копирование VMware Sphere. URL: http://
www.veeam.com/ru/vmware-esx-backup.html (дата обращения:
18.08.2015).
5. Подробные сведения о сервере для установки в стойку PowerEdge R720. URL: http://www.dell.com/ru/business/p/power-edge-r720/pd (дата обращения: 18.08.2015).
6. NVIDIA GRID - потоковые приложения и игры по запросу. URL: http://www.nvidia.ru/object/nvidia-grid-ru.html (дата обращения: 18.08.2015).
7. XenServer - серверная виртуализация и управление гипервизором. URL: https://www.citrix.ru/products/xenserver/over-view.html (дата обращения: 18.08.2015).
8. Семейство нулевых клиентов Wyse P class для VMware. URL: http://www.dell.com/ru/business/p/wyse-p-class/pd (дата обращения: 18.08.2015).
9. PC-over-IP Technology Explained. URL: http://www.tera-dici.com/pcoip-technology (дата обращения: 18.08.2015).
10. Тонкий клиент Wyse серии 7000. URL: http://www.dell. com/ru/business/p/wyse-z-class/pd (дата обращения: 18.08.2015).
DOI: 10.15827/0236-235X.112.016-021 Received 09.09.15
THE ANALYSIS OF AN IT INFRASTRUCTURE OF THE ASTRONAUT TRAINING OPEN AUTOMATION SYSTEM TO CREATE AN INTEGRATED SIMULATION COMPLEX Kovrigin S.N., Head of Department, S.Kovrigin@gctc.ru (Gagarin Research & Test Cosmonaut Training Center, Star City, Moscow Region, 141160, Russian Federation);
Yanyushkin V.V., Ph.D. (Engineering), Deputy General Manager, v.yanyushkin@simct.ru (The Center for Space Simulator Development and Personnel Training,
Pervomayskaya St. 92, Moscow, 115088, Russian Federation)
Abstract. The article describes testing of astronaut training open automation system at Gagarin Research & Test Cosmonaut Training Center. It includes the development of a test rig for VMware and Citrix virtualization platforms with further deployment of thin clients within a multibranch network. The article provides a short description of the test rig structure and technical solutions including graphics server with NVIDIA GRID K2 cards, two types of virtualization system thin clients and virtualization software. The test object is specific software of two components of astronaut training devices: virtual International Space Station (ISS) desktops and Teleoperator autonomous simulator trainees’ desktops featuring motion control handles and navigation. The operation of these two systems is tested in VMware and Citrix. Experiments must confirm that the deployment of simulator virtualization systems and function & simulation stands is possible within the described automation system. The article offers trusted major practical and theoretical solutions as well as a complex of solutions for the development of close software and hardware infrastructure based on the latest technologies. The article clearly defines the main requirements for server nods, storage systems, networking equipment and target devices. The peculiarity of the work is that all tests were performed on the basis of potential customer’s network infrastructure and real workspaces. The work aims at defining whether it is possible to develop a set of integrated solutions at Gagarin Research & Test Cosmonaut Training Center to consolidate function & simulation stands’ software within the corporate data center.
Keywords: astronaut training automation system for preparing cosmonauts, integrated complex, data center, network infrastructure, graphics server.
References
1. Tsentrpodgotovki kosmonavtov imeni Yu.A. Gagarina [Gagarin Research&Test Cosmonaut Training Center]. Available at: http://www.gctc.ru (accessed August 18, 2015).
2. nOu INTUIT. Osnovy kommutatsii [KNOW INTUIT. Switching Basics]. Available at: http://www.intuit.ru/stud-ies/courses/3591/833/lecture/14251?page=9 (accessed August 18, 2015).
3. Virtualizatsiya VMware dlya nastolnykh kompyuterov, serverov, prilozheny, obshchedostupnykh i gibridnykh oblakov [VMware virtualization for PC, Servers, Applications, Public and Hybrid Clouds]. Available at: http://www.vmware.com/ru (accessed August 18, 2015).
4. Rezervnoe kopirovanie VMware Sphere [VMware Sphere Backup]. Available at: http://www.veeam.com/ru/vmware-esx-backup.html (accessed August 18, 2015).
5. Podrobnye svedeniya o servere dlya ustanovki v stoyku PowerEdge R720 [Data on the Server Rack PowerEdge R720]. Available at: http://www.dell.com/ru/business/p/poweredge-r720/pd (accessed August 18, 2015).
6. NVIDIA GRID - potokovye prilozheniya i igry po zaprosu [NVIDIA GRID - threaded applications and games on request]. Available at: http://www.nvidia.ru/object/nvidia-grid-ru.html (accessed 18 August 2015).
7. XenServer - servernaya virtualizatsiya i upravlenie gipervizorom [XenServer - Server Virtualization and Hypervisor]. Available at: https://www.citrix.ru/products/xenserver/overview.html (accessed August 18, 2015).
8. Semeystvo nulevykh klientov Wyse P class dlya VMware [The Family of Zero Clients Wyse P Class for VMware]. Available at: http://www.dell.com/ru/business/p/wyse-p-class/pd (accessed August 18, 2015).
9. PC-over-IP Technology Explained. Available at: http://www.teradici.com/pcoip-technology (accessed August 18, 2015).
10. Tonky klient Wyse serii 7000 [Wyse 7000 series Thin Client]. Available at: http://www.dell.com/ru/business/p/wyse-z-class/pd (accessed August 18, 2015).
21
