CC BY
68
Для внесения в контрольный граф Gctl информации о количественной оценке деятельности обучаемого на каждую дугу AieActl, задающую переход между событиями сценария, навешивается информация о временных задержках и состояниях объектов, которые должны быть соблюдены при переходе от одного действия к другому: Con-trol(Ai)={T, StatePair}, где T - промежуток времени, который должен быть выдержан перед выполнением очередного действия; StatePair - множество пар объект-состояние, задающих состояния объектов, в которых они должны быть при переходе к новому событию: StatePair={(Oi, Sj)}, где O,eObjM, Sj-eSttM.
Таким образом, при фиксации очередного события в цепочке графа записи и воспроизведения Gzv осуществляется проверка контролирующей информации Control с определением факта возникновения ошибочного действия:
0, если t > T П"Р,
P(On,Sm) eStatePair, State(t,,On) = Sm;
1, еслиt <TU3P,
P(On,Sm) e StatePair, State(ti,On) ^Sm.
Error (Ai) =
Проблемы оценки деятельности обучаемого с помощью системы ЗВ
К недостаткам предложенной модели следует отнести отсутствие возможности реализации с
помощью контрольного графа: ветвления событий, выполнения блоков действий в различной последовательности и выполнения цикличной последовательности дей-действий.
Устранение выявленных недостатков возможно путем более углубленной взаимосвязи сценариев выполнения действий с математическими моделями объектов управления. Опыт разработок подсказывает, что развитие в данном направлении приведет к созданию полноценной тренажерной системы, однако при этом существенно возрастает сложность такой системы.
В заключение следует отметить, что в статье представлена формализация задачи обучения персонала средствами систем имитации визуальной обстановки. Описанные подходы реализованы при создании в Центре тренажеростроения (г. Москва) средств подготовки космонавтов для работы на борту МКС с научной аппаратурой и при проведении космических экспериментов. Разработанные по описанной схеме программные продукты используются в НИИ ЦПК имени Ю.А. Гагарина (г. Москва) в качестве наглядных пособий при подготовке космонавтов.
Литература
1. Software for modeling, simulation and embedded graphics application development. URL: http://www.presagis.com/ (дата обращения: 05.03.2013).
2. Новиков Ф.А. Дискретная математика для программистов: учеб. для вузов. 3-е изд. СПб: Питер, 2009. 384 с.
References
1. Software for modeling, simulation and embedded graphics application development, available at: http://www.presagis.com/ (accessed 18 July 2013).
2. Novikov F.A., Diskretnaya matematika dlya programmis-tov [Discrete maths for programmers], 3rd edition, SPb, Piter, 2009.
УДК 004.72
ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ ВИРТУАЛИЗАЦИИ ВЫЧИСЛИТЕЛЬНЫХ И ГРАФИЧЕСКИХ СЕРВЕРОВ ПРИ ПРОЕКТИРОВАНИИ ТРЕНАЖЕРОВ, ТРЕНАЖЕРНО-МОДЕЛИРУЮЩИХ КОМПЛЕКСОВ И СИСТЕМ ОБУЧЕНИЯ ОПЕРАТОРОВ
В.В. Янюшкин, к.т.н., начальник отдела (Донской филиал Центра тренажеростроения, Платовский просп., 101, г. Новочеркасск, 346400, Россия, [email protected])
В статье рассматриваются существующие подходы к разработке систем, проблемы, недостатки и пути решения с использованием новых серверных технологий и виртуализации. К недостаткам используемых решений следует от-
нести малую эффективность использования вычислительных ресурсов и невозможность оперативного перераспределения задач и приложений в случаях нештатных ситуаций и выхода из строя отдельных узлов системы, что является крайне важной проблемой при проектировании высоконагруженных пользовательских систем оперативного контроля, мониторинга и обучения специалистов. Приводится описание передовой технологии NVIDIA VGX для использования в актуальных задачах тренажеростроения при построении 3D-графики реального времени. Применение данной технологии предоставляет новые возможности при проектировании систем обучения и тренажеров с последующей виртуализацией не только процессорных вычислительных, но и графических ресурсов, что обеспечивает новый уровень мобильности пользователей и приложений, получающих данные расчета 3D-моделей на портативные компьютеры, а также параллельную работу множества удаленных пользователей. Предлагаемые компанией NVIDIA решения объединяются в технологии центров обработки данных и облачных вычислений, которые можно использовать при разработке систем обучения и тренажеров нового поколения.
Ключевые слова: NVIDIA VGX, центр обработки данных, виртуализация, графический процессор, 3D-графика, тренажерно-моделирующий комплекс, виртуальный рабочий стол, вычислительный сервер, графический сервер.
USING VIRTUALIZATION TECHNOLOGIES OF COMPUTING AND GRAPHICS SERVERS WHEN DESIGNING COMPLEX SIMULATORS AND OPERATOR TRAINING SYSTEMS Yanyushkin V. V., Ph.D., head of department (Don Branch of the Space Simulator Center, Platovsky Av., 101, Novocherkassk, 346400, Russia, [email protected])
Abstract. The article considers existing approaches to developing systems, their problems, shortcomings and solutions using new server technologies and virtualization. The disadvantages are: small efficiency of using computing resources, impossibility of tasks and applications immediate rearrangement in case of emergency situations and system separate knots outage that is an extremely important problem when designing high-loaded user systems of control, monitoring and training. The article also describes NVIDIA VGX advanced technology used in 3D-real-time graphics simulators. Using this technology offers new opportunities for designing training systems and simulators, followed by virtualization of CPU computing resources and graphic resources. It provides a new level of mobility to users and applications that consume 3D-models data calculation on portable computers, as well as the parallel operation of multiple remote users. NVIDIA solutions are combined in the technology of data centers and cloud computing which can be used for development of new generation training systems and simulators.
Keywords: NVIDIA VGX, data center, virtualization, GPU, 3D-graphics, complex simulator, virtual desktop, computing server, graphic server.
Для разработки и проектирования тренажеров, тренажерно-моделирующих комплексов и систем обучения операторов существует ряд стандартных решений и архитектур. К ним можно отнести применение клиент-серверных архитектур, использование набора персональных компьютеров, объединенных в локальную вычислительную сеть, а также высокопроизводительных серверов для выполнения задач моделирования и отработки режимов. Развитие информационных технологий, программной и аппаратной баз вычислительных систем вносит изменения в саму концепцию выполнения вычислений, которые становятся распределенными и удаленными от конечного пользователя. Виртуализация, консолидация приложений, динамическое выделение ресурсов и передача конечного результата в виде форматов на экраны пользователя с возможностями обратной связи является новой и пока недостаточно широко внедряемой в разработки тренажеров технологией.
Для анализа существующих подходов, выявления проблемных мест и путей их решения рассмотрим несколько наиболее распространенных задач разработки на основе использования персональных компьютеров в стоечном исполнении, высокопроизводительных графических станций и набора вычислительных серверов.
Использование персональных компьютеров в стоечном исполнении. В данной реализации применяется набор персональных компьютеров
(системный блок в стоечном исполнении), размещенных в серверной стойке, которые выполняют задачи моделирования (расчет моделей) и задачи 3D-визуализации (расчет систем виртуальной реальности). При этом мониторы пультов управления (рабочие места обучаемых) расположены в непосредственной близости от стойки, соединены видеокабелем и отображают данные моделирования и расчет 3D-пространства (рис. 1). Такие решения используются при проектировании отдельных тренажеров, функционально-моделирующих стендов, составных частей образовательных кос-моцентров.
Как правило, в серверную стойку устанавливаются обычные персональные компьютеры, аппаратная составляющая которых не предназначена для функционирования в качестве серверов. Поэтому в таких изделиях наличие стойки обусловливается необходимостью обеспечения бесперебойного питания, централизованного сетевого подключения (не нужно проводить сетевые кабели к рабочим местам) и концентрации основного оборудования в одном серверном шкафу для удобства обслуживания и эксплуатации. С другой стороны, существует необходимость проводки кабелей видеосигналов до рабочего места с мониторами. При этом накладываются ограничения по длине кабеля для передачи видеосигнала, а также помехи и искажения для такого типа кабелей при прокладке. Следовательно, расстояние от серверной стойки с шумящим оборудованием, выде-
Вычислительная стойка
Персональный компьютер
Персональный компьютер
Персональный компьютер
Персональный компьютер
\ \
\ \ -
ч \
V
I
4 ч\ \ \\
— • Видеосигналы
Сетевые обмены моделирования
Рис. 1. Использование персональных компьютеров в стоечном исполнении
ляющим тепло, до рабочего места оператора исчисляется несколькими метрами. Современные серверные технологии в данном типе архитектуры не применяются.
Использование вычислительных серверов без виртуализации. В такой реализации в изделие также включена серверная стойка, в состав которой входят набор серверов моделирования, записи тренировок или занятий, серверов БД. Взаимодействие с пользователями ресурсов осуществляется через локальную вычислительную сеть, непосредственная работа с сервером обучаемого или пользователя не предусмотрена (рис. 2). Архитектура
применяется в специализированных тренажерах для решения задач расчета параметров моделирования и хранения БД.
В данном случае в серверную стойку устанавливаются, как правило, серверы одинаковой мощности (несколько процессоров с одинаковым объемом оперативной памяти), что приводит к неравномерному использованию оборудования, простоям и перегрузке отдельных вычислительных узлов. Например, один из серверов моделирования, выполняющий расчет параметров моделирования в реальном времени, может быть всегда загружен с точки зрения процессорного времени на
Вычислительная стойка
_ Вычислительный
Вычислительный Вычислительный Вычислительный
Сетевые обмены моделирования
Рабочее место инструктора (или обучаемого)
Рабочее место инструктора (или обучаемого)
Рабочее место инструктора (или обучаемого)
Рабочее место инструктора (или обучаемого)
Рис. 2. Использование вычислительных серверов без виртуализации
70-90 %. Другой сервер моделирования (с менее требовательными расчетами) имеет загрузку на 15-20 %, сервер БД является незагруженным и простаивает практически 100 % времени (в начале занятия или тренировки считываются данные, а в конце производится запись). На жестких дисках серверов, помимо операционной системы, хранятся все прикладное ПО, БД и данные моделирования, при этом при выходе из строя диска или сервера осуществить быстрый перенос ПО на другой вычислительный ресурс практически невозможно. Из современных серверных технологий применяются только серверные операционные системы.
Использование высокопроизводительных рабочих мест для 3D-моделирования. В данной реализации объектом применения являются специализированные тренажеры, обучающие системы, развертываемые в специально оснащенных классах систем виртуальной реальности. При этом в учебный класс (аудиторию) устанавливается набор персональных компьютеров, оснащенных высокопроизводительными графическими картами для расчета 3D-графики на каждом из рабочих мест. Взаимодействие происходит посредством вычислительной сети и передачи команд между отдельными рабочими местами и местом руководителя обучения (рис. 3).
В учебном классе на каждое рабочее место обучаемого должна быть установлена высокопроизводительная графическая станция. Расчет 3D-моделей осуществляется только на рабочем месте, другой потребитель (с другого рабочего места) не может воспользоваться результатами визуализации (только захват экрана с применением специального ПО). Взаимодействие и удаленная работа с результатами графических расчетов в на-
стоящее время невозможны, невозможно и применение мобильных устройств (планшетов, нетбу-ков, смартфонов) для работы с высокопроизводительными 3D-приложениями. Как правило, ПО 3D-моделей на рабочих местах не отличается, поэтому делается несколько дублирующих копий, но вследствие технической невозможности использования единой серверной части для процесса моделирования и отдачи результатов на множество экранов пользователей с обратной связью набор технических средств используется малоэффективно. Современные серверные технологии тоже не применяются.
Два первых рассмотренных варианта проектирования и эксплуатации систем, в состав которых входят серверные стойки, показывают наличие проблем в реализации с использованием стандартных персональных компьютеров, низкую эффективность при применении серверов и отсутствие каких-либо современных серверных технологий. Простое наращивание вычислительных мощностей и количества серверных стоек никак не повышает надежность системы, но при этом занимаются новые площади, повышаются энергопотребление и зашумленность помещений.
Вариант организации учебного класса в принципе не поддерживает серверные технологии для выполнения своих функциональных задач (расчета 3D-графики). С другой стороны, для обучающей системы, например, применяется единый сервер, а обучаемые в классе могут подключаться к web-интерфейсу с любого персонального компьютера, ноутбука, нетбука без необходимости установки специализированного ПО, при этом требования к аппаратной составляющей клиента тоже остаются невысокими.
Персональный компьютер
V
Персональный компьютер
Персональный компьютер
Персональный компьютер
Видеосигналы
Сетевые обмены моделирования
Рис. 3. Использование высокопроизводительных рабочих мест для 3D-моделuрованuя
Использование современных серверных технологий и виртуализации. Ключевым понятием современных серверных технологий является применение виртуализации, набора высокопроизводительных серверов и специализированого ПО, поддерживающего выделение (динамическое перераспределение) ресурсов выполняемым задачам.
Виртуализация - процесс представления набора вычислительных ресурсов, их логического объединения, который дает какие-либо преимущества перед оригинальной конфигурацией. Это новый взгляд на ресурсы составных частей, не ограниченных реализацией, физической конфигурацией или географическим положением. Виртуализация на уровне операционной системы виртуализирует физический сервер, позволяя запускать изолированные и безопасные виртуальные серверы на одном физическом сервере.
Современные серверы и процессоры на аппаратном уровне поддерживают технологии виртуализации, что позволяет одновременно запустить на одном физическом сервере несколько операционных систем со своим ПО моделирования, БД, расчетом систем виртуальной реальности. Появление новых графических серверов (с возможностью виртуализации графического процессора) предоставляет новые возможности по организации централизованных расчетов и для 3D-графики.
Существенным преимуществом является также то, что прикладное и специализированное ПО не требует переработки с переходом на данную технологию, а применение высокоскоростных сетевых обменов (с учетом оптимизации трафика и фирменных технологий) обеспечит доставку информации до удаленных потребителей без существенных задержек. Вычислительные серверы и процессоры с аппаратной поддержкой виртуализации широко применяются для решения множества актуальных задач, в том числе в центрах обработки данных, графические серверы в настоящее время являются новинкой и требуют более подробного рассмотрения.
Применение специализированных технологий виртуализированных графических расчетов. Многие задачи подготовки специалистов успешно решаются с применением технологий виртуальной реальности и 3D-технологий. Расчет геометрии изображения объектов производится в реальном времени с высокой точностью и детализацией. При этом для рабочих мест операторов используются персональные компьютеры, оснащенные высокопроизводительными графическими картами, выполняющими расчеты совместно с центральным процессором.
Развитие технологий и появляющиеся новые задачи подготовки специалистов позволяют разрабатывать принципиально новые решения для тренажеров, тренажерно-моделирующих комплексов, специализированных функционально-модели-
рующих стендов. Следует отметить, что значительным ограничением в применении мобильных технологий является производительность планшетных компьютеров и других устройств, которой в ряде случае хватает только для просмотра статичных Internet-страниц, администрирования и доступа к БД и к простым форматам управления тренажера. Но целый класс задач, решаемых с использованием виртуальных 3D-технологий, рассчитывающих в реальном времени изображения для данных устройств, принципиально недоступен.
К примеру, преподаватель, проводящий занятия в классе виртуальной реальности и имеющий планшетный компьютер, не может увидеть демонстрируемую обучаемыми на их персональных компьютерах картинку (расчет которой ведется отдельно на каждом компьютере). Теоретически это может быть лишь заранее сгенерированная видеозапись низкого разрешения, ее можно проиграть как видеоролик, но не как изображение, генерируемое мощной графической станцией в реальном времени. Другой пример - разработка систем виртуальной реальности - требует установки для каждого разработчика персонального компьютера, оснащенного одной или несколькими мощными графическими картами, которые используются для рендеринга и обработки Применение технологий центров обработки данных для консолидации и виртуализации с последующим выделением необходимых вычислительных ресурсов, как в случае с приложениями, использующими для своего функционирования центральный процессор, невозможно, так как 3D-графика на 90 % задействует в расчетах графические процессоры, в то время как серверные процессоры (CPU) справляются с большинством приложений и могут быть виртуализованы (один физический процессор назначен многим виртуальным машинам или одной виртуальной машине назначено несколько физических процессоров).
Существующие серверные технологии, использующие графические процессоры (GPU), имеют большие недостатки, в числе которых отсутствие аппаратной виртуализации GPU (один GPU отдается в монопольное владение одному пользователю), проблемы с энергопотреблением (невозможно поставить на сервер большое количество GPU), латентность, являющаяся одной из причин низкой скорости отклика (неэффективность программно-аппаратной архитектуры подключения GPU). До недавнего времени подобные задачи были практически нереализуемы.
В конце 2012-начале 2013 года известная фирма NVIDIA представила инновационную платформу VGX для виртуализированной рабочей станции с полноценной 3D-графикой [1]. Основная идея заключается в том, чтобы позволить нескольким пользователям работать с одним графи-
ческим чипом, разделить графические ресурсы одного GPU между несколькими виртуальными машинами. В дальнейшем с любого устройства независимо от операционной системы, которая на нем установлена, можно будет получить доступ к любым приложениям.
Аппаратная часть платформы представлена двумя видеокартами - NVIDIA VGX K1 и K2. Первая оснащена четырьмя графическими процессорами Kepler начального уровня, каждый из которых имеет 192 ядра CUDA и 4 Гбайта видеопамяти, вторая - двумя ускорителями Quadro K5000, суммарно насчитывающими 3072 ядра CUDA и 8 Гбайт памяти. Оба решения подключаются к серверам через стандартный интерфейс PCI Express, имеют пассивное охлаждение и поддерживают интерфейсы OpenGL 4.x и Microsoft DirectX 11 [2-3]. Устройства лишены каких-либо видеовыходов, это свидетельствует о том, что карты спроектированы для работы в виртуальных средах.
На рисунке 4 показана схема использования графических серверов с данными платами для работы с набором удаленных клиентов. Один физический графический сервер может содержать несколько виртуальных машин с гостевыми операционными системами, решающими свои определенные задачи с выделением необходимых общих ресурсов. Дальнейшее взаимодействие осуществляется с использованием проводных и беспроводных вычислительных сетей.
Г Л
Ключевыми показателями упомянутых видеокарт являются количество поддерживаемых пользователей и энергоэффективность. NVIDIA VGX K1 позволяет обслуживать до 100 одномонитор-
ных терминальных станций (персональных компьютеров, смартфонов или планшетов), что значительно повышает плотность пользователей в расчете на один сервер по сравнению с традиционной виртуальной настольной инфраструктурой. Посредством карты K2 можно разворачивать до 64 удаленных рабочих станций либо предоставлять все вычислительные мощности двум виртуальным машинам, предназначенным для решения ресурсоемких графических задач и запуска приложений с вычислениями на GPU [4].
Виртуализация GPU достигается за счет использования архитектуры Kepler и специального аппаратного модуля MMU (Memory Management Unit), позволяющего определять виртуальную машину, из которой пришла определенная команда, и возвращать ей результат. Латентность снижена за счет использования Low Latency Remote Display - технологии, включающей поддержку на аппаратном уровне кодировщика данных в видеопоток H.264. Технология VGX еще будет существенно дорабатываться для различных целевых аудиторий и обновляться.
Помимо продуктов Citrix, платы совместимы со средствами виртуализации Microsoft и VMware, но эти решения обеспечивают лишь режим удаленного дисплея, а система Citrix XenDesktop 5.6 в сочетании с платой VGX K2 позволит организовать виртуальную графическую станцию. Таким образом, NVIDIA VGX - платформа, разработанная специально для корпоративных облачных вычислений, работающих с графикой, а K2 - первый GPU, обеспечивающий графику уровня рабочей станции в облаке данных [5].
Такие технологии в совокупности с набором вычислительных серверов, виртуализирующих процессорные мощности и оперативную память, представляют собой концепцию единого центра обработки информации. Симбиоз вычислительных и графических серверов, связанных высокоскоростными каналами связи в рамках локальной вычислительной сети такого центра, предоставляет широкие возможности моделирования, обучения персонала и развертывания тренажер-но-моделирующих комплексов различной сложности в рамках единой программно-аппаратной инфраструктуры (рис. 5).
Рассмотренные три подхода к проектированию систем можно было бы реализовать следующим образом: применение одного вычислительного и одного графического сервера (вместо персональных компьютеров в стоечном исполнении), применение двух вычислительных серверов (вместо вычислитель-
Графический сервер
Виртуальная машина с гостевой ОС
Virtual Desktop Agent с поддержкой VGX
Драйверы NVIDIA
Рис. 4. Связь виртуализированных графических расчетов с набором пользователей
Вычислительная стойка
вычислительный
Вычислительный
► Графический сервер
. Сетевые обмены моделирования
графический сервер
Виртуальный графический сервер
Рабочее место ЗБ-визуализации
Рабочее место ЗБ-визуализации
Рабочее место моделирования
Рабочее место моделирования
- ^ Доступ к виртуальным серверам с рабочих мест
Рис. 5. Использование комбинации вычислительных и графических серверов с виртуализацией ресурсов
ных серверов без виртуализации), применение одного графического сервера (вместо персональных компьютеров с высокопроизводительными графическими картами). При этом в данных подходах используются все преимущества экономии пространства, электроэнергии, максимально эффективного распределения ресурсов, повышенной надежности хранения и обработки информации.
На основании изложенного можно сделать следующие выводы об использовании современных серверных технологий при проектировании тренажеров, тренажерно-моделирующих комплексов и систем обучения операторов
Использование в составе графических серверов программно-аппаратных средств NVIDIA VGX является перспективным и важным шагом для дальнейшей разработки, модернизации существующих и развертывания новых систем виртуальной реальности для подготовки специалистов.
Возможность без потерь производительности переместить ПО всех систем виртуальной реальности и моделирования в виртуализированные структуры вычислительных и графических серверов, получить доступ с любого устройства (тонкого клиента, ноутбука или смартфона) независимо от операционной системы позволит повысить уровень оснащенности, интегрированности решений в тренажерах подготовки персонала и получить качественно новые решения для построения систем, оборудования классов и учебных аудиторий без необходимости закупки персональных компьютеров высокой производительности.
Использование инфраструктуры центров обработки данных, повышение плотности пользователей ресурсов, экономия электроэнергии и пространства, оптимальное использование вычислительных и графических ресурсов и высокая на-
дежность аппаратуры позволят снизить расходы на разработку и эксплуатацию систем.
Патентованные технологии удаленного дисплея с малой задержкой от NVIDIA значительно улучшат работу пользователя, сокращая задержки, с которыми сталкивается пользователь при взаимодействии с виртуальной машиной (применение технологии HDX 3D Pro позволяет сократить требования к пропускной способности сети).
Необходимость изучения новых информационных технологий, основ виртуализации, современных серверных технологий, операционных систем и нового ПО ставит иные задачи проектирования и разработки с использованием современных технологий для разработки тренажеров, космоцентров и систем обучения персонала, которые можно успешно решить с применением предлагаемой архитектуры на основе комбинации вычислительных и графических серверов.
Литература
1. VDI NVIDIA GRID (VGX) Виртуализация рабочего стола. URL: http://www.nvidia.ru/object/grid-vdi-desktop-virtuali-sation-ru.html (дата обращения: 07.03.2013).
2. NVIDIA VGX K2 впервые обеспечивает облачные вычисления для дизайнеров. URL: http://www.nvidia.ru/object/vgx-k2-gpu-cloud-computing-20121017-ru.html (дата обращения: 07.03.2013).
3. NVIDIA VGX: облачные технологии с GPU-ускоре-нием. URL: http://servernews.ru/articles/596816 (дата обращения: 07.03.2013).
4. NVIDIA представила облачные GPU-технологии VGX и GeForce GRID. URL: http://www.ferra.ru/ru/video/news/2012/ 05/16/NVIDIA-VGX-GeForce-GRID (дата обращения: 07.03.2013).
5. Серверная графика. URL: http://www.osp.ru/news/artic-les/2012/42/13020432 (дата обращения: 07.03.2013).
References
1. VDI NVIDIA GRID (VGX) Virtualizatsiya rabochego stola [VDI NVIDIA GRID (VGX) Desktop virtualization], available at: http://www.nvidia.ru/object/grid-vdi-desktop-virtualisation-ru.html (accessed 7 March 2013).
2. NVIDIA VGX K2 vpervye obespechivaet oblachnye vychisleniya dlya dizaynerov [For the first time NVIDIA VGX K2 provides cloud computing for designers], available at: http://www. nvidia.ru/obj ect/vgx-k2-gpu-cloud-computing-20121017-ru.html (accessed 7 March 2013).
3. NVIDIA VGX: oblachnye tekhnologii s GPU-uskoreniem [NVIDIA VGX: cloud technologies with GPU-speedup], available at: http://servernews.ru/articles/596816 (accessed 7 March 2013).
4. NVIDIA predstavila oblachnye GPU-tekhnologii VGX i GeForce GRID [NVIDIA has presented cloud GPU-technologies VGX and GeForce GRID], available at: http://www.ferra.ru/ ru/vi-deo/news/2012/05/16/NVIDIA-VGX-GeForce-GRID (accessed 7 March 2013).
5. Servernaja grafika [Server graphics], available at: http:// www.osp.ru/news/articles/2012/42/13020432 (accessed 7 March 2013).
