Научная статья на тему 'Анализ систем управления заданиями в рамках Grid'

Анализ систем управления заданиями в рамках Grid Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
637
134
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
СИСТЕМА УПРАВЛЕНИЯ ПАКЕТНОЙ ОБРАБОТКОЙ ЗАДАНИЙ / ПРОМЕЖУТОЧНОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ / GRID-СИСТЕМА / БАЛАНСИРОВКА НАГРУЗКИ / ПЛАНИРОВЩИК / ЗАДАНИЕ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Юрич М. Ю.

В данной статье проводится анализ наиболее распространенных и действующих на данный момент систем управления пакетной обработкой заданий (СУПО). Приведено множество ссылок на Интернет-ресурсы, по которым можно найти более подробную информацию о той или иной СУПО. В результате проведенного анализа построена сводная таблица, отображающая сравнительную характеристику рассмотренных СУПО, а также их взаимосвязь с распространенным на данный момент внешним планировщиком заданий Maui. Также определено место СУПО в составе программного обеспечения grid-систем и при использовании на локальном уровне.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Анализ систем управления заданиями в рамках Grid»

ПЕРЕЧЕНЬ ССЫЛОК

1. Олифер В. Г. Компьютерные сети. Принципы, технологии, протоколы : учебник для вузов / В. Г. Олифер,

Н. А. Олифер. - 3-е изд. - СПб. : Питер, 2007. - 958с.

2. Клонирование мастер-диска как метод стандартизации рабочих мест в среде Active Directory // Электронный журнал IXBT. - Режим доступа: http://www.ixbt. com/comm/prac-attack-of-clones.shtml/. - 11.04.2006. -Загл. с экрана.

Надійшла 07.06.2009 Після доробки 10.09.2009

Скрупський С. Ю., Маркін О. Г., Скрупська Л. С.

АВТОМАТИЗАЦІЯ ПІДГОТОВКИ РОБОЧИХ СТАНЦІЙ В ЛОКАЛЬНИХ ОБЧИСЛЮВАЛЬНИХ МЕРЕЖАХ

Виконано аналіз методів підготовки робочих станцій в локальних обчислювальних мережах. Отримано значення витрат часу для різних методів, сформульовано найбільш ефективний метод.

Ключові слова: робоча станція, пакетний файл, образ, GHOST, клонування.

Skrnpsky S. Y, Markin A. G., Skrupskaya L. S.

AUTOMATIZATION OF WORKSTATIONS PREPARATION IN LOCAL COMPUTER NETWORKS

Methods of workstations preparation in local computer networks are analyzed. Time expenditure for different methods is calculated, the most effective method is determined.

Key words: workstation, batch file, image, GHOST, cloning.

УДК 004.75

Юрич М. Ю.

Ассистент Запорожского национального технического университета

АНАЛИЗ СИСТЕМ УПРАВЛЕНИЯ ЗАДАНИЯМИ В РАМКАХ GRID

В данной статье проводится анализ наиболее распространенных и действующих на данный момент систем управления пакетной обработкой заданий (СУПО). Приведено множество ссылок на Интернет-ресурсы, по которым можно найти более подробную информацию о той или иной СУПО. В результате проведенного анализа построена сводная таблица, отображающая сравнительную характеристику рассмотренных СУПО, а также их взаимосвязь с распространенным на данный момент внешним планировщиком заданий Maui. Также определено место СУПО в составе программного обеспечения grid-систем и при использовании на локальном уровне.

Ключевые слова: система управления пакетной обработкой заданий, промежуточное программное обеспечение, grid-система, балансировка нагрузки, планировщик, задание.

ВВЕДЕНИЕ

В последнее время наблюдается бурный рост числа и вычислительных мощностей компьютерной техники. Это дало возможность объединять компьютеры для решения сложных и ресурсоемких задач. Такие объединения возможны как в рамках одной компьютерной организации или нескольких небольших организаций, так и в географически распределенном диапазоне. Идея создания огромной вычислительной пространственно распределенной сети легла в основу создания grid-систем.

Для управления компьютерными системами в настоящее время используется различное программное обеспечение (ПО). В частности, если рассматривать распределенные системы, а именно grid-системы, то стоит отметить, что наряду с операционными системами в них используется промежуточное программное обеспечение (middleware) и дополнительные

© Юрич М. Ю., 2010

программные средства, направленные на оптимизацию выполнения заданий в системе, так называемые системы управления пакетной обработкой (СУПО). Двухуровневая модель управления заданиями в grid использует СУПО на локальном уровне - в качестве отдельно используемого ПО и/или в качестве одной из компонент, входящих в состав определенного middleware (глобальный уровень).

Одной из наиболее весомых функций СУПО является обеспечение механизма планирования распределения заданий. Данная функция может быть реализована непосредственно разработчиками конкретной СУПО, либо при помощи внешних планировщиков - отдельно разработанных программных средств (к примеру, планировщика Maui).

В основе каждого планировщика лежит алгоритм, от которого во многом зависит эффективность управления заданиями в целом.

Выбранный middleware для конкретной из grid-систем в основном становится стандартом de facto в пределах этой системы. А вот выбор СУПО, особенно на локальном уровне - это проблема, решаемая каждый раз по-своему для конкретно организованной локальной сети, кластера, виртуальной организации и т. д., в зависимости от технических характеристик и предъявляемых требований, а потому является актуальной задачей.

Таким образом, целью работы была поставлена задача проанализировать наиболее свежие версии распространенных на данный момент СУПО.

1. MIDDLEWARE

Основополагающими grid-системами стали EGEE (www.eu-egee.org), NorduGrid (www.nordugrid.org), Open Science Grid (www.opensciencegrid.org) и TeraGrid (www.teragrid.org). Естественно, как и в любой другой организации, для существования и функционирования grid-систем необходимы эффективные средства управления - соответствующее программное обеспечение. Одной из составляющих ПО является промежуточное программное обеспечение (ППО).

Под промежуточным программным обеспечением понимается совокупность Grid-сервисов, независимых от ресурсов и приложений и обеспечивающих аутентификацию, авторизацию, размещение и распределение ресурсов, получение результатов выполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способы обнаружения неисправностей. Middleware дает пользователем удаленный доступ к Grid-ресурсам. Зачастую в среде Grid используется промежуточное программное обеспечение для организации доступа, хотя есть и другие технологии, такие, как Grid-порталы, WebSphere из IBM, предназначенный для поддержки развития приложений, основанных на Web-сервисах [1].

Примером ШЮ могут служить ARC, NorduGrid, AliEn, LCG, EDG, DataGrid (www.datagrid.org), Alche-mi, Unicore (www.unicore.org), gLite (www.gLite.org). Однако все они имеют много общего, поскольку построены на базе системы Globus Toolkit (www.glo-bus.org).

В общем случае компонентами middleware grid-систем являются:

- Security Infrastructure (инфраструктура безопасности);

- Information System (информационная система);

- Computing Element (вычислительный элемент);

- Job Management System (система управления заданиями);

-Data Management System (система управления данными);

- Monitoring Accounting (учет контроля);

- другие.

Остановимся более подробно на системе управления заданиями (Job Management System). Ранее, до возникновения grid-систем, подобные модули было принято называть системами управления пакетной обработкой (СУПО), а также системами пакетной обработки (СПО), Cluster Management Software (CMS), Batch System (BS), Resource Management System (RMS). С появлением grid-систем появились новые названия, к примеру, Resource Allocation Manager, Workload Management System, Job Management System. Однако от этого функции и назначение систем не поменялись. Единственное отличие - это их использование в составе определенного middleware для grid-систем или в виде отдельной программной ком -поненты - в остальных случаях.

В основе работы любой СУПО лежат планировщики нагрузки (также называемые диспетчерами задач, балансировщиками нагрузки), которые, используя определенный алгоритм, размещают задачи, поступающие для решения в вычислительной системе, на определенный вычислительный узел. Место СУПО в общей структуре комплекса рассматриваемого ПО более наглядно представлено на рис. 1, а - в составе middleware для grid-систем, б - при использовании на локальном уровне.

Рассмотрим далее более подробно СУПО, их разновидности и особенности каждой из них.

Рис. 1. Место СУПО:

а - в составе middleware для grid-систем; б - при использовании на локальном уровне

2. СИСТЕМЫ УПРАВЛЕНИЯ

ПАКЕТНОЙ ОБРАБОТКИ ЗАДАНИЙ

Как уже было отмечено ранее, организация вычислений в распределенной среде компьютеров -это задача систем управления пакетной обработки заданий. Под заданием в распределенной вычислительной сети будем понимать запрос, вычислительную задачу или подзадачу, любое другое подобное действие со стороны пользователя системы. На данный момент известно более десятка действующих СУПО.

В общем случае обработка заданий в распределенной среде предусматривает выполнение следующих функций [2]:

- централизованное управление заданиями;

- пост/пре доставка файлов на исполнительный узел;

- пересылка стандартных файлов на компьютер, с которого произведен запуск задания;

- мониторинг задания;

- установка зависимостей между заданиями;

- автоматическое восстановление задания после сбоя СУПО или исполнительного узла (перезапуск с контрольной точки);

- гарантированное выделение ресурсов, требующихся заданию при исполнении, и контроль лимитов ресурсов.

Процесс диспетчеризации в СУПО производит распределение заданий по исполнительным узлам в соответствии с некоторой политикой, которая зависит от конкретной установки и реализуется средствами конфигурирования. Диспетчеризация решает две задачи - временную и пространственную. Первая - это порядок, в котором задания будут запускаться на счет. ОС работают в режиме разделения времени, и все введенные команды с разу запускаются. Такой режим годится для коротких интерактивных задач с характерным временем ответа порядка секунды. Временная диспетчеризация пакетных заданий учитывает, что параллельный счет нескольких задач вычислительного характера ведет к удлинению времени завершения каждой из них, накладным расходам на свопинг и переключение процессов. Поэтому в СУПО ввод задания пользователем и запуск его на счет могут быть разделены значительным временным интервалом. В период ожидания задание находится в спуле [3]. Под пространственной диспетчеризацией заданий понимают размещение их по исполнительным узлам вычислительного комплекса.

Рассмотрим особенности последних версий наиболее распространненых СУПО. Информация, предо-

ставленная о каждой из СУПО, основывается на данных, опубликованных на официальных сайтах разработчиков. По каждой из СУПО ссылки на «полезные» сайты будут указаны при описании конкретной системы.

2.1. Platform LSF

Platform LSF (Load Sharing Facility) разработана компанией Platform Computing Corporation. LSF - это решение в отрасли управления высокопродуктивными вычислительными системами для планирования пакетной и интерактивной нагрузки для вычислительно емких и больших по объему данных приложений для кластеров и grid-систем. Разработка для крупномасштабных, сложных и критических высокопродуктивных вычислительных систем. Она позволяет:

- максимизировать использование существующей IT-инфраструктуры таким образом, чтобы было выполнено как можно больше заданий с наименьшими затратами ресурсов;

- повысить пользовательскую производительность, давая возможность выполнить больше заданий в единицу времени;

- выполнять задания быстрее и с более высоким качеством, получая более надежные результаты.

Система также поддерживает работу с внешним планировщиком Maui.

Эффективность работы LSF более наглядно показана на рис. 2 [4].

Более подробную информацию можно найти официальном сайте продукта www.platform.com. А также по ссылкам [4, 5].

Time Time

Рис. 2. Эффективность работы LSF

2.2. Windows Compute Cluster Server

Это линейка программных продуктов от Microsoft Corparation для управления высокопродуктивными вычислениями (High Performance Computing, НРС). Первая реализация получила название Windows Compute Cluster Server 2003, следующая, наиболее свежая на данный момент версия - Windows HPC Server 2008. Она делает возможности высокопроизводительных вычислительных систем общедоступными, повышает эффективность работы пользователей и облегчает задачу администратора кластера. Windows HPC Server 2008 позволяет достичь максимальной продуктивности работы с HPC-системами за счет интеграции с остальной инфраструктурой организации, а также увеличить скорость вычислений на 30 % по сравнению с предыдущей версией решения - Windows Compute Cluster Server 2003.

При создании Windows HPC Server 2008 особое внимание было уделено аспектам управления системами, системе хранения, планирования заданий, сетевой подсистеме и Microsoft MPI (Message Passing Interface). Основными особенностями Windows HPC Server 2008, которые позволяют эффективно использовать систему на кластерах с большим количеством узлов, являются новая высокоскоростная технология NetworkDirect RDMA, эффективные и масштабируемые инструменты управления кластером, сервисноориентированная архитектура (SOA) планировщика заданий и полная совместимость за счет соответствия спецификации High Performance Computing Basic Profile (HPCBP), предложенной Open Grid Forum (OGF). Более подробная информация по ссылкам [6-8] и на официальном сайте компании http://www.micro-soft.com/hpc.

2.3. PBS

Portable Batch System (PBS) - система, которая в процессе развития была «разбита» на две ветви: бесплатную версию OpenPBS и коммерческое решение PBS Professional (PBS Pro). На основе OpenPBS создана усовершенствованная версия TORQUE (Terasca-le Open-source Resource and QUEue Manager), разработанная Cluster Resources Inc..

OpenPBS - первоначальная версия Portable Batch System, система организации очередей, разработанная для NASA в начале 1990-х. OpenPBS оперирует с UNIX-системами.

Важнейшим достоинством системы OpenPBS является достаточно удобная и эффективная поддержка вычислительных узлов разной конфигурации и архитектуры. Система OpenPBS обеспечивает управление

выполнением заданий на широком наборе конфигу-раций вычислительных узлов:

- на рабочих станциях с режимом разделения времени между задачами;

- на многопроцессорных системах как SMP, так и MPP архитектур;

- на кластерных системах с одним или несколькими процессорами на вычислительных узлах;

- на произвольных комбинациях перечисленных выше систем.

Кроме этого, следует отметить простоту и удоб-ство работы с диспетчерской системой как для администратора системы, так и для конечных пользователей [9].

Однако на данный момент последняя и действующая до сих пор версия датирована 2001 годом.

В то же время, усовершенствованная и обновленная 1200 патчами версия TORQUE наиболее свежую реализацию выпустила в январе 2010, v. 2.4.4.

TORQUE - это менеджер ресурсов с открытым ко -дом, обеспечивающий управление пакетными заданиями и распределенными вычислительными ресурсами. Он может быть интегрирован с Moab Workload Manager и планировщиком Maui.

В отличие от предыдущих двух версий, PBS Pro является коммерческой. Особенностью последней версии (v. 10.0) является возможность принимать, отклонять или изменять наступающее действие в определенных точках при выполнении PBS Pro, что обеспечивает фильтрацию заданий без изменения исходного кода.

Более подробную информацию об OpenPBS, PBS Pro и TORQUE можно прочитать по ссылкам [10-14].

2.4. Condor

Condor - специализированная система управления распределения заданий, требующих объемных вычислений. Подобно другим пакетным системам, Condor обеспечивает механизм организации очереди заданий, политику планирования, приоритетную схему, мониторинг ресурсов и управление ресурсами. Пользователи представляют их последовательные или параллельные задания системе Condor, она размещает их в очередь, выбирает, когда и где выполнить задания, основанные на политике, тщательно контролирует их продвижение и, в конечном счете, сообщает пользователю о завершении.

Особенностью системы Condor является возможность использования для управления кластера из специализированных вычислительных узлов, к примеру, кластера «Beowulf». Кроме того, уникальные механизмы дают возможность системе Condor

эффективно использовать незадействованную мощность центрального процессора настольных рабочих станций. Например, Condor может быть сконфигурирован таким образом, чтобы использовать компьютеры, когда клавиатура и мышь простаивают. Если Condor обнаруживает, что компьютер больше не доступен (к примеру, была нажата клавиша клавиатуры), Condor отмечает контрольную точку и перемещает задание на другой компьютер, который простаивает. Condor не требует файлов с общим доступом: он может пересылать файлы данных задания от имени пользователя, или может переадресовать запросы ввода-вывода всех заданий назад на предоставленный компьютер. Таким образом, Condor может использоваться для объединения вычислительной мощности всей организации в один ресурс [15]. Более подробную информацию можно найти на сайте http:// www.cs.wisc.edu/condor/.

2.5. SGE

Sun Grid Engine (SGE) - система управления распределенными ресурсами, разработанная для максимизации использования ресурсов, учитывающая входящую нагрузку доступных ресурсов, согласно требованиям к нагрузке и ценовой политике. Особенностью системы, по сравнению с аналогичными системами, является поддержка очень большого количества платформ и операционных систем. SGE -это программный продукт, разработанный компанией Sun Microsystems, Inc.. Однако с 27 января 2010 г. данный продукт является собственностью компании Oracle Corp., купившей компанию Sun. Более подробно можно прочитать на сайте http://www.oracle. com/us/sun/index.htm

В последней версии SGE (v. 6.2, update 5, январь 2010 г.) реализована возможность распределять приложения, чувствительные к топологии центрального процессора (ЦП), увеличивая производительность и сокращая время выполнения, в некоторых случаях, более чем на 50 %.

Сегодня Sun Grid Engine 6.2 поднимает планку масштабируемости, производительности и простоты управления. В числе новых функций можно также отметить следующие:

- мульти-кластеризация и Service Domain Manager - позволяет достичь гибкости хостов;

- улучшенное резервирование - запрос и резервирование ресурсов сети заранее;

- масштабируемость - до 63 000 ядер/процессоров;

- поддержка распараллеливания задач по тысячам ядер ЦП [16].

Более детальную информацию можно найти по ссылкам [17, 18].

2.6. LoadLever

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Tivoli Workload Scheduler LoadLeveler - система планирования параллельных заданий, которая позволяет пользователям выполнять задания быстрее, согласно требованиям каждого задания и приоритетам с учетом доступных ресурсов, таким образом максимизируя использование ресурса. LoadLeveler также обеспечивает восстановление выполнения задания с контрольной точки и предлагает детальный учет использования системы для корректировки балансировки нагрузки с наилучшими показателями.

Задания, предоставленные LoadLever, не обязательно выполняются в порядке поступления. LoadLe-ver распределяет задания, основываясь на их приоритете, требованиях ресурсов и определенных инструкциях. Например, администраторы могут определить, что время выполнения задания превысило ожидаемое, и сменить приоритетность некоторых пользователей или групп. Кроме того, сами ресурсы строго контролированы: личные компьютеры могут использоваться в ограниченных пределах времени или использоваться только, когда клавиатура и мышь неактивны.

LoadLever обеспечивает интерфейс как при помощи командной строки, так и графический интерфейс в дополнение к API. LoadLever также проводит мониторинг существующих компьютеров, чтобы не распределить задание на неисправный компьютер. Более подробная информация по ссылкам [19-22].

2.7. MOSIX

MOSIX - система управления, предназначенная для высокопродуктивных вычислений на x86 Linux-кластерах, мультикластерах и облачных вычислений. MOSIX поддерживает как интерактивные параллельные процессы, так и пакетные задания. Она включает автоматическое обнаружение ресурса и динамическое распределение нагрузки, как правило, для многопроцессорных компьютеров.

С 2002 по 1 марта 2008 года существовала еще одна реализация - бесплатная версия с открытым ко -дом - OpenMOSIX. Это система была использована многими пользователями и разработчиками, однако на данный момент можно скачать только ее первоначальную версию на сайте http://openmosix.sourcefor-ge.net/, позволяющую объединить обыкновенные компьютеры в кластер. Более подробную информацию об уже закрывшемся на данный момент проекте

OpenMOSIX можно найти на сайте http://www.open-mosix.org/.

Вернемся к описанию существующей на данный момент реализации. MOSIX реализована как слой программного обеспечения, позволяющего приложениям работать на удаленных узлах как на локальных. Пользователи могут запустить последовательное и параллельное приложение на одном узле, в то время как MOSIX, автоматически найдя ресурсы, переместит процессы для выполнения на других узлах. Нет никакой надобности изменять или компилировать приложения с какой-либо библиотекой, копировать файлы или входить в систему удаленных узлов, или распределять процессы на различные узлы - это все сделано автоматически. Миграция контролируется целым набором алгоритмов, которые контролируют состояние ресурсов и пытаются улучшать общую производительность динамическим распределением ресурсов, например балансировкой нагрузки.

Уникальная особенность MOSIX в том, что он оперирует на уровне процессов, в отличие от других систем, которые оперируют на уровне заданий. Это означает, что система перераспределяет нагрузку, когда число процессов задания (и/или их спрос) изменяется (используется «fork» и «exit»), что особенно полезно для параллельных заданий. Более подробную информацию можно найти на официальном сайте компании http://www.mosix.org/.

3. ВНЕШНИЙ ПЛАНИРОВЩИК MAUI

С развитием grid-технологий вопросу управления распределенными вычислительными системами уде -ляется огромное внимание. И как показали исследования, на данный момент одним из наиболее перспективных (в силу эффективности достижения результатов) алгоритмов, позволяющих производить планирование нагрузки вычислительной системы, является алгоритм Backfill. Данный алгоритм реализован в составе внешнего планировщика Maui, который во многом именно благодаря этому алгоритму стал очень распространенным.

Maui - планировщик заданий с открытым кодом для использования в кластерах и суперкомпьютерах. Он улучшает управляемость и эффективность компьютеров, начиная с кластеров с несколькими процессорами и заканчивая мульти-терафлопсными суперкомпьютерами.

Преимущества Maui:

- оптимизация использования ресурсов дополнительно на 35 %;

- концентрация ресурсов на приоритетах организации;

- управление трудностями совместного использования и планированием использования общедоступных ресурсов;

- гарантированное качество сервисных гарантий;

- предписание политики использования.

Поддерживает следующие операционные системы:

Linux, AIX, OSF/Tru-64, Solaris, HP-UX, IRIX, FreeBSD. Также поддерживает следующие СУПО: TORQUE, Open PBS, PBSPro, SGE, LoadLeveler, LSF, Bproc/ Scyld, SSS-RM. Более подробную информацию можно найти на сайте www.clusterresources.com и по ссылке [23].

Одной из новейших разработок, основанных на базе Maui, является программное обеспечение, разработанное Cluster Resources Inc. - Moab Workload Manager. Более подробную информацию можно найти по ссылке [24]. Отметим следующие особенности данного продукта в аспекте совместимости. MOAB поддерживает следующие операционные системы: Linux, Mac OS X, Windows, AIX, OSF/Tru-64, Solaris, HP-UX, IRIX, FreeBSD и другие UNIX-платформы. Также поддерживает следующие СУПО: TORQUE Resource Manager, OpenPBS, PBSPro, Sun Gridengine (SGE), SGE Enterprise Edition (SGEE), LoadLeveler, LSF, BProc/Scyld, Scalable System Software (SSS-RM), или Quadrics RMS.

Хотя MOAB имеет значительные преимущества относительно Maui (более подробно можно прочитать по ссылке [25]), на данный момент более распространенным является пока еще планировщик Maui. Возможно, на данном этапе развития это лишь вопрос времени. Сейчас уже существует механизм перехода от использования планировщика Maui к использованию MOAB. Процедура перехода детально описана в [26].

Учитывая все приведенные выше данные и информацию, взятую из указанных выше источников, построим сводную таблицу (см. табл. 1) с указанием сравнительных характеристик рассмотренных в данной статье СУПО и отобразим в ней их взаимосвязь с внешним планировщиком Maui.

ВЫВОДЫ

Таким образом, в данной статье проанализированы наиболее распространенные СУПО. Также приведены краткие характеристики систем и ссылки на источники интернет-ресурсов, по которым можно найти более подробную информацию об интересующей системе или скачать предоставляемое ПО.

Однозначного ответа, какая из СУПО лучше, найти невозможно, поскольку для каждого конкретного случая будет индивидуальный ответ в зависимости от

ел

о

Таблица 1. Сравнительная характеристика СУ ПО

' ■—- СУПО Показатели ~— ____ Platform I.SF Windows Compute Cluster Server 2008 TORQUE OpenPBS PBS Pro Condor SGE I.oadl^vcr MOSIX

Огкрытый код - - + - - + + - -

Бесплатное использование в некоммерческих целях - - + + - + + - -

Подцержка Шьх-платформ + - + + + + + + +

Поддержка \Viiidows - + - - + + + - -

Поддержка МР1 + +, MS-MP1 + 4- + + + +

Восстановление выполнения задания после сбоя + + + - + + + + +

Миграция заданий - - - - + + + + +

Поддержка Маш + - + + + - + + -

Производитель Platform Computing Corporation Microsoft Corp. Cluster Resources Inc. Altair Engineering, Inc. Altair Engineering, Inc. The Condor Team Sun Micros)'stems, Inc.* IBM Corp. A. Barak

Дата и номер последней версии 2009, LSF 7 2008, Windows HPC Server 2008 Январь. 2010, v.2.4.4 Июнь, 2001 v.2.3.16 Июль,2008 v.10.0 Январь, 2010, v.7.5.0 Январь, 2010, v.6.2, update? І Іоябрь, 2009, v.4.1 Январь. 2010 v.2.28.0.0

Опыт фирмы в отрасли 17 лет 7 лет 4 лет 20 лет 20 лет 18 лет 16 лет 5 лет 27 лет

*С 27 января 2010 г. владельцем SGF. является компания Oracle Corp., выкупившая компанию Sun Microsystems, Inc.

ПРОГРЕСИВНІ ІНФОРМАЦІЙНІ технологи

требований, предъявляемых системе. Поэтому в статье построена сводная таблица для исследуемых СУПО, в которой указаны основные характеристики, влияющие на выбор той или иной СУПО.

Также в работе очерчено место и значение СУПО для grid-систем и при использовании их на локальном уровне.

Результаты проведенного анализа систем управления заданиями позволяют получить сравнительную характеристику исследуемых систем и сократить время, потраченное на выбор СУПО, для специалистов и начинающих специалистов в области высокопродуктивных вычислений, а также получить более подробную информацию о конкретной СУПО по приведенным ссылкам и предоставленным сведениям, особенно с точки зрения новизны версий и действия СУПО на данный момент (январь 2010 г.).

СПИСОК ЛИТЕРАТУРЫ

1. Организация доступа для пользователей в grid (Труды

XVI Всерос. научно-методич. конф. «Телемати-

ка’2009») [Электронный ресурс] / Ла Мин Хтут // Сборник трудов - 2009. - Режим доступа: http://tm.ifmo.ru/ tm2009/src/180ds.pdf.

2. Метод опережающего планирования для грид [Электронный ресурс] / В. Н. Коваленко, Е. И. Коваленко, Д. А. Корягин, Э. З. Любимский // Препринт ИПМ. -2005. - № 112. - Режим доступа: http://www.keldysh.ru/ papers/2005/prep112/prep2005_112.h1ml. - Загл. с экрана.

3. Пакетная обработка заданий в компьютерных сетях [Электронный ресурс] / Е. И. Коваленко, В. Н. Коваленко // Открытые системы. - 2000. - Режим доступа: http://www.osp.ru/os/2000/07-08/178074/. - Загл. с экрана.

4. The industry-leading high performance computing solution [Электронный ресурс] // Официальный сайт компании Platform Computing Corporation - Режим доступа: http://www.platform.com/workload-management/high-per-formance-computing. - Загл. с экрана.

5. Platform LSF 7 Update 6. An Overview of New Features for Platform LSF Administrators [Электронный ресурс] / / Официальный сайт компании Platform Computing Corporation - 2009. - Режим доступа: http://www.plat-form.com/workload-management/whatsnew_lsf7u6.pdf. -Загл. с экрана.

6. Microsoft Windows Compute Cluster Server 2003 [Электронный ресурс] // Руководство пользователя - 2006. -Режим доступа: https://msdb.ru/Downloads/WindowsSer-ver2003/CCS/CCS2003_Guide_Rus.pdf. - Загл. с экрана.

7. Оптимизация рабочего процесса [Электронный ресурс] // Официальный сайт компании Microsoft Corp. в России. - Режим доступа: http://www.microsoft.com/rus/ hpc/#datasheets. - Загл. с экрана.

8. Microsoft представила в России Windows HPC Server 2008 [Электронный ресурс] // Официальный сайт компании Microsoft Corp. в России - 2008. - Режим доступа: http://www.microsoft.com/rus/news/issues/2008/11/ hpcserver.mspx. - Загл. с экрана.

9. Букатов А. А. Программирование многопроцессорных систем / А. А. Букатов, В. Н. Дацюк, А. И. Жегуло. -Ростов-на-Дону : Издательство ООО «ЦВВР», 2003. -208 с.

10. TORQUE Resource Manager Guide [Электронный ресурс] // Официальный сайт компании Cluster Resources Inc. - Режим доступа: http://www.clusterresources.com/ products/torque-resource-manager.php. - Загл. с экрана.

11. PBS Works [Электронный ресурс] // Официальный сайт компании Altair Engineering, Inc. - Режим доступа: http://www.pbsworks.com/. - Загл. с экрана.

12. PBS Works 10 Enabling On-Demand Computing [Электронный ресурс] // Официальный сайт компании Altair Engineering, Inc. - 2009. - Режим доступа: http://www. pbsgridworks.com/images/solutions-en-US/PBS_10.2High-lights_letr_REVISE-WEB.pdf. - Загл. с экрана.

13. Commercial-grade HPC workload and resource management [Электронный ресурс] // Официальный сайт компании Altair Engineering, Inc. - Режим доступа: http:// www.pbsgridworks.com/Product.aspx? id=1. - Загл. с экрана.

14. Resource Library [Электронный ресурс] // Официальный сайт компании Altair Engineering, Inc. - Режим доступа: http://www.pbsgridworks.com/ResLibSearchRe-sult.aspx? keywords=openpbs&industry=All&product_ser-vice=All&category=Free%20Software%20Downloads&or der_by=date_submitted. - Загл. с экрана.

15. What is Condor? [Электронный ресурс] // Официальный сайт продукта Condor - Режим доступа: http:// www.cs.wisc.edu/condor/description.html. - Загл. с экрана.

16. Sun Grid Engine 6.2 - что Opensource может сделать для Вас? [Электронный ресурс] / B. Porras // Личная страница пользователя - Режим доступа: http://blogs. sun.com/bobp/entry/sun_grid_engine_ru. - Загл. с экрана.

17. Sun Grid Engine 6.2 Update 5 [Электронный ресурс] // Официальный сайт компании Oracle Corp. - Режим доступа: http://www.sun.com/software/sge/index.xml. -Загл. с экрана.

18. Sun Grid Engine [Электронный ресурс] // Википедия -Режим доступа: http://ru.wikipedia.org/wiki/Sun_Grid_ Engine. - Загл. с экрана.

19. IBM Tivoli Workload Scheduler LoadLeveler [Электронный ресурс] // Официальный сайт компании «Интерфейс» - 2007. - Режим доступа: http://www.interface.ru/ home.asp?artId=6283. - Загл. с экрана.

20. Tivoli Workload Scheduler LoadLeveler library [Электронный ресурс] // Официальный сайт компании IBM Corp. - Режим доступа: http://publib.boulder.ibm.com/in-focenter/clresctr/vxrx/index.jsp?topic=/%20com.ibm.clus-ter.loadl.doc/llbooks.html. - Загл. с экрана.

21. Tivoli Workload Scheduler LoadLeveler. Using and Ad-

ministering [Электронный ресурс] // Официальный сайт компании IBM Corp. - 2009. - Режим доступа: http://publib.boulder.ibm.com/epubs/pdf/c2366810.pdf. -

Загл. с экрана.

22. Tivoli Workload Scheduler LoadLeveler [Электронный ресурс] // Официальный сайт компании IBM Corp. -Режим доступа: http://www-03.ibm.com/systems/clusters/ software/loadleveler/index.html. - Загл. с экрана.

23. Maui Scheduler Administrator’s Guide [Электронный ресурс] // Официальный сайт компании Cluster Resources Inc. - Режим доступа: http://www.clusterresources.com/ products/maui/docs/index.shtml. - Загл. с экрана.

24. Moab Workload Manager [Электронный ресурс] // Официальный сайт компании Cluster Resources Inc. - Режим доступа: http://www.clusterresources.com/products/ moab-cluster-suite/workload-manager.php. - Загл. с экрана.

25. Maui Scheduler Administrator's Guide. Appendix K: Ma-ui-Moab Differences Guide [Электронный ресурс] // Официальный сайт компании Cluster Resources Inc. -Режим доступа: http://www.clusterresources.com/products/ maui/docs/a.kmoabcomp.shtml. - Загл. с экрана.

26. Moab Workload Manager Administrator’s Guide. Appen-

dix K: Migrating from Maui 3.2 [Электронный ресурс] // Официальный сайт компании Cluster Resources Inc. -Режим доступа: http://www.clusterresources.com/pro-

ducts/mwm/docs/a.kmauimigrate.shtml. - Загл. с экрана.

Надшшла 11.08.2009

Юрич М. Ю.

АНАЛІЗ СИСТЕМ УПРАВЛІННЯ ЗАВДАННЯМИ В КОНТЕКСТІ GRID

У даній статті проводиться аналіз найбільш поширених, що діють на цей час, систем управління пакетної обробки завдань (СУПО). Наведено безліч посилань на Інтернет-ре-сурси, за якими можна знайти більш детальну інформацію про ту чи іншу СУПО. У результаті проведеного аналізу побудовано зведену таблицю, що відображає порівняльну характеристику розглянутих СУПО, а також їх взаємозв’язок з поширеним на цей час зовнішнім планувальником завдань Maui. Також визначено місце СУПО у складі програмного забезпечення grid-систем і при використанні на локальному рівні.

Ключові слова: система управління пакетної обробки завдань, проміжне програмне забезпечення, grid-система, балансування навантаження, планувальник, завдання.

Yurich M. Yu.

ANALYSIS OF JOB MANAGEMENT SYSTEMS IN THE CONTEXT GRID

In this article analysis of the most common and active at the moment Resource Management Systems (RMS) is presented. We give a lot of references to Internet-resources by which you can find more information about those RMS. As a result a summary table has been compiled that shows comparative characteristics of the considered RMS and their relationship with the currently used Maui external job scheduler. RMS position in the grid-systems software is determined and when used at the local level.

Key words: Resource Management System, middleware, grid system, load balancing, scheduler, job.

i Надоели баннеры? Вы всегда можете отключить рекламу.