CC BY
124
УДК 53:002
И. В. Шогимина, А. В. Богданов
ИСПОЛЬЗОВАНИЕ GRID-ТЕХНОЛОГИ Й ДЛЯ ПРОВЕДЕНИЯ ВЫЧИСЛЕНИЙ
Введение. Усилия по объединению компьютерных ресурсов для проведения совместных вычислений предпринимаются мировым сообществом с 90-х годов прошлого столетия. Сначала объединяли гомогенные системы в пределах одной локальной среды, потом осуществлялись попытки интеграции гетерогенных систем в локальной сети на высокоскоростных коммуникациях. В настоящее время на основе технологий Grid могут быть созданы наиболее развитые, универсальные, распределенные вычислительные среды. Grid-технологии позволяют интегрировать разобщенные компьютерные ресурсы, принадлежащие разным организациям, обладающие разной мощностью и разбросанные по всему миру, а также предоставляют возможность использования в качестве коммуникаций сетей общего назначения, таких, как Интернет.
В обзоре мы постараемся охватить максимально широко спектр существующих разновидностей Grid-систем. Grid-технологии—столь новая и динамично развивающаяся отрасль науки, что терминология в ней еще не устоялась, а применяемые классификации Grid-инфраструктур разнообразны и многогранны.
Под термином «Grid» подразумевается «согласованная, открытая и стандартизованная среда, обеспечивающая гибкое, безопасное, скоординированное раздельное использование разнообразных компьютерных ресурсов виртуальными организациями» (цитируется по Фостеру Я., Кессельману К. [1, 2]). Виртуальные организации есть свободные сообщества пользователей, объединенных едиными научными или инженерными задачами, действующие в соответствии с некоторыми заданными правилами. Классическое определение было дано столь широко, что его трактуют весьма свободно. По этой причине Я. Фостер попытался его сузить, сформулировав три критерия Grid [3, 4]:
• Grid должен координировать использование ресурсов при отсутствии централизованного управления;
• Grid должен использовать стандартные, открытые и универсальные протоколы и интерфейсы;
• Grid должен обеспечивать высококачественное обслуживание.
Предложенные критерии скорее выражают пожелания, каким Grid должен стать в будущем. На данный момент ни в одном из существующих Grid-сегментов не обеспечивается выполнение всех этих требований в полной мере.
С точки зрения функциональности, Grid-сервисы должны поддерживать следующие области: управление заданиями, управление размещением данных пользователей, организация служебной информации, решение вопросов безопасности (в том числе поддержка виртуальных организаций), поддержка сред выполнения приложений.
© И. В. Шошмина, А. В. Богданов, 2007
Многие вопросы организации вычислений и хранения данных существовали и до появления технологии Grid. Именно согласованное взаимодействие служб из разных областей при выполнении задач управления средой обеспечивает полную функциональность Grid и характеризует его как Grid, т. е. это необходимое условие для полноценной Grid-инфраструктуры.
1. Типы приложений, выполняемых на Grid. Вычислениями на Grid-инфраструктурах занимается множество проектов во всем мире. Grid позволяет пользователям получить доступ к дополнительным ресурсам без организационных проволочек. Раньше для доступа к ресурсам сторонней организации исследователям требовалось пройти согласования на самых разных уровнях, что занимало несколько месяцев. При использовании Grid-технологий можно получить доступ к ресурсам множества сторонних организаций в течение нескольких дней. Grid упрощает построение доверительных отношений между пользователями и организациями. Естественно, что подобная доступность ресурсов заинтересовала многих исследователей. Спектр приложений, выполняемых в Grid-инфраструктурах, достаточно широк. Он включает в себя самые разнообразные области знаний: геофизику, фармацевтику, климатические исследования, химию, молекулярную физику, астрофизику, машиностроение, авиастроение и т. д.
Процесс вычислений, передача входных и выходных данных, перемещение приложений на удаленные сайты, аутентификация на них, выбор ресурсов и прочие операции, происходящие с приложением, скрыты от пользователя. В Grid-инфраструктурах организация вычислений на гетерогенных вычислительных ресурсах не требует привлечения человека.
Вопрос, какого сорта приложения выполняются или могут выполняться на Grid, весьма дискуссионный. Здесь мы опишем классификацию приложений, впервые приведенную в работе [5], которая, исходя из нашего практического опыта, наилучшим образом отражает типы приложений, выполняемых в Grid-среде. Итак, на сегодняшний день в Grid можно выделить пять основных типов приложений, которые отличаются по требованиям к ресурсам и организации обслуживания.
Первый тип приложений - приложения, выполняемые на удаленном сайте—известны в распределенных вычислениях уже достаточно давно. Приложения этого типа потребляют значительные (необходимые) вычислительные ресурсы на удаленном сайте. До появления Grid пользователь должен был самостоятельно принять решение, на каких ресурсах он будет выполнять приложение, идентифицироваться и аутентифицироваться на удаленном сайте, запустить задачу через локальную систему управления заданиями, вручную передать входные и результирующие файлы с помощью scp, ftp и т. д. Grid упрощает эту работу, предоставляя единый интерфейс ко всему разнообразию систем, обеспечивая автоматизированные средства организации доступа, мониторинга, передачи данных. В результате использования Grid-технологий для приложений, запускаемых однократно на удаленном сайте, повышается доступность ресурсов, управляемость выполнения заданий, а также производительность вычислений.
В науке и промышленности зачастую требуется проведение параметрических исследований. В параметрических приложениях изучается влияние входных параметров на результаты численных экспериментов. Примерами подобных приложений могут послужить оценка вариантов дизайна нового продукта или вычисление воздушных потоков, основанных на различных предсказаниях погоды. Запуск нескольких копий одного и того же приложения с разными входными параметрами осуществляется в Grid-инфраструктуре одновременно, так как в ней одновременно доступно множество ресурсов, удовлетворяющих
требованиям приложения. К этому же типу можно отнести приложения с пакетной обработкой. Таким образом, для приложений данного типа Grid позволяет сократить общее время вычислений. При параметрических исследованиях значимой является высокая пропускная способность каналов для передачи данных и мониторинга.
Приложения, построенные на потоке заданий, хорошо известны в промышленности. Эти приложения состоят из нескольких модулей, отличающихся как по вычислительным характеристикам, так и по требованиям к компьютерным ресурсам. Часть модулей может выполняться одновременно, а часть - последовательно. Выходные данные модуля или группы модулей могут служить входными данными для последующих модулей. Для подобных приложений строятся потоки заданий - потоки перемещения данных в зависимости от связей между модулями. Например, количество выпадающих осадков, прогнозируемое в метеорологических моделях, является входным параметром для гидрологических моделей, определяющих сток дождевой воды в реки; результаты гидрологических моделей используются в качестве входных данных для моделирования, связанного с распространением воды по территории. В сложных приложениях отдельные потоки выполняются параллельно, переходы от потока к потоку осуществляются по условию или с некоторой вероятностью. Использование Grid для приложений с потоками заданий позволяет найти ресурсы, которые наиболее удовлетворяют как требованиям отдельных модулей, так и всего приложения в целом.
Типичные приложения с интенсивной обработкой данных требуют доступа (или генерируют его сами) к огромным наборам данных, сохраняемым в файлах и базах данных. Для производительности вычислений этих приложений наиболее критична эффективность доступа к данным. Для них предпочтительнее начать работу на слабом узле, который, однако, имеет хорошую связь с сервером хранения. В этом случае Grid, обеспечивая поиск, занимается организацией хранения данных, включая резервное копирование и синхронизацию версий. Наиболее яркими примерами таких приложений служат обработка результатов физических и численных экспериментов на боль-‘шом адронном коллайдере в CERN или генетические исследования, где общие объемы данных достигают десятков петабайт информации. Отметим, что до распространения Grid-технологий исследования в подобных масштабах вообще не были доступны человечеству, т. к. только распределенные компьютерные среды позволяют работать с такими объемами информации.
Наиболее сложные с точки зрения организации вычислений и пока слабо внедренные в Grid приложения - это метакомпъютерные приложения. Они требуют больших вычислительных мощностей, чем доступно или может быть доступно на единичном сайте. Для таких приложений Grid предоставляет виртуальный высокопроизводительный компьютер (метакомпьютер). Процессы приложения запускаются одновременно на нескольких сайтах и активно взаимодействуют друг с другом. Программирование подобных приложений требует гибкой, динамической адаптации к колебаниям латентности и широты пропускания каналов между сайтами, свойственным сетям общего доступа. В США и Европе проводятся проекты по созданию высокоскоростных сетей (с широтой пропускания 30-40 Гбит в секунду), которые будут использоваться для высокопроизводительных научных и промышленных вычислений.
2. Разновидности Grid. Grid-инфраструктуры различаются по организации структуры, по типу управления, по режиму эксплуатации и по классам обслуживаемых приложений. Из-за отсутствия глубокой проработки классификации и сложности предмета грань между отдельными разновидностями Grid нередко бывает размыта.
По организации Grid-инфраструктур можно выделить следующие классы: иерархический Grid и одноранговый Grid. В инфраструктуре первого разделяются службы локального управления (управление отдельных узлов или сайтов в Grid), и глобального (управление Grid как единым целым). В иерархическом Grid службы, связанные с организацией общего управления, сосредоточены на специальных, отдельно выделенных компьютерных системах. Наиболее развитые и управляемые Grid инфраструктуры, охватывающие большое количество сайтов и эксплуатирующиеся в режиме постоянной вычислительной нагрузки, относятся именно к этим разновидностям.
Одноранговые Grid (например, peer-to-peer Grid) состоят из множества равноправных узлов, не различающихся (или почти не различающихся) по выполняемым функциям. Каждый отдельный сайт хранит информацию о нескольких других сайтах. В таких Grid надежность и устойчивость инфраструктуры чрезвычайно высока, т. е. сбой одного или нескольких узлов никак не отражается на общей работоспособности. Инфраструктура автоматически меняет конфигурацию, учитывая пришедший в негодность узел. На данное время уровень контроля и управляемости, а также функциональность одноранговых сетей ниже, чем иерархических. На сегодняшний день одноранговые сети, как правило, направлены на выполнение одного конкретного приложения. Однако в будущем, принимая во внимание активность исследований в этом направлении, одноранговые Grid займут свое законное место в области распределенных вычислительных сред.
Тесно переплетаются с типами организации инфраструктур типы управления Grid: централизованный и децентрализованный. В случае централизованной реализации существуют точки концентрации глобальных сервисов Grid. С одной стороны, они позволяют обеспечивать простое управление, но, с другой стороны, они же являются и слабыми местами инфраструктуры, незащищенными от сбоев, возникающих при больших нагрузках. Децентрализованный вариант Grid обладает более высокой степенью надежности, чем централизованный. Он требует применения более сложных алгоритмов для управления и обеспечения отказоустойчивости Grid. Время обслуживания запросов в децентрализованных инфраструктурах несколько возрастает.
По режиму эксплуатации разделяют экспериментальные Grid (Grid testbed) и Grid, находящиеся под реальной вычислительной нагрузкой (production Grid), или производственные Grid.
Создание всякой Grid-инфраструктуры начинается с экспериментального сегмента Grid. В таких Grid программное обеспечение промежуточного уровня (middleware), обеспечивающее уровень Grid, или специально разрабатывается под конкретные цели и задачи, связанные с требованиями приложений, или является модифицикацией хорошо известных и распространенных пакетов. Научные приложения, выполняемые в экспериментальных Grid, разнообразны. В качестве примера таких Grid-инфраструктур можно привести CrossGrid [6] и RiDGrid [7], основной целью которых было обеспечение надежной работы интерактивных приложений. В экспериментальных Grid количество ресурсов, как правило, не превышает нескольких сотен процессоров, хотя число ресурсов не является определяющим при отнесении к этому типу Grid. Гораздо более значимы требования, предъявляемые к качеству обслуживания, а также поддержка предыдущих версий и постоянное обновление активной версии ПО промежуточного уровня.
Количество Grid сегментов, находящихся под реальной вычислительной нагрузкой (производственных Grid) в мире невелико: например, EGEE, OSG, DEISA, TeraGrid, NorduGrid [8]. Истоки развития производственных Grid лежат в области задач физики высоких энергий. Производственные Grid работают двадцать четыре часа в сутки семь
дней в неделю и включают в себя несколько тысяч процессоров. В них, в отличие от экспериментальных сегментов, предъявляются жесткие требования к поддержке работоспособности локальных Grid-сайтов. Например, в EGEE системный администратор обязан устранить неполадку в течение двух дней, иначе возможно применение санкций против сайта. В производственных Grid выше и требования к качеству программного обеспечения. Решения на уровне промежуточного программного обеспечения должны быть легко переносимы на разные платформы, масштабируемы, устойчивы к сбоям на различных уровнях управления, универсальны по отношению к решаемым задачам, дружественны по отношению к пользователям и системным администраторам.
В современных производственных Grid зачастую вводятся дополнительные ограничения, например, определяются разрешенные для использования операционные системы; предъявляются обязательные требования к характеристикам компьютерных ресурсов, которым должны удовлетворять сайты; контролируются допустимые для выполнения приложения. Это объясняется сложностью управления крупной распределенной средой с гарантированным качеством обслуживания.
Разделяются Grid и по классу обслуживаемых приложений. Несмотря на то, что в первоначальной концепции было объявлено об универсальности Grid-инфраструктур по отношению к выполняемым приложениям, на практике сформировалось два основных типа Grid, связанных с различными вычислительными задачами—Grid данных (Data Grid) и вычислительный Grid (Computational Grid) (например, см. [9]). Grid данных и вычислительные Grid строятся исходя из требований к ресурсам и сервисам Grid тех научных приложений, которые впоследствии будут, в основном, выполняться в этих инфраструктурах. Описанные ранее пять функциональных областей сохраняются, так же, как и базовые Grid-сервисы [10]. Однако проработка и наполнение сервисов каждой отдельной области в реализациях этих типов Grid различна.
В Grid данных, в основном, обслуживаются приложения, интенсивно обрабатывающие данные, которые используются в физике высоких энергий, биоинформатике, астрономии и пр. В подобных Grid обычно имеется развитая подсистема управления данными, поддерживающая доступ к большому количеству разных типов локальных хранилищ (HPSS, UniTree, DMF), и обеспечивающая распределенное дублирование, архивирование, синхронизацию версий файлов. Подсистема Grid, связанная с распределением задач по ресурсам, ориентируется при принятии решения в первую очередь на близость расположения данных, необходимых для приложения.
Концепция Grid начинала свое развитие с вычислительных Grid, поэтому разнообразие выполняемых в них приложений шире, чем в Grid данных. В основном, это приложения, выполняемые на удаленных сайтах, и параметрические исследования, т. е. приложения в большей степени зависимые от вычислительных мощностей узлов. В вычислительных Grid можно не поддерживать громоздкую подсистему управления пользовательскими данными, т. к. зачастую их объем незначителен. Для них более значимы все механизмы, связанные с вычислениями, включая надежность и качество решения о выборе соответствующего требованиям задачи ресурса, обработка ситуаций, связанных со сбоями и снижением производительности вычислений, проверка наличия необходимой среды выполнения для приложения и т. п.
3. Крупнейшие мировые Grid-инфраструктуры. Проектов, связанных в той или иной степени с Grid, очень много во всем мире. Некоторые из них направлены на развитие Grid инфраструктур, другие-на разработку программного обеспечения промежуточного уровня и разнообразных средств для управления процессом выпол-
нения приложений, третьи—на адаптацию приложений к работе в Grid и т. д. В этом разделе мы рассмотрим те значимые проекты, которые развивают Grid инфраструктуры относительно универсального применения. Первые два проекта являются крупнейшими в мире по количеству привлеченных ресурсов производственными Grid-инфраструктурами. Классы приложений, запускающихся на них, включают в себя приложения на удаленном сайте, приложения с интенсивной обработкой данных, также ведется работа по запуску параметрических исследований и приложений, построенных на потоке заданий.
Проект Enabling Grids for E-sciencE (EGEE) [11], финансируемый Европейской Комиссией, объединяет более чем 90 институтов в 32 странах мира для создания и эксплуатации гибкой Grid-инфраструктуры, работающей в режиме постоянной нагрузки. Россия входит в EGEE консорциумом RDIG (Russian Data-Intensive Grid) [12], который имеет наиболее развитую Grid-инфраструктуру в нашей стране. В EGEE проводятся работы по улучшению качества программного обеспечения промежуточного уровня, привлечению пользователей с гарантированной поддержкой и обучением, а также по объединению усилий национальных, региональных, тематических проектов в области Grid-технологий. На данной момент в EGEE интегрированы приложения из следующих областей, определяемых общим термином e-science: биомедицина, астрофизика, вычислительная химия, науки о Земле, финансы, мультимедиа. EGEE в настоящее время поддерживает более 20 ООО процессоров, а также обеспечивает доступ к 5 Петабайтам дискового пространства на серверах хранения. Ежедневная загрузка EGEE достигает 20 ООО заданий в день. Основные компьютерные системы EGEE инфраструктуры составляют Linux-кластеры.
Базовым программным обеспечением проекта является LCG/gLite, который использует веб-сервисы для обеспечения уровня Grid. Проект EGEE является наследником проекта LCG, который был посвящен построению Grid для моделирования и обработки экспериментов на большом адронном коллайдере. Эти вычисления генерируют сверхбольшие объемы данных, поэтому разработанный Grid относится к Grid данных—в нем присутствует развитая и обширная система поддержки перемещения данных пользователей. Для отслеживания состояния заданий, запускаемых через ресурс-брокер LCG, используется LCG2 Real Time Monitor.
Open Science Grid (OSG) [13]—национальный проект США по созданию Grid для науки больших масштабов, построенный и поддерживаемый консорциумом американских университетов совместно с Аргоннской национальной лабораторией. OSG является продолжением проекта Grid3, проводившемся Национальным научным фондом США. Консорциум OSG сформирован в 2004 для организации доступа разобщенных сообществ ученых к Grid инфраструктуре общего пользования и разделяемым ресурсам. Ресурсы OSG и график развития сегмента определяется участием в экспериментах с большим адронным коллайдером CERN, находящемся в Женеве в Швейцарии. Другие проекты по физике, астрофизике и биологии также используют эту Grid инфраструктуру. OSG уже включает более 20000 процессоров и непрерывно расширяется.
OSG состоит из двух частей—экспериментальной и производственной. Экспериментальный сегмент Grid называется Integration Grid. Он предназначен для тестирования новых разработок программного обеспечения промежуточного уровня, а также для отладки новых приложений. Производственный OSG обеспечивает стабильную, надежную среду для проверенных приложений. Базовым программным обеспечением является NSF Middleware Initiative (NMI), который включает Condor, Globus, Network Weather Service. NMI поддерживает большое количество ОС, к нему также добавлены дополнительные утилиты в качестве надстроек к NMI, например, Virtual Data Toolkit (VDT).
В последующих двух проектах сосредоточены суперкомпьютерные мощности, объединенные высокоскоростными сетями, поэтому в будущем в них возможна поддержка метакомпьютерных приложений.
TeraGrid [14]—открытая научная Grid-инфраструктура, объединяющая ведущие вычислительные ресурсы девяти сайтов США. Использование высокоскоростных соединений позволяет TeraGrid интегрировать высокопроизводительные компьютеры, ресурсы данных, сервисы, датчики по территории США. Суммарная производительность компьютерных систем достигает 102 терафлопс. 15 петабайтов дискового пространства на системах хранения доступны в режиме он-лайн. При помощи TeraGrid исследователи получают доступ к более чем 100 дисциплинарным базам данных. Организации соединены выделенными оптическими каналами пропускной способностью от 20 до 40 Гбит/с. Национальный центр суперкомпьютерных приложений является одним из основных вычислительных сайтов—мощность установленных в нем Linux-кластеров превышает 10 TFLOPS. Центр Сан-Диего играет роль узла обслуживания данных; он поддерживает сеть хранения емкостью 500 Тбайт. От Питтсбургского суперкомпьютер-ного центра в TeraGrid входит суперкомпьютер TCS-1 мощностью 6 TFLOPS. Аргонн-ская национальная лаборатория обеспечивает визуализацию. В Центре перспективных компьютерных исследований развернута среда сбора и анализа информации на базе сервера Sun. Исследователи могут осуществлять доступ к ресурсам TeraGrid по высокоскоростным сетям, в частности, через магистрали сети нового поколения Abilene.
Инфраструктурный проект DEISA [15], подобно TeraGrid, объединяет национальные суперкомпьютерные центры Европы посредством современных Grid-технологий для обслуживания вычислительных сверхзадач. DEISA является надстройкой над национальными суперкомпьютерными сервисами и сосуществует с ними. Суммарная производительность гетерогенных ресурсов проекта DEISA составляет около 113 Терафлопс. В качестве внешней сети DEISA использует европейскую сеть GEANT и национальные научные сети, которые соединяют суперкомпьютеры (а не сайты) с зарезервированной полосой пропускания. Эти соединения существуют в дополнение к стандартному Интернет. Сейчас на первом этапе коммуникации в 1 Гб/с между четырьмя IBM суперкомпьютерами в Германии, Франции, Италии образуют объединенный суперкластер AIX. В дальнейшем присутствуют планы по модификации европейской сети GEANT до 10 Гб/с, а потом и до 40 Гб/с.
В качестве интеграционной основы для прозрачного доступа к удаленным файлам предлагается использовать глобально распределенную файловую систему. Файлы данных не дублируются на каждом вычислительном узле, они уникальны и разделяются между всеми узлами. Глобальная файловая система обеспечивает симметричный доступ к файлам, т. е. время доступа одинаково для всех узлов. АГХ суперкластер использует IBM GPFS (Global Parallel File System), которая была изменена для работы на WAN. В качестве глобальной системы управления заданиями используется переработанная версия LoadLeveler, позволяющая выполнять межсайтовое распределение задач по ресурсам. Единообразный развитый графический пользовательский интерфейс обеспечивается UNICORE.
Заключение. В статье были систематизированы различные типы современных Grid-инфраструктур: вычислительные Grid и Grid данных, иерархические и одноранговые, централизованные и децентрализованные, экспериментальные и производственные. Мы описали характерные типы приложений в Grid: приложения, выполняемые на удаленных сайтах, приложения с интенсивной обработкой данных, приложения
с потоками заданий, параметрические исследования, метакомпьютерные приложения. В качестве примеров, иллюстрирующих классификацию, приведены те Grid-инфраструктуры, которые оказывают наибольшее влияние на развитие этой отрасли информационных технологий.
Исследования выполнены при частичной поддержке гранта NWO—047.016.007. Summary
Shoshmina I. V, Bogdanov А. V. Using Grid-technologies for computing.
Quantity of publications dedicated to the Grid is growing up continuously in our country and over the world. However the most of them do not give the general presentation of this new field of information technologies. In this paper we tried to systemize different types of modern Grid-infrastructures that exist in practice. Sorts of Grid apllication describe the range of problems executed on real Grids. The classification is illustrated by the considerable world projects directed to developing and deploying Grid infrastuc-tures for distributed computing.
Литература
1. Foster I., Kesselman C., Tuecke S. // International Journal of Supercomputer Applications. 2001. N 15 (3). P. 200-222. 2. Фостер Я., Кессепьман К., ТъюкеС. Анатомия Грид: создание масштабируемых виртуальных организаций / Пер. с англ. Д. А. Корягина//Интернет-портал по Грид-технологиям//http://www.gridclub.ru 3. Foster I. What is the Grid: a three point checklist//Grid Today//http://www.gridtoday.com/gridtoday.html. 4. Фостер Я. Что такое грид? Три критерия / Пер. с англ. И. X. Зусмана // Интернет-портал по Грид-технологиям // http://www.gridclub.ru.
5. Gemdt М. II Concurrency and computation: practice and experience. 2005. N 17. P. 99-115.
6. Gomes J. и др. Experience with the International Testbed in the CrossGrid Project//Advances in Grid Computing—EGC 2005. LNCS. 2005. Vol. 3470. P. 98-110. 7. ШоишинаИ.В., Морозов КВ., GroenD.J., ЕвлампиевА.А., МалашонокД.Ю., Богданов А. В. Опыт эксплуатации RiDGRID сегмента. // Тезисы второй междунар. конф. «Распределенные вычисления и Грид-технологии в науке и образовании». Дубна, 2006. С. 157. 8. EerolaP. и др. The NorduGrid production Grid infrastructure, status and plans. // Мат. конф. 4th International Workshop on Grid Computing (GRID’03), IEEE CS Press. 2003, P. 158-165. 9. ШоишинаИ.В., Богданов А. В., Абрамсон Д. Куда идет Grid? Спец. выпуск, посвященный Междунар. конф. по распределенным вычислениям и грид-технологиям в науке и образовании. 2004. С. 206-213. 10. Johnston W.E. and the DOE Science Grid Team «Implementing production Grids» // Grid Computing Making the Global Infrastructure a Reality / Eds. E Berman, G. Fox, T. Hey, 2003. P. 117-167. 11. EGEE News//http://public.eu-egee.oig/news. 12. Ilyin V., Korenkov V, Soldatov A. RDIG-pioneer Grid infrastructure for science in Russia. Тезисы второй междунар. конф. «Распределенные вычисления и Грид-технологии в науке и образовании». Дубна, 2006. С. 68. 13. Электронная энциклопедия OSG.//Open Science Grid//http://osg.ivdgl.org. 14. Andrews P. L., Banister B., Kovatch P. High Performance Grid Computing via Distributed Data Access. Материалы конференции International Conference on Parallel and Distributed Processing Techniques and Applications. 2004. P. 1366-1376. 15. European distributed supercomputing infrastructure is being bom.//DEISA//http://www.deisa.org.
Статья принята к печати 5 сентября 2006 г.
