CC BY
68
ОПЫТ ПРИМЕНЕНИЯ ГРИД-СИСТЕМЫ В ИНГГ СО РАН И ПЕРСПЕКТИВЫ ЕЕ РАЗВИТИЯ
Андрей Сергеевич Мартьянов
Новосибирский государственный университет, 630090, г. Новосибирск, ул. Пирогова, 2, студент, e-mail: [email protected]
Дмитрий Владимирович Тейтельбаум
Институт нефтегазовой геологии и геофизики СО РАН, 630090, г. Новосибирск, пр. Коптюга, 3, инженер, тел. (383) 333-36-11, e-mail: [email protected]
Александр Александрович Власов
ИНГГ СО РАН, 630090, г. Новосибирск, пр. ак. Коптюга, 3, младший научный сотрудник, email: [email protected]
Андрей Юрьевич Соболев
ИНГГ СО РАН, 630090, г. Новосибирск, пр. ак. Коптюга 3, кандидат технических наук, научный сотрудник, e-mail: [email protected]
В статье проанализирован двухлетний опыт работы по применению грид-технологий для решения прикладных геофизических задач. Рассмотрены тенденции развития современных грид-систем. Сделаны прогнозы сценариев развития грид-системы, развёрнутой на базе ИНГГ СО РАН.
Ключевые слова: распределённые вычисления, грид.
EXPERIENCE OF USING GRID SYSTEM IN IPGG SB RAS AND ASPECTS OF ITS DEVELOPMENT
Andrey S. Martianov
Novosibirsk State University, 2 Pirogova, Novosibirsk, 630090, student, e-mail: [email protected]
Dmitry V. Teytelbaum
A.A. Trofimuk Institute of Petroleum Geology and Geophysics, 3 Koptuga, Novosibirsk, 630090, engineer, tel. (383) 333-36-11, e-mail: [email protected]
Alexander A. Vlasov
A.A. Trofimuk Institute of Petroleum Geology and Geophysics, 3 Koptuga, Novosibirsk, 630090, Junior Researcher, e-mail: [email protected]
Andrey Y. Sobolev
A.A. Trofimuk Institute of Petroleum Geology and Geophysics, 3 Koptuga, Novosibirsk, 630090, Research Fellow, Candidate of Technical Sciences, e-mail: [email protected]
In article two-year experience on using grid technologies to solve some geophysical tasks is presented. Kinds and tendencies of modern grid-systems development are considered. Conclusions about development of the grid system deployed in IPGG SB RAS are introduced.
Идея объедения свободных компьютерных ресурсов с помощью сети в единую вычислительную среду появилась в 90-х годах XX века. Впервые эта идея воплотилась в совместную работу нескольких суперкомпьютеров, разделяющих свои ресурсы, а впоследствии, и данные. Такие ассоциации получили название грид-систем (или просто гридов) первого поколения. К концу 90-х развитие грид-технологий позволило объединять различные грид-системы в одну. Такие системы назвали гридами второго поколения. Идея объединения компьютерных ресурсов получила дальнейшее развитие в 2000-х годах как результат применения веб-технологий в организации грид-сетей. На этом этапе их применение стало прозрачным для пользователя. Полученная в те годы структура организации грид-сетей считается традиционной и носит название гридов третьего поколения [1].
Пути дальнейшего развития грид-технологий были сформулированы экспертной группой по Гридам Следующего Поколения (Next Generation Grid, NGG) [2] и оформлены как требования к гридам четвёртого поколения или новейшим гридам. Основным тезисом концепции новейших гридов является то, что гриды эволюционируют от инструментария для решения проблем, требующих большого объёма вычислений и данных, к инфраструктуре общего назначения, поддерживающей сложные коммерческие процессы и технологии в среде виртуальных организаций, распределённых по многим административным доменам. При этом на передний план выходят следующие свойства грид-систем: доступность, настраиваемость, интерактивность и
управляемость. Подробнее эти свойства будут рассмотрены ниже, при обсуждении критериев классификации грид-систем.
Классификация современных грид-систем согласно работе [1] приведена на рис. 1.
Размер
Глобальнье Волонтёрские Неволснтёрские
Национальные | Проек-ные Интра-гриды ^Персональные)
Задачи
[ Вычислительные ПК U?
Серверные Инструментагьные -1
| Гэиды данных
Сервисные
(Гэиды доступа
Доступность
(Свободные
Нестандартизованные Мобильные Беспроводные
| Фиксированные
Интерактивность —i Настраиваемость - Управление
(Интерактивные )- (Настраиваемые )— (Самоуправляющиеся)^ Ж
| Пакетного исгол! lei 1и^у 1 Нсиастраиоасмыс | Цситралиэооаимос ^
Рис. 1. Классификация грид-систем
|Распределённое |
(Гибридное V
Критерий классификации
Тип традиционного грида
м Подтип традиционного грида
( ] 1ип новейшего грида
Подтип новейшего гридя
☆ Грид в ИНГГ
В зависимости от географического положения узлов грид-сети выделяют глобальные, национальные, проектные (или партнёрские), интра-гриды, а также персональные гриды. Узлы глобальных гридов расположены по всему миру, причём, в этом случае специально выделяют волонтёрские гриды, к которым может подключиться любой желающий и предоставить свои ресурсы для использования. Узлы национальных гридов расположены в одной стране и, как правило, используются в проектах национального значения при поддержке правительственных фондов. Проектные гриды образуются в результате объединения ресурсов нескольких различных организаций, а грид, базирующийся на мощностях одной организации, называется интра-гридом.
По задачам, решаемым грид-системами, можно выделить вычислительные гриды, использующиеся для ресурсоёмких расчётов. В свою очередь эту группу можно разбить на подгруппы по типу используемых ресурсов: гриды использующие персональные компьютеры, серверы, а также специальное оборудование (например, WWT - World-Wide Telescope, общемировой виртуальный телескоп - использует грид-технологии для анализа и классификации данных от сотен, разбросанных по всему миру телескопов). Гриды данных обеспечивают распределённое хранение больших объёмов информации, а также доступ к ней. Сервисные гриды реализуют механизмы предоставления конкретного объёма ресурсов (циклов CPU, дискового пространства) по требованию. Гриды доступа предназначены для организации работы с группами устройств ввода-вывода, такими как микрофоны, видеокамеры и.т. п.
Доступность подразумевает под собой способность грид-систем работать не только со стационарными ресурсами, такими как серверы или высокопроизводительные рабочие станции, у которых есть фиксированная точка
входа в инфраструктуру грид-сети, а также с мобильными и беспроводными устройствами.
Под интерактивностью грид-систем понимают возможность их
использования в режиме реального времени. Традиционные гриды такую возможность исключают, поддерживая пакетное исполнение задач.
Настраиваемость грид-системы означает возможность адаптации доступа к ресурсам для конкретного пользователя.
В зависимости от того, как происходит управление гридом, выделяют централизованное и распределённое управление, характерное для традиционных гридов, а также гибридное управление и самоорганизующиеся гриды.
Система, развёрнутая в ИНГГ СО РАН [3], по всем признакам относится к традиционным гридам. Такая организация является абсолютно адекватной решаемым здесь задачам. Их ресурсоёмкость исключает использование мобильных устройств, которые не отличаются высокой производительностью, при возможности потери прогресса при отключении мобильного устройства из сети. Таким образом, используются только стационарные устройства, вследствие чего структура сети не меняется во времени, и централизованное управление полностью оправдывает себя. Ещё одним фактом, ограничивающим развитие грида, является то, что в качестве вычислительных узлов используются рабочие компьютеры сотрудников института и их использование в грид-сети не должно доставлять неудобств пользователям. Таким образом, внесение элементов интерактивности возможно лишь с введением специальных вычислительных узлов доступных для использования в рамках грид-среды в любое время.
На данный момент в грид-систему института включено около 90 компьютеров, что с учётом многоядерности современных процессоров составляет около 300 вычислительных узлов. С помощью данной системы решаются следующие задачи: трёхмерное моделирование сигналов наземной электроразведки [4], прямое двумерное моделирование для задач бокового каротажного зондирования (БКЗ) [5]. Стоит отметить, что благодаря различным требованиям к вычислительным ядрам этих задач удалось организовать одновременное их вычисление на различных узлах. Например, решение более требовательной к оперативной памяти задачи моделирования сигналов электроразведки происходит на компьютерах с большим объёмом памяти ОЗУ, а моделирование сигналов БКЗ на оставшихся свободных узлах (рис. 1).
Рис. 1. График загрузки вычислительных узлов грид-сети. Задача 1 - трёхмерное моделирование сигналов наземной электроразведки; задача 2 - прямое
двумерное моделирование БКЗ
Из полученного опыта применения грид-технологий для расчёта геофизических задач можно сделать следующие выводы. Прежде всего, работа пользователя в грид-среде без обращения к эксперту весьма проблематична. Это связано с тем, что для успешного решения задач при помощи грида, несмотря на весь прогресс грид-технологий в направлении повышения прозрачности использования грида для пользователя, ему все же необходимо иметь некоторые знания о принципах функционирования грид-систем, а также получить навыки работы с конкретной реализацией грида. При этом на изучение способа запуска задач на конкретной системе, могут потребоваться значительные усилия неопытного пользователя, тем более, если его знания в области информационных технологий не достаточно глубоки.
С другой стороны, необходима поддержка развёрнутой грид-сети, где особое внимание стоит уделить её конфигурированию под решение актуальных в данный момент задач и перераспределению ресурсов и приоритетов между пользователями грид-сети по мере необходимости.
Однако полученный опыт двухлетних работ авторов показывает, что новые типы задач, требующих расчёта в грид-среде, появляются довольно редко, и большую часть времени ведётся расчёт фиксированного набора задач для различных входных данных. Таким образом, возможно и целесообразно предоставление пользователям доступа к грид-системе через создание специальных веб-порталов для удобного запуска каждого вида задач, с возможностью загрузки пользовательских исходных данных. Это, с одной стороны, значительно облегчит работу пользователя, а с другой - защитит от случайных ошибок или ошибок по неопытности. Таким же путём можно значительно облегчить труд администратора грид-системы через подключение веб-интерфейса к инструментам управления системой. Это, если прибегнуть к приведённой выше классификации грид, является шагами к повышению настр аиваемо сти.
На этом пути уже сделаны первые шаги, а именно, реализован веб-доступ к администрированию грид-системы и просмотру статистики по её
использованию.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Heba Kurdi. A classification of emerging and traditional grid systems / Heba Kurdi, Maozhen Li, Hamed Al-Raweshidy // IEEE Distributed Systems Online. - 2008. - vol. 9, no. 3.
2. Future for European grids: GRIDs and Service Oriented Knowledge Utilities. Vision and Research Directions 2010 and Beyond, Next Generation GRIDs Expert Group Report 3, January 2006 //Англ. - Режим доступа: ftp://ftp.cordis.europa.eu/pub/ist/docs/grids/ngg3_eg_final.pdf
3. Мaртьянов, А. С. Использование свободных сетевых ресурсов предприятия для решения емких вычислительных геофизических задач / А. С. Мaртьянов, Д. В. Тейтельбaум,К. С. Сердюк, А. А. Влaсов, И. Н. Ельцов. / НТВ “Каротажник”. Тверь: Изд. АИС. - 2011. - № 11 (209). - С. 57-64.
4. Иванов, М.И. Программное обеспечение модем 3D для интерпретации данных нестационарных зондирований с учетом эффектов вызванной поляризации / М.И. Иванов,
В. А. Катешов, И. А. Кремер, М.И. Эпов / Записки Горного института - 2009. - Т. 183. - С. 242. - 245.
5. Дашевский, Ю.А. Квазитрехмерное математическое моделирование диаграмм неосесимметричных зондов постоянного тока в анизотропных разрезах / Ю.А. Дашевский, И.В. Суродина, М.И. Эпов / Сибирский журнал индустриальной математики. Т. 5 - 2002. -№ 3 (11). - С. 76-91.
© А.С. Мартьянов, Д.В. Тейтельбаум, А.А. Власов, А.Ю. Соболев, 2012
