CC BY
10
ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ
УДК 004.056.53
DOI: 10.25559/SITITO.18.202201.39-46
Научная статья
Создание грид-сайта и его интеграция в вычислительную инфраструктуру ATLAS
А. С. Бондяков1*, А. О. Кондратьев1, Д. А. Кулиев2
1 Международная межправительственная организация Объединенный институт ядерных исследований, г. Дубна, Российская Федерация
Адрес: 141980, Российская Федерация, г. Дубна, Московская область, ул. Жолио-Кюри, д. 6 * aleksey@jinr.ru
2 Институт физики НАН Азербайджана, г. Баку, Азербайджан Адрес: AZ-1143, Азербайджан, г. Баку, пр. Г. Джавида, д. 33
Аннотация
Современные информационные технологии предлагают различные решения, позволяющие, в глобальном масштабе, объединять гетерогенные информационно-вычислительные ресурсы в единое целое, для решения общих задач. Одним из таких решений являются ГРИД-технологии. Концепция ГРИД дает понимание каким образом можно объединить разнородные вычислительные ресурсы, такие как персональные компьютеры, вычислительные кластеры, суперкомпьютеры. ГРИД-технологии, на сегодняшний день, широко используются для решения задач в различных научных областях, таких как физика высоких энергий и биофизика, генетика, микробиология и медицина, робототехника и авиастроение и пр. Основным инструментом ГРИД-технологий, способным объединять гетерогенные ресурсы является создание грид-сай-та. Грид-сайт представляет собой определенный набор компонентов, связанных между собой рядом задач, а именно - принимать и передавать, обрабатывать и хранить полученные данные. Для создания и интеграции грид-сайта, в глобальную гетерогенную вычислительную инфраструктуру, его компоненты должны строго соответствовать требованиям, которые предъявляются к грид-сайтам со стороны таких международных экспериментов, как ATLAS, CMC, ALICE, LHCb и другие. Одним из наиболее важных требований является актуальность программного обеспечения компонентов грид-сайта, так как от показателей их функционирования зависит состояние грид-сайта в целом. Все вышеперечисленные международные эксперименты, в режиме реального времени, проводят мониторинг состояния грид-сайтов своего пула на предмет эффективности работы основных компонентов. В данной статье, на основании опыта работы с грид-сайтами различной конфигурации, показан алгоритм создания и сертификации грид-сай-та «AZ-IFAN», Института физики НАН Азербайджана, для вычислительной инфраструктуры международного эксперимента ATLAS (CERN).
Ключевые слова: грид-сайт, грид-сервис, вычислительные ресурсы, вычислительный элемент
Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Бондяков А. С., Кондратьев А. О., Кулиев Д. А. Создание грид-сайта и его интеграция в вычислительную инфраструктуру ATLAS // Современные информационные технологии и ИТ-образование. 2022. Т. 18, № 1. С. 39-46. doi: https://doi.org/10.25559/ SITITO.18.202201.39-46
I© Бондяков А. С., Кондратьев А. О., Кулиев Д. А., 2022|
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, GPU PROGRAMMING
Creation of the Grid-Site and Its Integration into the ATLAS Computing
A. S. Bondyakova*, A. O. Kondratyeva, J. A. Guliyevb
a Joint Institute for Nuclear Research, Dubna, Russian Federation
Address: 6 Joliot-Curie St., Dubna 141980, Moscow region, Russian Federation
* aleksey@jinr.ru
b Institute of Physics of the National Academy of Sciences of Azerbaijan, Baku, Azerbaijan Address: 33 G. Javid Ave., Baku AZ-1143, Azerbaijan
Modern information technologies offer various solutions that allow us, on a global scale, to combine heterogeneous information and computing resources into a single whole, to solve common problems. One such solution is GRID technologies. The GRID concept gives an understanding of how to combine heterogeneous computing resources, such as personal computers, computing clusters, supercomputers. Today, GRID technologies are widely used to solve problems in various scientific fields, such as high-energy physics and biophysics, genetics, microbiology and medicine, robotics and aircraft engineering, etc. The main tool of GRID technologies that can combine heterogeneous resources is the creation grid site. The grid site is a specific set of components interconnected by a number of tasks, namely, to receive and transmit, process and store the received data. To create and integrate a grid site into the global heterogeneous computing infrastructure, its components must strictly comply with the requirements that apply to grid sites from such international experiments as ATLAS, CMC, ALICE, LHCb and others. One of the most important requirements is the relevance of the software components of the grid site, since the state of the grid site as a whole depends on the indicators of their functioning. All of the above international experiments, in real time, monitor the state of the grid sites of their pool for the effectiveness of the main components. This article, based on experience with grid sites of various configurations, shows the algorithm for creating and certifying the grid site "AZ-IFAN", Institute of Physics, National Academy of Sciences of Azerbaijan, for the ATLAS computing (CERN).
Keywords: grid-site, grid-service, computing resources, computing element
The authors declare no conflict of interest.
For citation: Bondyakov A.S., Kondratyev A.O., Guliyev J.A. Creation of the Grid-Site and Its Integration into the ATLAS Computing. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2022; 18(1):39-46. doi: https://doi.org/10.25559/ SITITO.18.202201.39-46
Abstract
Современные информационные технологии и ИТ-образование
Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
A. S. Bondyakov, PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES,
A 0. Kondratyev, GPU PROGRAMMING
J. A. Guliyev
Введение
В настоящее время, современные грид и облачные технологии дают возможность объединять в единое информационное пространство, географически распределенные гетерогенные вычислительные ресурсы. Благодаря этому, научно-исследовательские и образовательные центры, многих стран принимают активное участие в таких международных проектах, как ATLAS, CMC, LHCb, ALICE и т. д. Созданная с помощью грид-тех-нологий, вычислительная инфраструктура, называется грид-сайтом. Грид-сайт представляет собой определенный набор компонентов промежуточного программного обеспечения - грид-сервисов, которые нацелены на взаимодействие друг с другом и с пользователями. Грид-сервисы обеспечивают пользователям безопасный доступ к вычислительным ресурсам грид-сайта, мониторингу задач, доступ к ресурсам хранения данных, облачным ресурсам, и т.д. Грид-сайты могут работать локально, а могут быть частью иерархической структуры - виртуальной организации, которая объединяет грид-сайты, выполняющие определенную научную задачу. Например, виртуальные организации одноименных экспериментов ATLAS, CMC, LHCb, ALICE решают различные задачи в области физики высоких энергий, BIOMED - в области медицины и т.д. В виртуальной организации каждый грид-сайт имеет свой ресурсный уровень. Ресурсный уровень грид-сайта определяется в первую очередь его вычислительными ресурсами и ресурсами хранения данных, которые он предоставляет участникам виртуальных организаций, а также, высокоскоростным интернет-соединением.
Доступ к ресурсам хранения данных грид-сайта осуществляется посредством таких грид-сервисов, как DPM, SRM, dCache, EOS, которые представляют собой системы безопасного хранения и передачи данных. Для доступа к вычислительным ресурсам, используется грид-сервис - вычислительный элемент (CE - Computing Element). Данный грид-сервис можно охарактеризовать как точку входа для пользователей и виртуальных организаций, которым, в результате запроса, предоставляются требуемые вычислительные ресурсы и ресурсы хранения данных1 [1, 2, 3].
Будучи участником международного эксперимента, в рамках виртуальной организации, грид-сайт берет на себя определенные обязательства, предъявляемые к грид-сайтам, входящим в виртуальную организацию. Это, в первую очередь, поддержка бесперебойной работы всех компонентов грид-сайта в режиме 24/7, соблюдение четко регламентированной процедуры остановки работы элементов грид-сайта, например, в случае замены оборудования, обновления программного обеспечения и т.д.
Прежде чем стать участником международного эксперимента, в рамках какой-либо виртуальной организации, грид-сайт должен быть сертифицирован EGI или OSG. Международные организации EGI (European Grid Infrastructure) и OSG (Open Science Grid - ориентированная, в основном, на грид-сайты Северной Америки), координируют, сертифицируют и отслежи-
вают, посредством различных средств мониторинга, актуальность программного обеспечения, активность и безопасный доступ к наиболее важным элементам грид-сайта [4, 5, 6].
Цель исследования
Представить алгоритм и проанализировать наиболее важные детали процесса сертификации и интеграции грид-сайта в вычислительную инфраструктуру ATLAS, провести тестирование грид-сайта различными системами мониторинга на предмет его корректной работы в EGI и ATLAS.
Основная часть
Опираясь на опыт работы с грид-сайтами различной сложности, в плане реализации, наиболее показателен алгоритм создания и сертификации грид-сайта «AZ-IFAN», Института физики НАН Азербайджана, для распределенной инфраструктуры международного эксперимента ATLAS (ЦЕРН). В рамках выполнения программы сотрудничества Объединенного института ядерных исследований (ОИЯИ) с Азербайджанской республикой, была поставлена задача, создать грид-сайт Института физики НАН Азербайджана и интегрировать его в инфраструктуру эксперимента ATLAS, для получения доступа к вычислительным ресурсам данного эксперимента. Операционные системы, на подготовленных узлах для грид-сайта, были оптимизированы для эффективного использования, а также защищены от несанкционированного доступа. Основной операционной системой всех узлов грид-сайта является ОС Linux. Как было упомянуто выше, чтобы стать участником международного эксперимента, грид-сайт должен быть сертифицирован EGI или OSG, т.е. должен быть интегрирован в одну из этих организаций. Предварительно, на официальном портале для хранения и представления информации о топологии и ресурсах EGI: GOCDB2, создается регистрационная запись о новом грид-сайте: его имя в системе EGI, данные для доступа к грид-сервисам и другая важная информация, необходимая для мониторинга и администрирования сайта. Для доступа к порталу GOCDB, необходимо получить сертификат X509 (сертификат пользователя) в региональном сертификационном центре. На вычислительных и вспомогательных узлах грид-сайта было установлено требуемое программное обеспечение.
Сертификация грид-сайта, со стороны EGI, представляет собой проверку работы установленного программного обеспечения, а также соответствия заявленных ресурсов грид-сайта фактическим. Процесс проверки также включает в себя регулярный мониторинг выполнения тестовых задач, запускаемых системами мониторинга EGI. В результате успешного выполнения ряда тестовых задач, грид-сайт «AZ-IFAN» получил статус «Сертифицированный» и ресурсный уровень Tier-3. Сертификация грид-сайта предварялась длительным этапом подготовки специалистов. Совместными усилиями сотрудников Лаборатории информационных технологий имени М.Г
1 Кореньков В. В., Кутовский Н. А., Бондяков A. C. Грид-сайт для ЦЕРН [Электронный ресурс] // Открытые системы. СУБД. 2018. № 03. URL: https://www.osp. ru/os/2018/03/13054506 (дата обращения: 16.12.2021).
2 GOCDB [Электронный ресурс] // GOCDB - EGI.eu. URL: https://goc.egi.eu/portal/index.php (дата обращения: 16.12.2021).
Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, ГРИД-ТЕХНОЛОГИИ, О с ЕНондякоВ,
ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ А. О. КондРатков'
Д. А. Кулиов
Мещерякова ОИЯИ и Института физики НАН Азербайджана, используя инфраструктуру МИВК ОИЯИ, был создан тестовый грид-сайт [7]. Благодаря данной инфраструктуре сотрудники Института физики НАН Азербайджана приобрели необходимый опыт по установке и настройке работы грид-сервисов. На сегодняшний день грид-сайт «AZ-IFAN» предоставляет доступ к своим ресурсам таким виртуальным организациям, как ATLAS, SEE, OPS и включает в себя следующий набор грид-сер-висов:
• HTCondor-CE + HTCondor - вычислительный элемент и система пакетной обработки данных;
• site-BDII - информационный сервис, публикующий данные о ресурсах грид-сайта;
• APEL - сервис учета выполненных задач.
• Система авторизации Argus.
HTCondor представляет собой batch-систему: систему пакетной обработки данных, состоящую из определенного набора сервисов, куда направляются задачи удаленных пользователей или организаций. Сервисы HTCondor могут быть распределены в рамках одного или нескольких кластеров для управления задачами, требующих большие вычислительные ресурсы. Они управляют механизмом очередей, политикой планирования, схемами приоритетов и классификацией ресурсов. Получая вычислительные задачи, HTCondor запускает их на свободных ресурсах кластера или ставит их в очередь, а затем информирует пользователя о результате. HTCondor-CE - вычислительный элемент, который принимает и направляет задачи в batch-систему. HTCondor и HTCondor-CE поддерживаются грид сообществом OSG. Используя успешный опыт использования связки HTCondor с HTCondor-CE в OSG, разработчики оптимизировали их функционал для работы в EGI. На сегодняшний день, использование вычислительного элемента HTCondor-CE, является одним из требований EGI и ATLAS.
Также, одним из обязательных требований EGI к работе грид-сайта является наличие грид-сервиса Site-BDII. Это информационный грид-сервис, публикующий данные о ресурсах грид-сайта. Посредством опроса данного грид-сервиса, службы мониторинга EGI получают информацию о вычислительном элементе грид-сайта, системе пакетной обработки данных, количестве выполняемых задач, вычислительных ресурсах и многое другое.
APEL - грид-сервис учета выполненных задач или грид-сервис аккаунтинга. Аккаунтингом называют данные, которые включают в себя такие детали, как количество выполненных задач, использование процессорных ресурсов на вычислительных узлах, информация о виртуальных организациях и т.д. Грид-сервис Argus отвечает за авторизацию запросов к грид-сайту в целом: принимает решения по авторизации для распределенных сервисов (например, пользовательских интерфейсов, порталов, вычислительных элементов, элементов хранения). Работа данного сервиса основана на стандарте XACML и политиках авторизации, которые позволяют определить, разрешено или запрещено пользователю выполнять определенные действия в отношении конкретного сервиса. В
нашем случае, таким сервисом является вычислительный элемент HTCondor-CE.
Выбор связки HTCondor и HTCondor-CE представляется наиболее удобным решением для небольших грид-сайтов, предоставляющих доступ только к вычислительным ресурсам, так как, HTCondor-CE, по умолчанию, оптимизирован как раз для работы с небольшими грид-сайтами. Также, можно выделить относительно простую схему установки и настройки HTCondor-CE, и оперативную поддержку со стороны разработчиков. Система пакетной обработки данных HTCondor, в свою очередь, хорошо зарекомендовала себя в OSG для высокопроизводительных вычислений, а самое главное, хорошо совместима с HTCondor-CE. Все вышеперечисленные грид-сервисы постоянно взаимодействуют друг с другом. Отказ или остановка даже одного сервиса может привести к некорректной работе всего грид-сайта.
Для установки HTCondor и HTCondor-CE использовались репо-зитории с официального сайта разработчиков. Так как грид-сайт «AZ-IFAN» работает в EGI и ATLAS, был установлен обязательный для вычислительного элемента набор корневых сертификатов EGI, необходимых для авторизации запросов пользователей или организаций. Для запуска HTCondor-CE требуется наличие актуального сертификата x509 (т.н. хост-сертификата), подписанного региональным сертификационным центром. В нашем случае, использовался сертификационный центр SEE-GRID CA3 [8, 9, 10, 11]. Запуск задач на грид-сайте, со стороны ATLAS, требует установленного на вычислительных узлах, специализированного программного обеспечения: cvmfs, которое представляет собой виртуальную файловую систему, посредством которой к узлам грид-сайта удаленно монтируются ресурсы ATLAS с необходимым для расчетов программным обеспечением [12, 13, 14, 15].
Все настройки переменных HTCondor и HTCondor-CE были выполнены вручную, без использования puppet шаблонов и конфигураторов. Установка грид-сервисов HTCondor, HTCondor-CE, Argus, APEL и Site-BDII, включая необходимые пакеты для работы HTCondor-CE с грид-сервисами APEL, Site-BDII и Argus, а также настройка взаимодействия между ними, была выполнена на основе руководства, представленного на сайте разработчика. Вышеперечисленные грид-сервисы были установлены на распределенную систему.
Не менее важной частью любого грид-сайта является обеспечение безопасной передачи данных и защита от несанкционированного доступа. Для настройки аутентификации запросов от внешних пользователей и виртуальных организаций, для грид-сайта «AZ_IFAN», была реализована схема авторизации HTCondor-CE - GSI/VOMS, в связке с грид-сервисом Argus. GSI/ VOMS, используя синтаксис регулярных выражений PCRE (Perl Compatible Regular Expressions), сопоставляет входящие запросы, которые содержат в себе учетную запись, под которой должно выполнятся задание, и атрибуты прокси-сертифика-тов x509 виртуальных организаций с локальными учетными записями операционной системы и политиками авторизации для виртуальных организаций. Для согласования запросов GSI/VOMS с грид-сервисом Argus, внесены необходимые дан-
3 SEE-GRID Certification Authority [Электронный ресурс] // GRNET, 2021. URL: https://see-grid-ca.hellasgrid.gr (дата обращения: 16.12.2021).
Современные информационные технологии и ИТ-образование
Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
A. S. Bondyakov, PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES,
A 0. Kondratyev, GPU PROGRAMMING
J. A. Guliyev
ные (политики авторизации) в конфигурационные файлы Argus [16, 17, 18].
Для взаимодействия HTCondor-CE с Site-BDII, в конфигурационный файл Site-BDII, были внесены данные о вычислительном элементе (CE). Взаимосвязь Site-BDII и HTCondor-CE, осуществляется службой LDAP, входящей в состав внутренних сервисов HTCondor-CE, посредством которой осуществляется передача актуальной информации грид-сервису Site-BDII. В конфигурационный файл службы LDAP, для идентификации грид-сайта в EGI, добавлены необходимые данные о виртуальных организациях, поддерживаемых грид-сайтом (ATLAS, OPS, SEE), имя грид-сайта в системе GOCDB - «AZ-IFAN», а также указана информационная модель, используемая в производственной информационной системе EGI/WLCG: GLUE 2. Эти данные помогают идентифицировать грид-сайт системой мониторинга EGI [19, 20, 21, 22].
На грид-сайтах ежесуточно запускается большое количество задач различной ресурсоемкости. Для предотвращения большой нагрузки на грид-сайт, HTCondor-CE располагает инструментарием, который поможет расставить нужные приоритеты для входящих запросов пользователей или виртуальных организаций. Таким инструментом является Job Router В настройках Job Router можно указать общую квоту для поступающих задач, а также максимальное количество задач для каждого пользователя или виртуальной организации. Если количество поступающих запросов превышают установленную квоту, запросы будут игнорироваться.
Резюмируя вышесказанное, схему взаимодействия компонентов грид-сайта «AZ-IFAN», представленную на рис. 2, можно описать следующим образом: вычислительный элемент, принимает запрос от пользователя или виртуальной организации на выделение ресурсов для выполнения расчетных задач. Данный запрос, обрабатывается в системе авторизации Argus, которая, на основе политик безопасности, предоставляет доступ к ресурсам грид-сайта. Если все критерии запроса соответствуют политикам безопасности Argus, он передается в локальную batch-систему грид-сайта. Затем начинается процесс выполнения задачи. По завершению задачи (успешно или не успешно), результат регистрируется в журнале batch-системы и вычислительного элемента и, по запросу, предоставляется грид-сайтом владельцу задачи. Все успешно выполненные
задачи, посредством системы аккаунтинга APEL, передаются EGI, которая публикует их на специальном портале. В свою очередь, грид-сервис Site-BDII, отслеживает работу вычислительного элемента и, batch-системы и также передает данные мониторинга в EGI. Оценки эффективности и работоспособности грид-сайта «AZ-IFAN» проводились средствами мониторинга ATLAS и EGI [23, 24].
EGI и ATLAS осуществляют регулярный мониторинг на предмет внешней доступности и корректной работы грид-сайтов своего пула. Системы мониторинга предоставляют подробную информацию о работе сервисов грид-сайта, количестве запущенных задач и процессе их выполнения, эффективной работе ЦПУ вычислительных узлов и многое другое. Эти данные позволяют оперативно оценить работу грид-сайта в целом и каждого сервиса в отдельности, а также, благодаря системам оповещения, выявляют некорректно работающие сервисы. На рис. 2 показаны данные о работоспособности компонентов грид-сайта «AZ-IFAN», полученные средствами мониторинга EGI [25, 26].
USERS, VO (ATLAS)
r
CE f
Batch, APEL BDIi (LDAP)
Site-BDII HOST
Р и с. 1. Схема взаимодействия компонентов грид-сайта «AZ-IFAN» F i g. 1. Scheme of interaction of components of the 'AZ-IFAN" grid site
Host ♦♦ Service ♦♦ Status * * LastCheck4* Duration ♦♦ Attempt ♦♦ Status Information
ce.physics.science.az [.r/| org.bdii. Entries Ù OK 12-20-2021 21:43:25 Od 11h 42m 53s 1/4 OK: time=0 88s, entries=1
org.bdii. Freshness Û OK 12-20-2021 22:20:54 Od 11h 5m 23s 1/4 OK: freshness=114s, entries=1
org.nagios В DI 1 -Check D OK 12-20-2021 22:15:22 Od 11h 40m 56s 1/4 LDAP OK - 0.499 seconds response time
org.nagios GLUE2-Check D OK 12-20-2021 22:04:54 Od 11 h 21m 24s 1/3 BDll_ENTRIES_NUM OK -1 entry found
wmsphysics.sdence.az argo.APEL-Pub D OK 12-20-2021 16:45:11 87d 1h 24m 34s 1/2 OK
argo.APEL-Sync D OK 12-20-2021 16:51:25 161d 7h 46m 7s 1/2 OK
argo.HTCondorCE-CertValidity а OK 12-20-2021 13:02:02 Od 9h 24m 15s 1/2 OK - HTCorvdorCE certificate valid until Jun 22 10:05:25 2022 UTC (expires in 183 days)
ch.cern.HTCondorCE-JobState-ops D OK 12-20-2021 22:24:14 Od 10h 2m 10s 1/2 OK - Job was successfully submitted (439223)
ch.eern.HTCondorCE-JobSubmit-ops ? OK 12-20-2021 21:24:27 21d 6h 19m 3s 1/2 OK - Job successfully completed
Results 1 -9 ore Melcfirng services
Р и с. 2. Данные о работоспособности компонентов грид-сайта «AZ-IFAN» - скриншот с портала мониторинга EGI F i g. 2. Data on the functionality of 'AZ-IFAN" grid site components - screenshot from the EGI monitoring portal
Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
44
ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ
А. С. Бондяков, А. О. Кондратьев, Д. А. Кулиев
| MC Event Generation | Testing
| MC Simulation Full | MC Merge | MC Simulation Fast | Event Index | MC Resimulation
774
153
111
12/01 avg total v
17.9 35.7 К 4.23 8.43 К 2.16 4.30 К 0.949 1.89 К 0.825 1.64 К 55 0.137 274 53 0.0963 192
iL J
li.H 1, <.. Lj I... ..'■ L. .JÜL. I
i
Р и с. 3. Количество выполненных задач, зарегистрированных на грид-сайте «AZ-IFAN» - скриншот с портала мониторинга ATLAS F i g. 3. The number of completed tasks registered on the "AZ-IFAN" grid site - screenshot from the ATLAS monitoring portal
MC Simulation Full
MC Simulation Fast
MC Resimulation
MC Event Generation
avg v
I MC Event Generation 0.981
I MC Simulation Fast I MC Simulation Full I Testing
I MC Resimulation I MC Merge I Event Index
0.S80 0.930 0.794 0.619 0.442 0.325
Р и с. 4. Средняя эффективность ЦПУ вычислительных узлов грид-сайта «AZ-IFAN» - ^риншот с портала мониторинга ATLAS F i g. 4. Average CPU efficiency of computing nodes of "AZ-IFAN" grid site - screenshot from the ATLAS monitoring portal
На рис.3 показано количество выполненных задач различной ресурсоемкости, зарегистрированных системой мониторинга ATLAS, в определенный промежуток времени, которые ежесуточно запускаются на грид-сайте «AZ-IFAN» посредством системы Harvester (CERN). На рис.4 показаны данные мониторинга об эффективности ЦПУ вычислительных узлов грид-сайта «AZ-IFAN», за такой же промежуток времени. Представленные данные показывают корректную работоспособность программного обеспечения, а также демонстрируют хо-
рошую производительность вычислительных узлов данного грид-сайта, достаточную для выполнения ресурсоемких задач эксперимента ATLAS.
Полученные результаты
В результате проведенных исследований, представлены и проанализированы наиболее важные детали процесса сертификации и интеграции грид-сайта в вычислительную инфраструк-
Современные информационные технологии и ИТ-образование
Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
A. S. Bondyakov, PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES,
A 0. Kondratyev, GPU PROGRAMMING
J. A. Guliyev
туру ATLAS. Посредством различных систем мониторинга проведен ряд тестов на предмет корректной работы грид-сайта в EGI и ATLAS.
Заключение
В результате проделанной работы, грид-сайт Института физики НАН Азербайджана успешно прошел длительный этап сертификации, по окончанию которого все грид-сервисы были полностью протестированы и интегрированы в инфра-
References
структуру ATLAS. Грид-сайт получил название «AZ-IFAN» и, на сегодняшний день, выполняет в инфраструктуре EGI и ATLAS роль ресурсного центра уровня Tier-3. В данной статье рассмотрены наиболее важные детали при создании, сертификации и интеграции грид-сайта в вычислительную инфраструктуру ATLAS. Представлена схема работы и основные структурные компоненты грид-сайта «AZ-IFAN». Успешно завершенные задачи различной ресурсоемкости, регистрируемые средствами мониторинга, показали эффективную работу грид-сайта в вычислительной инфраструктуре ATLAS.
[1] Dolbilov A., Kashunin I., Korenkov V., Kutovskiy N., et al. Multifunctional Information and Computing Complex of JINR: Status and Perspectives. CEUR Workshop Proceedings. 2019; 2507:16-22. Available at: http://ceur-ws.org/Vol-2507/16-22-paper-3.pdf (accessed 16.12.2021). (In Eng.)
[2] Bondyakov A.S., Huseynov N.A., Guliyev J.A., Kondratyev A.O. Migration the services of computing nodes of the AZ-IFAN grid site on Scientific Linux 7. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):611-618. (In Russ., abstract in Eng.) doi: https://doi.org/10.25559/SITIT0.15.201903.611-618
[3] Ryu G., Noh S.-Y. Establishment of new WLCG Tier Center using HTCondor-CE on UMD middleware. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:08020. (In Eng.) doi: https://doi.org/10.1051/epjconf/201921408020
[4] Weitzel D., Bockelman B. Contributing opportunistic resources to the grid with HTCondor-CE-Bosco. Journal of Physics: Conference Series. 2017; 898:092026. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/9Z092026
[5] Bockelman B., Bejar J.C., Hover J. Interfacing HTCondor-CE with OpenStack. Journal of Physics: Conference Series. 2017; 898:092021. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/9/092021
[6] Llorente I.M., Moreno-Vozmediano R., Montero R.S. Cloud Computing for on-Demand Grid Resource Provisioning. Advances in Parallel Computing. Vol. 18: High Speed and Large Scale Scientific Computing. I0S Press; 2009. p. 177-191. (In Eng.) doi: https://doi. org/10.3233/978-1-60750-073-5-177
[7] Forti A.C., Walker R., Maeno T., Love P., Rauschmayr N., Filipcic A., Di Girolamo A. Memory handling in the ATLAS submission system from job definition to sites limits. Journal of Physics: Conference Series. 2017; 898:052004. (In Eng.) doi: https://doi. org/10.1088/1742-6596/898/5/052004
[8] Ebert M., Berghaus F., Casteels K. The Dynafed data federator as a grid site storage element. EPJ Web of Conferences: 24th International Conference on Computing in High Energy and Nuclear Physics (CHEP 2019). 2020; 245:04003. (In Eng.) doi: https://doi. org/10.1051/epjconf/202024504003
[9] Berghaus F., Casteels K., Driemel C., Ebert M., Galindo F.F., Leavett-Brown C., MacDonell D., Paterson M., Seuster R., Sobie R.J., Tol-kamp S., Weldon J. High-Throughput Cloud Computing with the Cloudscheduler VM Provisioning Service. Computing and Software for Big Science. 2020; 4:4. (In Eng.) doi: https://doi.org/10.1007/s41781-020-0036-1
[10] Taylor R.P., et al. Consolidation of cloud computing in ATLAS. Journal of Physics: Conference Series. 2017; 898:052008. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/5/052008
[11] Amoroso A., et al. A modular (almost) automatic set-up for elastic multi-tenants' cloud (micro)infrastructures. Journal of Physics: Conference Series. 2017; 898:082031. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/8/082031
[12] Charpentier P. LHC Computing: past, present and future. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:09009. (In Eng.) doi: https://doi.org/10.1051/epjconf/201921409009
[13] Bondyakov A.S. Infrastructure and main tasks of the data-center of the institute of physics of the National Academy of Sciences of Azerbaijan. CEUR Workshop Proceedings. 2017; 1787:150-155. Available at: http://ceur-ws.org/Vol-1787/150-155-paper-25.pdf (accessed 16.12.2021). (In Russ., abstract in Eng.)
[14] Bondyakov A.S. The Basic Modes of the Intrusion Prevention System (IDS/IPS Suricata) for the Computing Cluster. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2017; 13(3):31-37. (In Russ., abstract in Eng.) doi: https://doi.org/10.25559/SITIT0.2017.3.629
[15] Aiftimiei D.C., Fattibene E., Gargana R., Panella M., Salomoni D. Abstracting application deployment on Cloud infrastructures. Journal of Physics: Conference Series. 2017; 898(8):082053. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/8/082053
[16] Barreiro Megino F.H., et al. PanDA for ATLAS distributed computing in the next decade. Journal of Physics: Conference Series. 2017; 898:052002. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/5/052002
[17] Blomer J., et al. New directions in the CernVM file system. Journal of Physics: Conference Series. 2017; 898:062031. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/6/062031
[18] Charpentier P. Benchmarking worker nodes using LHCb productions and comparing with HEPSpec06. Journal of Physics: Conference Series. 2017; 898:082011. (In Eng.) doi: https://doi.org/10.1088/1742-6596/898/8/082011
Vol. 18, No. 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, ГРИД-ТЕХНОЛОГИИ, ^ с Б°ндяК0В,
ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ А. О. КондРатков.
Д. А. Кулиов
[19] Berghaus F., et al. Federating distributed storage for clouds in ATLAS. Journal of Physics: Conference Series. 2018; 1085:032027. (In Eng.) doi: https://doi.org/10.1088/1742-6596/1085/37032027
[20] Ebert M. et al. Using a dynamic data federation for running Belle-II simulation applications in a distributed cloud environment. EP] Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:04026. (In Eng.) doi: https://doi.org/10.1051/epjconf/201921404026
[21] Abramson D., Parashar M., Arzberger P. Translation computer science - Overview of the special issue. Journal of Computational Science. 2020; 52:101227. (In Eng.) doi: https://doi.org/10.1016/j.jocs.2020.101227
[22] Fajardo E., Wuerthwein F., Bockelman B., Livny M., Thain G., Clark J.A., Couvares P., Willis J. Adapting LIGO workflows to run in the Open Science Grid. SoftwareX. 2021; 14:100679. (In Eng.) doi: https://doi.org/10.1016/j.softx.2021.100679
[23] Bockelman B., Livny M., Lin B., Prelz F. Principles, Technologies, and Time: The Translational Journey of the HTCondor-CE. Journal of Computational Science. 2021; 52:101213. (In Eng.) doi: https://doi.org/10.1016/j.jocs.2020.101213
[24] Barreiro Megino F.H., et al. Managing the ATLAS Grid through Harvester. EP] Web of Conferences: 24th International Conference on Computing in High Energy and Nuclear Physics (CHEP 2019). 2020; 245:03010. (In Eng.) doi: https://doi.org/10.1051/epjconf/ 202024503010
[25] Filozova A., Bashashin M.V., Korenkov V.V., Kuniaev S.V., Musulmanbekov G., Semenov R.N., Shestakova G.V., Strizh T.A., Ustenko P.V., Zaikina T.N. Concept of JINR Corporate Information System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. (In Eng.) doi: https://doi.org/10.1134/S1547477116050204
[26] Huerta E.A., Haas R., Jha S., Neubauer M., Katz D.S. Supporting high-performance and high-throughput computing for experimental science. Computing and Software for Big Science. 2019; 3(1):5. (In Eng.) doi: https://doi.org/10.1007/s41781-019-0022-7
Поступила 16.12.2021; одобрена после рецензирования 05.02.2022; принята к публикации 25.02.2022.
Submitted 16.12.2021; approved after reviewing 05.02.2022; accepted for publication 25.02.2022.
|Об авторах:|
Бондяков Алексей Сергеевич, инженер-программист Лаборатории информационных технологий имени М. Г. Мещерякова, Международная межправительственная организация Объединенный институт ядерных исследований (141980, Российская Федерация, г. Дубна, Московская область, ул. Жолио-Кюри, д. 6), кандидат технических наук, ORCID: https://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru
Кондратьев Андрей Олегович, инженер-программист Лаборатории информационных технологий имени М. Г. Мещерякова, Международная межправительственная организация Объединенный институт ядерных исследований (141980, Российская Федерация, г. Дубна, Московская область, ул. Жолио-Кюри, д. 6), ORCID: https://orcid.org/0000-0001-6203-9160, konratyev@jinr.ru Кулиев Джейхун Акиф-оглы, инженер, Институт физики НАН Азербайджана (А2-1143, Азербайджан, г. Баку, пр. Г. Джавида, д. 33), ORCID: https://orcid.org/0000-0003-0296-1131, guliyev.ceyhun@gmail.com
Все авторы прочитали и одобрили окончательный вариант рукописи.
About the authors:
Aleksey S. Bondyakov, Software Engineer of the Meshcheryakov Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie St., Dubna 141980, Moscow region, Russian Federation), Cand.Sci. (Tech.), ORCID: https://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru
Andrey O. Kondratyev, Software Engineer of the Meshcheryakov Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie St., Dubna 141980, Moscow region, Russian Federation), ORCID: https://orcid.org/0000-0001-6203-9160, kon-ratyev@jinr.ru
Jeyhun A. Guliyev, Engineer, Institute of Physics of the National Academy of Sciences of Azerbaijan (33 G. Javid Ave., Baku AZ-1143, Azerbaijan), ORCID: https://orcid.org/0000-0003-0296-1131, guliyev.ceyhun@gmail.com
All authors have read and approved the final manuscript.
Современные информационные технологии и ИТ-образование
Том 18, № 1. 2022 ISSN 2411-1473 sitito.cs.msu.ru
