CC BY
6
ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ / PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, GPU PROGRAMMING
УДК 004.056.53
DOI: 10.25559/SITITO.17.202101.724
Оригинальная статья
Модификация и миграция компонентов грид-сайта
А. С. Бондяков*, А. О. Кондратьев
Международная межправительственная организация Объединенный институт ядерных исследований, г. Дубна, Российская Федерация
141980, Российская Федерация, г. Дубна, Московская область, ул. Жолио-Кюри, д. 6 * aleksey@jinr.ru
Аннотация
Все компоненты грид-сайта связаны между собой рядом задач - безопасно принимать, обрабатывать, хранить и передавать данные, а также соответствовать определенным требованиям, предъявляемым к программному обеспечению грид-сайтов, состоящих в пуле крупных международных экспериментов, устанавливать наиболее актуальные версии промежуточного программного обеспечения и операционных систем, поддерживающих требуемые грид-сервисы. Актуальность программного обеспечения компонентов имеет огромное значение, так как от их работоспособности зависит состояние грид-сайта в целом. ATLAS, CMC, ALICE, LHCb и другие эксперименты международного уровня отслеживают состояние грид-сайтов своего пула на предмет актуальности программного обеспечения компонентов. На сегодняшний день, такие международные эксперименты как ATLAS и ALICE рекомендуют своим грид-сайтам переход наиболее важного компонента грид-сайта - вычислительного элемента на ARC-CE или HTCondor-CE. В данной статье рассматривается миграция устаревшего компонента CREAM-CE на HTCondor-CE, а также модификация связанных с ним компонентов грид-сайта. Выбор программного продукта HTCondor-CE был обусловлен быстрой и эффективной поддержкой со стороны разработчика на всех этапах установки и тестирования, не сложной схемой установки и конфигурирования сервисов HTCondor-CE, качественной технической документацией данного продукта. Тестирование модифицированных узлов грид-сайта «AZ-IFAN» проводилось посредством системы мониторинга дата-центра института Физики НАН Азербайджана на базе платформы Zabbix, а также системой мониторинга EGI на базе платформы Nagios. После получения положительных результатов тестирования, проводилась оценка производительности сервисов HTCondor-CE, специализированными средствами мониторинга системы Harvester, эксперимента ATLAS (CERN).
Ключевые слова: грид-сайт, грид-сервис, вычислительные ресурсы, вычислительный элемент.
Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Бондяков, А. С. Модификация и миграция компонентов грид-сайта / А. С. Бондяков, А. О. Кондратьев. - DOI 10.25559^ГПТО.17.202101.724 // Современные информационные технологии и ИТ-образование. - 2021. - Т. 17, № 1. - С. 44-51.
I© Бондяков А. С., Кондратьев А. О., 2021|
• информационные и ИТ-образование
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Том 17, № 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, GPU PROGRAMMING
Modification and Migration of Components of the Grid-Site
A. S. Bondyakov*, A. O. Kondratyev
Joint Institute for Nuclear Research, Dubna, Russian Federation 6 Joliot-Curie St., Dubna 141980, Moscow region, Russian Federation * aleksey@jinr.ru
Abstract
All components of a grid site are interconnected by a number of tasks - to securely receive, process, store and transmit data, as well as meet certain requirements for the software of grid sites that are in the pool of large international experiments, install the most current versions of middleware, and operating systems that support the required grid services. The relevance of the software components is of great importance, since the state of the grid site as a whole depends on their performance. ATLAS, CMC, ALICE, LHCb and other international experiments monitor the state of their pool Grid sites for the relevance of their software components. Today, international experiments such as ATLAS and ALICE recommend their grid sites to migrate the most important component of a grid site - a computing element to ARC-CE or HTCondor-CE. This article discusses the migration of the legacy CREAM-CE component to HTCondor-CE, as well as the modification of the associated components of the grid site. The choice of the HTCondor-CE software product was determined by the quick and effective support from the developer at all stages of installation and testing, not a complicated scheme for installing and configuring HTCondor-CE services, and high-quality technical documentation of this product. Testing of the modified nodes of the AZ-IFAN grid site was carried out using the monitoring system of the data center of the Institute of Physics of the National Academy of Sciences of Azerbaijan based on the Zabbix platform, as well as the EGI monitoring system based on the Nagios platform. After receiving positive test results, the performance of HTCondor-CE services was assessed using specialized monitoring tools of the Harvester system, the ATLAS experiment (CERN).
Keywords: grid-site, grid-service, computing resources, computing element.
The authors declare no conflict of interest.
For citation: Bondyakov A.S., Kondratyev A.O. Modification and Migration of Components of the Grid-Site. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2021; 17(1):44-51. DOI: https://doi.org/10.25559/SITITO.17.202101.724
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
Введение
На сегодняшний день, благодаря грид-технологиям, которые дают возможность формировать географически распределенные гетерогенные вычислительные инфраструктуры, научно-исследовательские и образовательные центры, получают возможность активно участвовать в таких крупных международных проектах1 как ATLAS, CMC, LHCb, ALICE [1, 2, 3]. Вычислительная инфраструктура, созданная с помощью грид-техно-логий, называется грид-сайтом и представляет собой набор компонентов специализированного программного обеспечения — грид-сервисов, которые сконфигурированы для эффективного взаимодействия друг с другом и предоставляют пользователям безопасный доступ к различным программным пакетам, необходимым для решения задач, а также к ресурсам хранения данных, облачным ресурсам, вычислительным ресурсам и т.д.
Грид-сайты, в зависимости от принадлежности к проекту, объединены в иерархическую структуру, в которой каждый грид-сайт имеет свой ресурсный уровень [4]. Каждый уровень грид-сайта — это определенный набор компонентов — грид-сервисов. Например, грид-сайты уровня Tierl, в обязательном порядке имеют такие грид-сервисы как DPM, SRM, dCache представляющие собой системы безопасного хранения и передачи данных в рамках своей иерархической грид инфраструктуры. Кроме вышеперечисленного, к наиболее важным и основополагающим грид-сервисам относится вычислительный элемент (CE — Computing Element). Это специальная конфигурация программного обеспечения, которую можно охарактеризовать как точку входа для различных виртуальных организаций или пользователей, которая предоставляет возможность принимать запросы на временное выделение локальных вычислительных ресурсов. В результате запроса, запускается процесс авторизации, и в случае успешной авторизации формируется программная среда необходимая для решения задач пользователей, выделяются требуемые ресурсы в локальной системе управления распределенными пакетными задачами куда и будет делегирован данный запрос [5, 6]. Принимая участие в международном эксперименте, грид-сайт обязуется выполнять определенные требования, предъявляемые всем грид-сайтам — участникам эксперимента. Это в первую очередь, бесперебойная работа (24/7) всех компонентов грид-сайта, строго регламентированная процедура остановки работы компонентов грид-сайта, в случае замены оборудования, форс-мажорных обстоятельств и т.д., а также поддержка актуальных версий программного обеспечения компонентов, для безопасного и бесперебойного обмена данными между ресурсными центрами экспериментов, грид-сайтами и пользователями.
Такие международные организации как EGI — European Grid Infrastructure и OSG — Open Science Grid также, формируют и отслеживают, посредством различных средств мониторинга, выполнение основных требований, предъявляемых к программному обеспечению грид-сайтов. Наиболее актуальным требованием за последний год является замена программ-
ного обеспечения вычислительного элемента грид-сайтов CREAM-CE который был наиболее популярным в грид среде, на HTCondor-CE или ARC-CE в связи с прекращением поддержки CREAM-CE со стороны разработчиков. Такое требование для грид-сайтов своего пула поступило от международных проектов ЦЕРНа — ATLAS и ALICE. HTCondor-CE и ARC-CE как и CREAM-CE, представляют собой программное обеспечение с открытым исходным кодом. Это высоконагруженные системы, предназначенные для обработки больших потоков информации [7, 8].
Цель исследования
Представить наиболее важные детали модификации и миграции компонентов грид-сайта, а также провести тестирование полученной в результате модификации, новой конфигурации грид-сайта различными системами мониторинга на предмет его корректной работы в рамках эксперимента ATLAS.
Основная часть
Сравнивая HTCondor-CE и ARC-CE в качестве новых вычислительных элементов для грид-сайта, важно выделить хорошее взаимодействие ARC-CE с такими грид-сервисами как DPM и dCache, выполняющие функции систем хранения и предоставление данных, в отличие от HTCondor-CE, у которого на сегодняшний день, такое взаимодействие отсутствует. Вычислительный элемент ARC-CE, разработан грид сообществом NORDUGRID (https://www.nordugrid.org/arc/ce/), HTCondor-CE — разработан грид сообществом OSG. Оба грид-сервиса хорошо зарекомендовали себя в качестве надежного программного обеспечения для грид-сайтов. Учитывая успешный опыт использования HTCondor-CE в OSG, разработчики оптимизировали его функционал для работы в EGI. Изучив сравнительные характеристики вычислительных элементов ARC-CE и HTCondor-CE, можно сделать вывод, что ARC-CE будет наиболее эффективен для больших грид-сайтов, имеющих широкий набор грид-сервисов. Такие грид-сайты предоставляют доступ не только к вычислительным ресурсам, но и к большому дисковому пространству. Выбор HTCondor-CE представляется более удобным решением для небольших грид-сайтов с минимальным набором грид-сервисов, предоставляющих доступ только к вычислительным ресурсам, так как, после установки "из коробки" настройки HTCondor-CE по умолчанию, оптимизированы как раз для работы с небольшими грид-сайтами. Кроме того, можно выделить относительно простую схему установки и настройки HTCondor-CE, и что немаловажно, оперативную поддержку со стороны разработчика [9, 10, 11].
В качестве примера миграции вычислительного элемента CREAM-CE на HTCondor-CE и модификации связанных с ним грид-сервисов, был выбран грид-сайт "AZ-IFAN" института Физики НАН Азербайджана, предоставляющий на сегодняшний день, минимальный набор грид-сервисов для эксперимента ATLAS [12, 13]. Работа по модификации вычислительного
1 Кореньков В. В., Кутовский Н. А., Бондяков A. C. Грид-сайт для ЦЕРН [Электронный ресурс] // Открытые системы. СУБД. 2018. № 03. URL: https://www.osp. ru/os/2018/03/13054506 (дата обращения: 27.01.2021).
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021
ISSN 2411-1473
sitito.cs.msu.ru
PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, GPU PROGRAMMING
элемента выполнена в рамках совместного проекта ОИЯИ — Азербайджан.
Грид-сайт "AZ-IFAN" представлен следующим набором компонентов:
• Вычислительный элемент (CE);
• Система авторизации Argus;
• Система аккаунтинга APEL;
• Сервис публикации актуальных данных о ресурсах и программном обеспечении грид-сайта Site-BDII.
Все вышеперечисленные грид-сервисы работают в тесном взаимодействии друг с другом. Выход из строя одного из сервисов приводит к некорректной работе всего сайта в целом. Кроме вышеперечисленных грид-сервисов, грид-сайт также включает в себя так называемую batch-систему или систему пакетной обработки данных, куда направляются задачи удаленных пользователей или организаций.
Р и с. 1. Схема работы грид-сайта «AZ-IFAN» F i g. 1. Grid-site operation scheme "AZ-IFAN"
Схему работы грид-сайта можно описать следующим образом: как было указано выше, вычислительный элемент, принимает запрос от пользователя или организации на выделение ресурсов для выполнения расчетных задач. Данный запрос, обрабатывается в системе авторизации Argus которая, на основе политик безопасности грид-сайта (наличие сертификата x509, членство в виртуальных организациях, поддерживаемых грид-сайтом и т.д.), предоставляет доступ службам или грид-сервисам, работающих с ним в связке, а также разрешает или запрещает пользователю доступ к ресурсам грид-сайта. Если все критерии запроса соответствуют политикам безопасности Argus, он передается в локальную batch-систему грид-сайта и стартует процесс выполнения задачи. По завершению задачи (успешно или не успешно) результат регистрируется в журнале batch-системы и вычислительного элемента и по запросу предоставляется грид-сайтом владельцу задачи. Все успешно выполненные задачи посредством системы аккаунтинга APEL передаются EGI которая публикует их на специальном портале. Аккаунтингом называют данные, которые
включают в себя такие детали, как количество выполненных задач, использование процессорных ресурсов на вычислительных узлах, информация о виртуальных организациях и т.д. В свою очередь, грид-сервис Site-BDII, отслеживает работу вычислительного элемента и batch-системы и также передает данные мониторинга в EGI [14, 15, 16].
Миграция и модификация компонентов грид-сайта "AZ-IFAN" включала в себя замену устаревшего программного обеспечения вычислительного элемента CREAM-CE, которое работало в связке с локальной batch-системой torque/MAUI на HTCondor-CE, а также переход на новую версию грид-сервиса Site-BDII и настройка взаимодействия между этими грид-сервисами. В качестве новой batch-системы была выбрана и установлена новая система пакетной обработки данных HTCondor, которая хорошо зарекомендовала себя в OSG для высокопроизводительных вычислений, и самое главное хорошо совместима с HTCondor-CE. На вычислительных узлах грид-сайта были установлены и настроены, необходимые службы HTCondor. Таким образом была сформирована новая связка — вычислительный элемент HTCondor-CE + batch-система HTCondor Для установки HTCondor и HTCondor-CE использовались ре-позитории с сайта https://research.cs.wisc.edu/htcondor/yum/. Так как грид-сайт работает в EGI, был установлен обязательный для вычислительного элемента набор корневых сертификатов EGI, необходимых для авторизации запросов пользователей или организаций. Все настройки переменных HTCondor и HTCondor-CE были выполнены вручную без использования puppet шаблонов и конфигураторов [17, 18, 19]. Установка пакетов HTCondor и HTCondor-CE, включая необходимые пакеты для работы грид-сервисов APEL и Site-BDII, настройка взаимодействия между собой, была выполнена на основе инструкций и примеров, представленных на сайте разработчика [20, 21, 22].
Для настройки аутентификации запросов от внешних пользователей и виртуальных организаций, HTCondor-CE предлагает несколько вариантов: например, использовать систему авторизации mapfile. В этом случае, при соответствующей настройке, запросы пользователей сопоставляются с локальными учетными записями операционной системы, в которой работает HTCondor-CE, посредством защищенной, делегируемой связи между программным обеспечением — Grid Security Infrastructure (GSI). Или использовать внешние системы авторизации, такие как Argus. Первый вариант проще, но в нашем случае второй вариант был более предпочтительным, так как система Argus уже используется грид-сайтом для аутентификации запросов. Для согласования HTCondor-CE с системой авторизации Argus и грид-сервисом Site-BDII, внесены необходимые данные в конфигурационные файлы этих систем. Для подключения к системе Argus, в файлах настроек HTCondor-CE создан дополнительный конфигурационный файл, содержащий необходимые данные для авторизации [23, 24]. Для модификации грид-сервиса Site-BDII в его конфигурационный файл, были внесены данные о новом вычислительном элементе (CE). Для взаимосвязи грид-сервиса Site-BDII и HTCondor-CE, последний использует службу LDAP, посредством которой осуществляется передача информации грид-сервису Site-BDII о ресурсах, которые использует bath-система HTCondor Для этого, в конфигурационный файл службы LDAP, который на-
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ходится в файлах настроек HTCondor, внесены такие данные как — виртуальные организации, поддерживаемые грид-сай-том (ATLAS, OPS, SEE), имя грид-сайта в системе GOCDB — "AZ-IFAN", а также указана информационная модель, используемая в производственной информационной системе EGI / WLCG: GLUE 2. [25, 26, 27].
Такие эксперименты как ATLAS, CMS, ALICE и LHCb запускают на грид-сайтах ежесуточно большое количество задач. HTCondor-CE располагает инструментарием, который поможет расставить нужные приоритеты для каждого эксперимента или виртуальной организации. Таким инструментом является Job Router В настройках Job Router можно указать общую квоту для поступающих задач, а также максимальное
количество задач для каждого эксперимента или виртуальной организации. Если количество поступающих запросов превышают установленную квоту, запросы будут игнорироваться HTCondor-CE.
Оценки эффективности и работоспособности грид-сайта «AZ-IFAN» с учетом нового вычислительного элемента HTCondor-CE проводились средствами мониторинга эксперимента ATLAS (CERN).
На рис.2 представлены данные мониторинга о выполненных задачах эксперимента ATLAS, которые ежесуточно запускаются посредством системы Harvester (CERN). На рис.3 показаны данные мониторинга грид-сервисов HTCondor-CE и Site-BDII.
Р и с. 2. Скриншот с портала мониторинга ATLAS2 F i g. 2. Screenshot from the ATLAS monitoring portal2
Р и с. 3. Скриншот с портала мониторинга EGI3 F i g. 3. Screenshot from the EGI monitoring portal3
2 ARGO — GRNET [Электронный ресурс]. URL: https://egi.ui.argo.grnet.gr (дата обращения: 27.01.2021).
3 Там же.
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021
ISSN 2411-1473
sitito.cs.msu.ru
PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, GPU PROGRAMMING
Полученные результаты
В результате проведенных исследований, представлены наиболее важные детали модификации и миграции компонентов грид-сайта "AZ-IFAN". Посредством различных систем мониторинга проведен ряд успешных тестов на работоспособность новой конфигурации данного грид-сайта.
Заключение
Представлена схема работы и наиболее важные структурные компоненты грид-сайта «AZ-IFAN». Успешно проведенные тесты, средствами мониторинга ATLAS и EGI, показали эффективную работу грид-сайта в целом и нового вычислительного элемента HTCondor-CE в частности.
€писок использованных источников
[1] Бондяков, А. С. Миграция грид-сервиса CREAM-CE на HTCondor-CE / А. С. Бондяков, Н. А. Гусейнов, Д. А. Кулиев, А. О. Кондратьев // Системный администратор.
— 2021. — № 3(220). — С. 78-80. — URL: https://www. elibrary.ru/item.asp?id=44836940 (дата обращения: 27.01.2021). — Рез. англ.
[2] Бондяков, А. С. Миграция сервисов вычислительных узлов грид-сайта AZ-IFAN на ОС Scientific Linux 7 / А. С. Бондяков, Н. А. Гусейнов, Д. А. Кулиев, А. О. Кондратьев. — DOI 10.25559/SITIT0.15.201903.611-618 // Современные информационные технологии и ИТ-образование. — 2019. — Т. 15, № 3. — С. 611-618. — Рез. англ.
[3] Ryu, G. Establishment of new WLCG Tier Center using HT-Condor-CE on UMD middleware / G. Ryu, S.-Y. Noh. — DOI 10.1051/epjconf/201921408020 // EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). — 2019. — Vol. 214. — Article 08020.
[4] Weitzel, D. Contributing opportunistic resources to the grid with HTCondor-CE-Bosco / D. Weitzel, B. Bockelman.
— DOI 10.1088/1742-6596/898/9/092026 // Journal of Physics: Conference Series. — 2017. — Vol. 898, Track 7: Middleware, Monitoring and Accounting. — Article 092026.
[5] Bockelman, B. Commissioning the HTCondor-CE for the Open Science Grid / B. Bockelman, T. Cartwright, J. Frey, E. M. Fajardo, B. Lin, M. Selmeci, T. Tannenbaum, M. Zvada.
— DOI 10.1088/1742-6596/664/6/06200 // Journal of Physics: Conference Series. — 2015. — Vol. 664. — Article 062003.
[6] Bockelman, B. Interfacing HTCondor-CE with OpenStack / B. Bockelman, J. C. Bejar, J. Hover. — DOI 10.1088/17426596/898/9/092021 // Journal of Physics: Conference Series. — 2017. — Vol. 898. — Article 092021.
[7] Forti, A. C. Memory handling in the ATLAS submission system from job definition to sites limits / A. C. Forti, R. Walker, T. Maeno, P. Love, N. Rauschmayr, A. Filipcic, A. Di Girolamo.
— DOI 10.1088/1742-6596/898/5/052004 // Journal of Physics: Conference Series. — 2017. — Vol. 898. — Article 052004.
[8] Berghaus, F. High-Throughput Cloud Computing with the
Cloudscheduler VM Provisioning Service / F. Berghaus, K. Casteels, C. Driemel, M. Ebert, F. F. Galindo, C. Leavett-Brown, D. MacDonell, M. Paterson, R. Seuster, R. J. Sobie, S. Tolkamp, J. Weldon. — DOI 10.1007/s41781-020-0036-1 // Computing and Software for Big Science. — 2020. — Vol. 4. — Article 4.
[9] Taylor, R. P. Consolidation of cloud computing in ATLAS / R. P. Taylor [et al.]. — DOI 10.1088/1742-6596/898/5/052008 // Journal of Physics: Conference Series. — 2017. — Vol. 898. — Article 052008.
[10] Amoroso, A. A modular (almost) automatic set-up for elastic multi-tenants' cloud (micro)infrastructures / A. Amoroso [et al.]. — DOI 10.1088/1742-6596/898/8/082031 // Journal of Physics: Conference Series. — 2017. — Vol. 898. — Article 082031.
[11] Charpentier, P. LHC Computing: past, present and future / P. Charpentier — DOI 10.1051/epjconf/201921409009 // EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). — 2019. — Vol. 214. — Article 09009.
[12] Бондяков, А. С. Инфраструктура и основные задачи дата-центра института физики НАН Азербайджана / А. С. Бондяков // CEUR Workshop Proceedings. — 2017. — Т. 1787. — С. 150-155. — URL: http://ceur-ws. org/Vol-1787/150-155-paper-25.pdf (дата обращения: 27.01.2021). — Рез. англ.
[13] Бондяков, А. С. Основные режимы работы системы предотвращения вторжений (IDS/IPS Suricata) для вычислительного кластера / А. С. Бондяков. — DOI 10.25559/ SITITO.2017.3.629 // Современные информационные технологии и ИТ-образование. — 2017. — Т. 13, № 3. — С. 31-37. — Рез. англ.
[14] Filozova, A. Concept of JINR Corporate Information System / A. Filozova, M. V. Bashashin, V. V. Korenkov, S. V. Kuni-aev, G. Musulmanbekov, R. N. Semenov, G. V. Shestakova, T. A. Strizh, P. V. Ustenko, T. N. Zaikina. — DOI 10.1134/ S1547477116050204 // Physics of Particles and Nuclei Letters. — 2016. — Vol. 13, issue 5. — Pp. 625-628.
[15] Aiftimiei, D. C. Abstracting application deployment on Cloud infrastructures / D. C. Aiftimiei, E. Fattibene, R. Gargana, M. Panella, D. Salomoni. — DOI 10.1088/17426596/898/8/082053 // Journal of Physics: Conference Series. — 2017. — Vol. 898, Track 6: Infrastructures. — Article 082053.
[16] Taylor, R. P. The Evolution of Cloud Computing in ATLAS / R. P. Taylor, F. Berghaus, F. Brasolin, C. J. D. Cordiero, R. Desmarais, L. Field, I. Gable, D. Giordano, A. Di Girolamo, J. Hover, M. LeBlanc, P. Love, M. Paterson, R. Sobie, A. Zaytsev. — DOI 10.1088/1742-6596/664/2/022038 // Journal of Physics: Conference Series. — 2015. — Vol. 664. — Article 022038.
[17] Baranov, A. V. JINR cloud infrastructure evolution / A. V. Ba-ranov, N. A. Balashov, N. A. Kutovskiy, R. N. Semenov. — DOI 10.1134/S1547477116050071 // Physics of Particles and Nuclei Letters. — 2016. — Vol. 13, issue 5. — Pp. 672-675.
[18] Баранов, А. В. Подходы к интеграции облачных инфраструктур / А. В. Баранов, В. В. Кореньков, В. В. Юрченко, Н. А. Балашов, Н. А. Кутовский, Р. Н. Семёнов, С. Я. Свистунов. — DOI 10.20537/2076-7633-2016-8-3-583-590
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
// Компьютерные исследования и моделирование. — 2016. — Т. 8, № 3. — C. 583-590. — Рез. англ.
[19] Barreiro Megino, F. H. PanDA for ATLAS distributed computing in the next decade / F. H. Barreiro Megino [et al.].
— DOI 10.1088/1742-6596/898/5/052002 // Journal of Physics: Conference Series. — 2017. — Vol. 898, Track 3: Distributed Computing. — Article 052002.
[20] Blomer, J. New directions in the CernVM file system / J. Blomer [et al.]. — DOI 10.1088/1742-6596/898/6/062031 // Journal of Physics: Conference Series. — 2017. — Vol. 898. — Article 062031.
[21] Charpentier, P. Benchmarking worker nodes using LHCb productions and comparing with HEPSpec06 / P. Charpentier. — DOI 10.1088/1742-6596/898/8/082011 // Journal of Physics: Conference Series. — 2017. — Vol. 898, Track 6: Infrastructures. — Article 082011.
[22] Furano, F. Dynamic federation of grid and cloud storage / F. Furano, O. Keeble, L. Field. — DOI 10.1134/ S1547477116050186 // Physics of Particles and Nuclei Letters. — 2016. — Vol. 13, issue 5. — Pp. 629-633.
[23] Berghaus, F. Federating distributed storage for clouds in ATLAS / F. Berghaus [et al.]. — DOI 10.1088/17426596/1085/3/032027 // Journal of Physics: Conference Series. — 2018. — Vol. 1085. — Article 032027.
[24] Ebert, M. Using a dynamic data federation for running Belle-II simulation applications in a distributed cloud environment / M. Ebert [et al.]. — DOI 10.1051/epjconf/201921404026 // EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). — 2019. — Vol. 214. — Article 04026.
[25] Abramson, D. Translation computer science — Overview of the special issue / D. Abramson, M. Parashar, P. Arzberger.
— DOI 10.1016/j.jocs.2020.101227 // Journal of Computational Science. — 2020. — Vol. 52. — Article 101227.
[26] Fajardo, E. Adapting LIGO workflows to run in the Open Science Grid / E. Fajardo, F. Wuerthwein, B. Bockelman, M. Livny, G. Thain, J. A. Clark, P. Couvares, J. Willis. — DOI 10.1016/j.softx.2021.100679 // SoftwareX. — 2021. — Vol. 14. — Article 100679.
[27] Bockelman, B. Principles, Technologies, and Time: The Translational Journey of the HTCondor-CE / B. Bockelman, M. Livny, B. Lin, F. Prelz. — DOI 10.1016/j.jocs.2020.101213 // Journal of Computational Science. — 2021. — Vol. 52. — Article 101213.
Поступила 27.01.2021; одобрена после рецензирования 19.02.2021; принята к публикации 20.03.2021.
|об авторах:|
Бондяков Алексей Сергеевич, инженер-программист Лаборатории информационных технологий, Международная межправительственная организация Объединенный институт ядерных исследований (141980, Российская Федерация, г. Дубна, Московская область, ул. Жолио-Кюри, д. 6), кандидат технических наук, ORCID: http://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru
Кондратьев Андрей Олегович, инженер-программист Лаборатории информационных технологий, Международная
межправительственная организация Объединенный институт ядерных исследований (141980, Российская Федерация, г. Дубна, Московская область, ул. Жолио-Кюри, д. 6), ORCID: http://orcid.org/0000-0001-6203-9160, konratyev@jinr.ru
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[1] Bondyakov A.S., Huseynov N.A., Guliyev J.A., Kondratyev A.O. Migration of the CREAM-CE grid service to HTCondor-CE. Sistemnyj administrator = System Administrator Journal. 2021; (3):78-80. Available at: https://www.elibrary.ru/ item.asp?id=44836940 (accessed 27.01.2021). (In Russ., abstract in Eng.)
[2] Bondyakov A.S., Huseynov N.A., Guliyev J.A., Kondratyev A.O. Migration the services of computing nodes of the AZ-IFAN grid site on Scientific Linux 7. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):611-618. (In Russ., abstract in Eng.) DOI: https://doi.org/10.25559/SITI-T0.15.201903.611-618
[3] Ryu G., Noh S.-Y. Establishment of new WLCG Tier Center using HTCondor-CE on UMD middleware. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:08020. (In Eng.) DOI: https://doi.org/10.1051/epj-conf/201921408020
[4] Weitzel D., Bockelman B. Contributing opportunistic resources to the grid with HTCondor-CE-Bosco. Journal of Physics: Conference Series. 2017; 898:092026. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/9Z092026
[5] Bockelman B., Cartwright T., Frey J., Fajardo E.M., Lin B., Sel-meci M., Tannenbaum T., Zvada M. Commissioning the HTCondor-CE for the Open Science Grid. Journal of Physics: Conference Series. 2015; 664:062003. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/664/6/06200
[6] Bockelman B., Bejar J.C., Hover J. Interfacing HTCondor-CE with OpenStack. Journal of Physics: Conference Series. 2017; 898:092021. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/9/092021
[7] Forti A.C., Walker R., Maeno T., Love P., Rauschmayr N., Filip-cic A., Di Girolamo A. Memory handling in the ATLAS submission system from job definition to sites limits. Journal of Physics: Conference Series. 2017; 898:052004. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/5/052004
[8] Berghaus F., Casteels K., Driemel C., Ebert M., Galindo F.F., Leavett-Brown C., MacDonell D., Paterson M., Seuster R., Sobie R.J., Tolkamp S., Weldon J. High-Throughput Cloud Computing with the Cloudscheduler VM Provisioning Service. Computing and Software for Big Science. 2020; 4:4. (In Eng.) DOI: https://doi.org/10.1007/s41781-020-0036-1
[9] Taylor R.P. et al. Consolidation of cloud computing in ATLAS. Journal of Physics: Conference Series. 2017; 898:052008. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/5/052008
[10] Amoroso A. et al. A modular (almost) automatic set-up for
Современные информационные технологии и ИТ-образование
Том 17, № 1. 2021
ISSN 2411-1473
sitito.cs.msu.ru
elastic multi-tenants' cloud (micro)infrastructures. Journal of Physics: Conference Series. 2017; 898:082031. (In Eng.) DOI: https://doi.Org/10.1088/1742-6596/898/8/082031
[11] Charpentier P. LHC Computing: past, present and future. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:09009. (In Eng.) DOI: https://doi.org/10.1051/ epjconf/201921409009
[12] Bondyakov A.S. Infrastructure and main tasks of the data-center of the institute of physics of the National Academy of Sciences of Azerbaijan. CEUR Workshop Proceedings. 2017; 1787:150-155. Available at: http://ceur-ws.org/Vol-1787/150-155-paper-25.pdf (accessed 27.01.2021). (In Russ., abstract in Eng.)
[13] Bondyakov A.S. The Basic Modes of the Intrusion Prevention System (IDS/IPS Suricata) for the Computing Cluster Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2017; 13(3):31-37. (In Russ., abstract in Eng.) DOI: https://doi. org/10.25559/SITITO.2017.3.629
[14] Filozova A., Bashashin M.V., Korenkov V.V., Kuniaev S.V., Mu-sulmanbekov G., Semenov R.N., Shestakova G.V., Strizh T.A., Ustenko P.V., Zaikina T.N. Concept of JINR Corporate Information System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. (In Eng.) DOI: https://doi.org/10.1134/ S1547477116050204
[15] Aiftimiei D.C., Fattibene E., Gargana R., Panella M., Sa-lomoni D. Abstracting application deployment on Cloud infrastructures. Journal of Physics: Conference Series. 2017; 898(8):082053. (In Eng.) DOI: https://doi. org/10.1088/1742-6596/898/8/082053
[16] Taylor R.P., Berghaus F., Brasolin F., Cordiero C.J.D., Desmarais R., Field L., Gable I., Giordano D., Di Girolamo A., Hover J., LeBlanc M., Love P., Paterson M., Sobie R., Zaytsev A. The Evolution of Cloud Computing in ATLAS. Journal of Physics: Conference Series. 2015; 664:022038. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/664/2/022038
[17] Baranov A.V., Balashov N.A., Kutovskiy N.A., Semenov R.N. JINR cloud infrastructure evolution. Physics of Particles and Nuclei Letters. 2016; 13(5):672-675. (In Eng.) DOI: https:// doi.org/10.1134/S1547477116050071
[18] Baranov A.V., Korenkov V.V., Yurchenko V.V., Balashov N.A., Kutovskiy N.A., Semenov R.N., Svistunov S.Y. Approaches to cloud infrastructures integration. Computer Research and Modeling. 2016; 8(3):583-590. (In Russ., abstract in Eng.) DOI: https://doi.org/10.20537/2076-7633-2016-8-3-583-590
[19] Barreiro Megino F.H. et al. PanDA for ATLAS distributed computing in the next decade. Journal of Physics: Conference Series. 2017; 898:052002. (In Eng.) DOI: https://doi. org/10.1088/1742-6596/898/5/052002
[20] Blomer J. et al. New directions in the CernVM file system. Journal of Physics: Conference Series. 2017; 898:062031. (In Eng.) DOI: https://doi.org/10.1088/1742-6596/898/6/062031
[21] Charpentier P. Benchmarking worker nodes using LHCb productions and comparing with HEPSpec06. Journal of Physics: Conference Series. 2017; 898:082011. (In Eng.) DOI:
https://doi.Org/10.1088/1742-6596/898/8/082011
[22] Furano F., Keeble O., Field L. Dynamic federation of grid and cloud storage. Physics of Particles and Nuclei Letters. 2016; 13(5):629-633. (In Eng.) DOI: https://doi.org/10.1134/ S1547477116050186
[23] Berghaus F. et al. Federating distributed storage for clouds in ATLAS. Journal of Physics: Conference Series. 2018; 1085:032027. (In Eng.) DOI: https://doi. org/10.1088/1742-6596/1085/3/032027
[24] Ebert M. et al. Using a dynamic data federation for running Belle-II simulation applications in a distributed cloud environment. EPJ Web of Conferences: 23rd International Conference on Computing in High Energy and Nuclear Physics (CHEP 2018). 2019; 214:04026. (In Eng.) DOI: https://doi. org/10.1051/epjconf/201921404026
[25] Abramson D., Parashar M., Arzberger P. Translation computer science — Overview of the special issue. Journal of Computational Science. 2020; 52:101227. (In Eng.) DOI: https://doi.org/10.1016/j.jocs.2020.101227
[26] Fajardo E., Wuerthwein F., Bockelman B., Livny M., Thain G., Clark J.A., Couvares P., Willis J. Adapting LIGO workflows to run in the Open Science Grid. SoftwareX. 2021; 14:100679. (In Eng.) DOI: https://doi.org/10.1016/j. softx.2021.100679
[27] Bockelman B., Livny M., Lin B., Prelz F. Principles, Technologies, and Time: The Translational Journey of the HTCon-dor-CE. Journal of Computational Science. 2021; 52:101213. (In Eng.) DOI: https://doi.org/10.1016/j.jocs.2020.101213
Submitted 27.01.2021; approved after reviewing 19.02.2021; accepted for publication 20.03.2021.
Aleksey S. Bondyakov, Software Engineer of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie St., Dubna 141980, Moscow region, Russian Federation), Ph.D. (Engineering), ORCID: http://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru
Andrey O. Kondratyev, Software Engineer of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie St., Dubna 141980, Moscow region, Russian Federation), ORCID: http://orcid.org/0000-0001-6203-9160, konratyev@jinr. ru
All authors have read and approved the final manuscript.
Vol. 17, No. 1. 2021 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
