CC BY
24
УДК 004.414.23, 519.876.5
DOI: 10.25559/SITITO.14.201802.368-373
ТЕХНОЛОГИЯ ВЗАИМОДЕЙСТВИЯ ALIEN И СУПЕРКОМПЬЮТЕРА TITAN
А.О. Кондратьев
Объединенный институт ядерных исследований, г. Дубна, Россия
ALIEN AND SUPERCOMPUTER TITAN INTERACTION TECHNOLOGY
Andrey O. Kondratyev
Joint Institute for Nuclear Research, Dubna, Russia
I© Кондратьев А.О., 2018|
Ключевые слова Аннотация
ALICE; Titan; PanDA; AliEn. Следующий запуск БАК подразумевает использование намного больших ресурсов, чем может пре-
доставить ГРИД. Для решения данной проблемы, ALICE занимается проектом по расширению существующей вычислительной модели для того, чтобы включить в нее дополнительные ресурсы, например, суперкомпьютер Titan.
В данной статье описана технология взаимодействия вычислительной среды AliEn и суперкомпьютера Titan, находящегося в Oak Ridge Leadership Computing Facility (OLCF). Эта технология использует PanDA (Production and Distributed Analysis System) WMS (Workload management system) для отправки задач в очередь пакетной обработки информации Titan и локального управления данными. Благодаря PanDA и Titan, эксперимент ALICE на Большом адронном коллайдере получает новые ресурсы для выполнения поставленных задач. Данная реализация была протестирована с применением задач ALICE.
AliEn (ALIce ENvironment) - распределенная вычислительная среда, разработанная для проекта ALICE Offline. Она позволяет получить доступ к распределенным вычислительным ресурсам и ресурсам хранения всем участникам эксперимента ALICE на Большом Адронном Коллайдере (БАК). В настоящее время AliEn позволяет обрабатывать задачи примерно на 100 000 вычислительных процессорах, использующихся в более чем 80 ГРИД сайтах по всему миру. Архитектура вычислительной среды на 99% состоит из импортированных компонентов с открытым кодом, что позволяет использовать функциональные возможности без их изменения. Для связи AliEn и ГРИД - инфраструктурой используется сервис VOBOX, позволяющий запускать собственные сервисы на вычислительных сайтах, а также обеспечивающий прямое взаимодействие с очередью пакетной обработки для запуска задач.
Keywords Abstract
ALICE; Titan; PanDA; AliEn. The next launch of the LHC involves using much more resources than GRID can provide. To solve this prob-
lem, ALICE is engaged in a project to expand the existing computing model in order to include additional resources in it, for example, Titan supercomputer
This article explores the interaction technology of the AliEn computing environment and the Titan supercomputer located in the Oak Ridge Leadership Computing Facility (OLCF). This technology uses the PanDA (Production and Distributed Analysis System) WMS (Workload management system) to send jobs to the Titan batch processing queue and local data management. Through PanDA and Titan, the ALICE experiment at the Large Hadron Collider receive new resources to fulfill the assigned tasks. This implementation was tested using ALICE jobs.
AliEn (ALIce ENvironment) is a distributed computing environment developed for the ALICE Offline project. It allows access to distributed computing resources and storage resources for all participants of the ALICE experiment at the Large Hadron Collider (LHC). Currently, AliEn allows to processing jobs on approximately 100,000 computing processors used in more than 80 GRID sites around the world. The architecture of the computing environment is 99% composed of imported components with open source, which makes possible to use the functionality without changing them. To connect AliEn and Grid infrastructure, used VOBOX service, which allows you to run your own services on computer sites, and also provides direct interaction with the batch processing queue for launching jobs.
|об авторе:|
Кондратьев Андрей Олегович, инженер-программист, Лаборатория информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская область, г. Дубна, ул. Жолио-Кюри, д. 6), ORCID: http://orcid.org/0000-0001-6203-9160, konratyev@jinr.ru
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Введение
Эксперимент ALICE (A Large Ion Collider Experiment) [1, 2, 3, 4] был основан для изучения взаимодействия тяжелых ионов, физики сильновзаимодействующей материи и квар-глюонной плазмы в ядерных столкновениях в Большом Адронном Коллай-дере (БАК). С момента старта БАК в 2008 году, эксперимент накопил и обработал несколько десятков петабайт данных по всему миру. Более 900 ученых ALICE из 28 стран мира ежедневно обращаются к этим данным для анализа.
Современные исследования в области физики высоких энергий невозможны без значительных вычислительных ресурсов. ALICE использует более 100 000 процессоров, развернутых в ГРИД [5, б, 7, 8, 9, 10, 11], охватывающих более 80 сайтов по всему миру. При следующем запуске БАК, ресурсов ГРИД - инфраструктуры будет достаточно для анализа и обработки данных, но она будет отставать от требований, предъявляемых к исследованиям. Поэтому очень важно найти дополнительные ресурсы. Для решения данной проблемы, ALICE разрабатывает проекты, направленные на расширения существующей вычислительной модели для того, чтобы включить в нее дополнительные ресурсы, такие как суперкомпьютеры, облачные технологии и т. д.
Цель исследования
Цель исследования данной статьи состоит в создании технологии взаимодействия вычислительной среды AliEn эксперимента ALICE на Большом Адронном коллайдере и суперкомпьютера Titan, находящегося в Oak Ridge Leadership Computing Facility.
Основная часть
Основными компонентами описываемой технологии являются Titan, PanDA и AliEn.
Суперкомпьютер Titan[12] является пятым суперкомпьютером в мире по данным списка Top 500[13], и расположен в Oak Ridge Leadership Computing Facility в Национальной Лаборатории Оук Ридж в США. Он имеет пиковую теоритическую производительность в 29 петафлопс. Titan стал первой крупномасштабной системой с гибридной архитектурой, одновременно использующей рабочие узлы с 16-ядерными процессорами AMD Opteron 6274 и графическими ускорителями NVIDIA Tesla K20. Он имеет 18,688 рабочих узлов с 299 008 процессорами. Каждый узел имеет 32 Гб оперативной памяти и использует Cray Gemini для передачи MPI сообщений другим узлам, но не имеет подключения к внешней сети. Titan обслуживается распределенной файловой системой Lustre, которая имеет 32 Пб дискового пространства и 29 Пб HPSS ленточного хранилища. Рабочие узлы Titan используют Compute Node Linux, который запускает программное окружение, основанное на ядре Linux, полученное с сервера SUSE Linux Enterprise.
PanDA является акронимом от Production and Distributed Analysis System. Эта система разработана для эксперимента ATLAS, являющимся одним из экспериментов БАК, с целью управления и распределения больших объемов данных. PanDA имеет масштабируемую и гибкую структуру, что позволяет быстро адаптироваться к новым технологиям в области обработки, хранения, а также промежуточного программного обеспечения.
PanDA является системой, основанной на Пилотах [14, 15, 16, 17, 18, 19, 20, 21]. В жизненном цикле задачи PanDA, пилотная
задача запускается на вычислительных сайтах. Когда эти пилотные задачи запускаются на вычислительных узлах, они связываются с центральным сервером для получения pay-load(пользовательской задачи) и выполняют её. Использование систем, основанных на Пилотах, позволяет оптимизировать использование ресурсов, а также сводит к минимуму многие проблемы, связанные с неоднородностями ГРИД.
Одним из успешных решений применения PanDA является объединение вычислительных ресурсов эксперимента ATLAS и суперкомпьютера Titan.
Интеграции реализована с помощью модифицированного Пилота PanDA для запуска задач в пакетной очереди Titan и локального управления данными. Это дает PanDA новую возможность сбора информации о неиспользуемых рабочих узлах Titan в режиме реального времени, что позволяет точно определить размер и продолжительность задач, запущенных на Titan, в соответствии с имеющимися свободными ресурсами. Эта возможность существенно снижает время ожидания задачи PanDA и одновременно повышает эффективность использования Ti-tan[22].
AliEn (ALIce ENvironment)[23, 24, 25] - распределенная вычислительная среда, разработанная для проекта ALICE Offline. Она позволяет получить доступ к распределенным вычислительным ресурсам и ресурсам хранения всем участникам эксперимента ALICE на Большом Адронном Коллайдере (БАК). Основная идея создания AliEn состоит в обеспечении функциональной вычислительной средой, удовлетворяющей потребности эксперимента, на этапе подготовки и, в то же время, предоставляющей устойчивый интерфейс для конечных пользователей.
AliEn был построен из множества компонентов с открытым исходным кодом. Это было сделано для того, чтобы повторно использовать их функциональные возможности, не изменяя их. Из всех 3 миллионов строк кода, только 1% является исходным кодом AliEn, остальные же 99% кода были импортированы в виде компонентов Open Source.
Для связи AliEn с ГРИД - инфраструктурой используется сервис VOBOX[26]. Он позволяет эксперименту запускать собственные сервисы на сайтах, обеспечивает прямое взаимодействие с очередью пакетной обработки информации для запуска задач, а также связь между задачами и центральными сервисами ALICE. VOBOX получает и хранит всю информацию о задачах, сервисах и системах хранения, запущенных на сайтах.
Взаимодействие AliEn и Titan происходит с помощью PanDA WMS, сервер которой расположен в облаке Amazon EC2 и позволяет отправлять задачи на Titan. Выбор облака Amazon EC2 был обусловлен тем, что в нем имелась установка сервера PanDA с возможностью отправки задач на Titan. Использование сервера осуществлялось с использованием технологий SSH, SSL и X509. Для прохождения авторизации на сервере необходимо создание прокси-сертификата пользователя [27].
Так как рабочие узлы Titan не имеют подключения к внешней сети, было выполнено копирование сегмента ALICE файловой системы CVMFS [28, 29, 30, 31, 32, 33] для того, чтобы обеспечить работу программного обеспечения ALICE.
Для корректной работы сервиса VOBOX выполнена установка клиента файловой системы CVMFS, а также самого сервиса VOBOX и среды AliEn на виртуальную машину в ЦЕРНе.
Для отправки задач на сервер PanDA и обеспечения их дальнейшего выполнения на Titan, был разработан компонент для среды AliEn.
Vol. 14, no 2. 2018 ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
VOBOXавтоматическицикличноосуществляет проверку задач, готовых к отправке на вычисление. Как только появляется задача, готовая к отправке, запускается компонент AliEn отправляющий эту задачу на сервер PanDA, осуществляющий дальнейшее выполнение задачи. На рисунке 1 представлена схема взаимодействия среды AliEn и суперкомпьютера Titan.
г л
AliEn Module for PanDA Server
4_У
VoBox
Рис. 1. Схема взаимодействия среды AliEn и суперкомпьютера Titan Fig. 1. Interaction scheme between AliEn and Titan supercomputer
Данная схема работает следующим образом, задача ALICE представляет собой файл с расширением .jdl. В данном файле содержится информация необходимая для запуска Пилота. Как только этот файл отправляется в сервис VOBOX, задача считается сформированной и готовой к отправке на вычисление. Получив задачу, VOBOX обращается к среде AliEn для её дальнейшей обработки. После получения всех необходимых входящих параметров от сервиса, AliEn запускает компонент формирования задачи для отправки на сервер PanDA.
Все компоненты AliEn написаны на языке программирования высокого уровня Perl. Основной причиной использования этого языка программирования является наличие большого количества компонентов с открытым кодом, обеспечивающим поддержку криптографии, платформы клиент-сервер, а также простую интеграцию с Веб-сервисами для мониторинга. Разработанный компонент AliEn формирует задачу PanDA, используя входящие параметры, переданные сервисом VOBOX, и отправляет их на сервер PanDA.
В работе [22] описана технология взаимодействия PanDA и суперкомпьютера Titan, а также представлена схема взаимодействия компонентов PanDA и Titan.
Получив задачу, сервер PanDA формирует Пилот, который в последствие запускает сценарии на рабочих узлах Titan. Он резервирует необходимое количество рабочих узлов во время отправки, и во время запуска будет запущено соответствующее количество сценариев. При запуске сценариев, после завершения всех необходимых подготовительных действий, произойдет фактический запуск payload как под-процесса, ожидающего завершения запущенных сценариев.
Результаты работы вышеописанной технологии наглядно показаны на Рис. 2. Данная диаграмма демонстрирует количество выполненных задач ALICE на Titan за ноябрь 2015 года. 1 декабря 2015 года общее число выполненных задач ALICE превысило 2,5 тысячи.
1.11 5.11 10.11 15.11 20.11 25.11 30.11
measurement dates, days
Рис. 2. Количество выполненных задач ALICE на Titan Fig. 2. Number of completed ALICE tasks on Titan
Результаты
В результате выполненной работы была разработана и реализована технология взаимодействия промежуточного программного обеспечения AliEn эксперимента ALICE на Большом адронном коллайдере и суперкомпьютера Titan, находящегося в Oak Ridge Leadership Computing Facility, с применением PanDA Workload Management System.
Заключение
Следующий запуск Большого Адронного Коллайдера поставит перед ALICE серьезные вычислительные задачи. Как ожидается, объемы данных возрастут в 5-6 раз. Хранение и обработка таких объемов данных является проблемой, которая не может быть решена существующими вычислительными ресурсами ALICE. Чтобы решить эту проблему ALICE занимается изучением использования суперкомпьютеров для высокопроизводительных вычислений для того, чтобы расширить свои ресурсы. В этой статье была описана технология взаимодействия вычислительной среды AliEn и суперкомпьютера Titan, находящегося в Oak Ridge Leadership Computing Facility (OLCF). В настоящее время подход использует компонент AliEn для формирования и отправки задач ALICE на сервер PanDA, находящийся в облаке Amazon EC2. Благодаря PanDA и Titan, эксперимент ALICE получит новые ресурсы для выполнения поставленных задач.
Список использованных источников
[1] ALICE: Physics Performance Report, Volume I / F. Carminati, P. Foka, P. Giubellino, A. Morsch, G. Paic, J-P Revol [et al.] // Journal of Physics G: Nuclear and Particle Physics. 2004. Vol. 30, no. 11. Pp. 1517-1763. DOI: 10.1088/0954-3899/30/11/001
[2] Buncic P., Gheata M., Schutz Y. Open access for ALICE anal-isys based on virtualization technology // Journal of Physics: Conference Series. 2015. Vol. 664, no. 3. Pp. 032008. DOI: 10.1088/1742-6596/664/3/032008
[3] Ploskon M. Overview of results from ALICE // Journal of Physics: Conference Series. 2014. Vol. 509, no. 1. Pp. 012003. DOI: 10.1088/1742-6596/509/1/012003
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
Andrey O. Kondratyev
Parallel and distributed programming, grid technologies,
programming on GPUs
371
[4] Abelev B. et al and The ALICE Coolaboration. Upgrade of the ALICE Experiment: Letter Of Intent // Journal of Physics G: Nuclear and Particle Physics. 2014. Vol. 41, no. 8. Pp. 087001. DOI: 10.1088/0954-3899/41/8/087001
[5] Foka P. and the ALICE Collaboration. Overview of results from [18] ALICE at the CERN LHC // Journal of Physics: Conference Series. 2013. Vol. 455, no. 1. Pp. 012004. DOI: 10.1088/17426596/455/1/012004
[6] Adam J. et al. ALICE Technical Design Report: Upgrade of
the Online - Offline computing system // Tech. rep., CERN, [19] CERN-LHCC-2015-006/ALICE-TDR-019, 2015. 184 p.
[7] Foster I., Kesselman C. The Grid: Blueprint for a New Computing Infrastructure. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1998. 677 p.
[8] Astakhov N.S., Baginyan A.S., Belov S.D. et al. JINR Tier-1 centre
for the CMS experiment at LHC // Physics of Particles and Nu- [20] clei Letters. 2016. Vol. 13, issue 5. Pp. 714-717. DOI: 10.1134/ S1547477116050046
[9] Berezhnaya A., Dolbilov A., Ilyin V, Korenkov V, Lazin Y., Lyalin I., Mitsyn V., Ryabinkin E., Shmatov S., Strizh T., Tikhonenko
E., Tkachenko I., Trofimov V, Velikhov V., Zhiltsov V. LHC Grid [21] Computing in Russia: present and future // Journal of Physics: Conference Series. 2014. Vol. 513, no. 6. Pp. 062041. DOI: 10.1088/1742-6596/513/6/062041
[10] Астахов Н.С., Белов С.Д., Горбунов И.Н., Дмитриенко П.В., Долбилов А.Г., Жильцов В.Е., Кореньков В.В., Мицын В.В., Стриж Т.А., Тихоненко Е.А., Трофимов В.В., Шматов С.В. [22] Автоматизированная система уровня Tier-1 обработки данных эксперимента CMS // Информационные технологии и вычислительные системы. 2013. № 4. С. 27-36.
URL: https://elibrary.ru/item.asp?id=21016914 (дата обращения: 25.04.2018). [23]
[11] Filozova I.A., Bashashin M.V., Korenkov V.V. et al. Concept of JINR Corporate Information System // Physics of Particles and Nuclei Letters. 2016. Vol. 13, issue 5. Pp. 625-628. DOI: 10.1134/S1547477116050204
[12] Oak Ridge National Laboratory [Электронный ресурс] // Ti- [24] tan at OLCF Web page. URL: https://www.olcf.ornl.gov/titan (дата обращения: 25.04.2018).
[13] TOP500 Supercomputer Sites [Электронный ресурс] // Top500 List. URL: http://www.top500.org_(дата обраще- [25] ния: 25.04.2018).
[14] Nilsson P. et al and The ALICE Coolaboration. The ATLAS PanDA Pilot in Operation // Journal of Physics: Conference Series. 2011. Vol. 331, no. 6. Pp. 062040. DOI: 10.1088/17426596/331/6/062040 [26]
[15] Klimentov A., De K., Jha S., Maeno T., Nilsson P., Oleynik D., Panitkin S., Wells J., Wenaus T. Integration of PanDA Workload Management System With Supercomputers for ATLAS and Data Intensive Science // Journal of Physics: Conference Series. 2016. Vol. 762, no. 1. Pp. 012021. DOI: 10.1088/1742- [27] 6596/762/1/012021
[16] De K., Klimentov A., Maeno T., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T. The future of PanDA in ATLAS distributed computing // Journal of Physics: Conference Series. 2015. Vol. 664, no. 6. Pp. 062035. [28] DOI: 10.1088/1742-6596/664/6/062035
[17] Klimentov A., Buncic P., De K., Jha S., Maeno T., Mount R., Nils-
son P., Oleynik D., Panitkin S., Petrosyan A., Porter R.J., Read K.F., [29] Vaniachine A., Wells J.C., Wenaus T. Next Generation Work-
load Management System For Big Data on Heterogeneous Distributed Computing // Journal of Physics: Conference Series. 2015. Vol. 608, no. 1. Pp. 012040. DOI: 10.1088/17426596/608/1/012040
Barreiro Megino F.H., De K, Klimentov A., Maeno T., Nilsson P., Oleynik D., Padolski S., Panitkin S., Wenaus T. PanDA for ATLAS distributed computing in the next decade // Journal of Physics: Conference Series. 2017. Vol. 898, no. 5. Pp. 052002. DOI: 10.1088/1742-6596/898/5/052002
Barreiro Megino F.H., De K., Jha S., Klimentov A., Maeno T., Nilsson P., Oleynik D., Padolski S., Panitkin S., Wells J., Wenaus T. Integration of Titan supercomputer at OLCF with ATLAS Production System // Journal of Physics: Conference Series. 2017. Vol. 898, no. 9. Pp. 092002. DOI: 10.1088/17426596/898/9/092002
Salvo A. De, Kataoka M., Sanchez Pineda A., Smirnov Y. The ATLAS Software Installation System v2: a highly available system to install and validate Grid and Cloud sites via Panda // Journal of Physics: Conference Series. 2015. Vol. 664, no. 6. Pp. 062012. DOI: 10.1088/1742-6596/664/6/062012 Maeno T., De K., Klimentov A., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T., Yu D. Evolution of the ATLAS PanDA workload management system for exascale computational science // Journal of Physics: Conference Series. 2014. Vol. 513, no. 3. Pp. 032062. DOI: 10.1088/1742-6596/513/3/032062
De K., Klimentov A., Oleynik D., Paniykin S., Petrosyan A, Schovancova J., Vaniachine A., Wenaus T. Integration of PanDA workload management system with Titan supercomputer at OLCF // Journal of Physics: Conference Series. 2015. Vol. 664, no. 9. Pp. 092020. DOI: 10.1088/1742-6596/664/9/092020 Buncic P., Peters A.J., Saiz P. The AliEn System, status and perspectives // Proceedings of 2003 Conference for Computing in High-Energy and Nuclear Physics. La Jolla, CA, USA, 2003. Pp. MOAT004. URL: http://cds.cern.ch/record/621982 (дата обращения: 25.04.2018).
Gomez A., Lara C., Kebschull U. Intrusion Prevention and Detection in Grid Computing - The ALICE Case // Journal of Physics: Conference Series. 2015. Vol. 664, no. 6. Pp. 062017. DOI: 10.1088/1742-6596/664/6/062017 Huang J., Saiz P., Betev L. et al. Grid Architecture and implementation for ALICE experiment // Proceedings of the 16th International Conference on Advanced Communication Technology (ICACT). Pyeongchang, 2014. Pp. 253-261. DOI: 10.1109/ICACT.2014.6779180
Lorenzo P.M. The management of the VOBOX [Электронный ресурс] // II Brazilian LHC Computing Workshop, 8-12 December, 2008. URL: https://www.sprace.org.br/workshops/ IIBLHCCW/scientific-program.html (дата обращения: 25.04.2018).
Kondratyev A. Интеграция эксперимента ALICE и суперкомпьютера Titan, с применением системы управления потоками заданий PanDA // CEUR Workshop Proceedings. 2017. Vol. 1787. Pp. 302-306. URL: http://ceur-ws.org/Vol-1787/302-306-paper-51.pdf (дата обращения: 25.04.2018). CERN CVMFS [Электронный ресурс] // CernVM File System. URL: https://cernvm.cern.ch/portal/filesystem (дата обращения: 25.04.2018).
Weitzel D., Bockelman B., Dykstra D., Blomer J., Meusel R. Accessing Data Federations with CVMFS // Journal of Phys-
Vol. 14, no 2. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
ics: Conference Series. 2017. Vol. 898, no. 6. Pp. 062044. DOI: 10.1088/1742-6596/898/6/062044
[30] Dykstra D., Bockelman B., Blomer J., Herner K, Levshina T., Slyz M. Engineering the CernVM-Filesystem as a High Bandwidth Distributed Filesystem for Auxiliary Physics Data // Journal of Physics: Conference Series. 2015. Vol. 664, no. 4. Pp. 042012. DOI: 10.1088/1742-6596/664/4/042012
[31] Dykstra D., Blomer J. Security in the CernVM File System and the Frontier Distributed Database Caching System // Journal of Physics: Conference Series. 2014. Vol. 513, no. 4. Pp. 042015. DOI: 10.1088/1742-6596/513/4/042015
[32] Bernazo D., Krzewicki M. The ALICE Software Release Validation cluster // Journal of Physics: Conference Series. 2015. Vol. 664, no. 2. Pp. 022006. DOI: 10.1088/17426596/664/2/022006
[33] Bernazo D., Blomer J., Buncic P., Charalampidis I., Ganis G., Meusel R. Lightweight scheduling of elastic analysis containers in a competitive cloud environment: a Docked Analysis Facility for ALICE // Journal of Physics: Conference Series. 2015. Vol. 664, no. 2. Pp. 022005. DOI: 10.1088/17426596/664/2/022005
Поступила 25.04.2018; принята в печать 10.06.2018; опубликована онлайн 30.06.2018.
References
[1] Carminati F., Foka P., Giubellino P., Morsch A., Paic G., Revol J-P. et al. ALICE: Physics Performance Report, Volume I. Journal of Physics G: Nuclear and Particle Physics. 2004; 30(11):1517-1763. DOI: 10.1088/0954-3899/30/11/001
[2] Buncic P., Gheata M., Schutz Y. Open access for ALICE analisys based on virtualization technology. Journal of Physics: Conference Series. 2015; 664(3):032008. DOI: 10.1088/17426596/664/3/032008
[3] Ploskon M. Overview of results from ALICE. Journal of Physics: Conference Series. 2014; 509(1):012003. DOI: 10.1088/17426596/509/1/012003
[4] Abelev B. et al and The ALICE Coolaboration. Upgrade of the ALICE Experiment: Letter Of Intent. Journal of Physics G: Nuclear and Particle Physics. 2014; 41(8):087001. DOI: 10.1088/0954-3899/41/8/087001
[5] Foka P. and the ALICE Collaboration. Overview of results from ALICE at the CERN LHC. Journal of Physics: Conference Series. 2013; 455(1):012004. DOI: 10.1088/17426596/455/1/012004
[6] Adam J. et al. ALICE Technical Design Report: Upgrade of the Online - Offline computing system. Tech. rep., CERN, CERN-LHCC-2015-006/ALICE-TDR-019, 2015. 184 p.
[7] Foster I., Kesselman C. The Grid: Blueprint for a New Computing Infrastructure. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1998. 677 p.
[8] Astakhov N.S., Baginyan A.S., Belov S.D. et al. JINR Tier-1 centre for the CMS experiment at LHC. Physics of Particles and Nuclei Letters. 2016; 13(5):714-717. DOI: 10.1134/ S1547477116050046
[9] Berezhnaya A., Dolbilov A., Ilyin V., Korenkov V., Lazin Y., Lyalin I., Mitsyn V., Ryabinkin E., Shmatov S., Strizh T., Tik-honenko E., Tkachenko I., Trofimov V., Velikhov V., Zhiltsov V. LHC Grid Computing in Russia: present and future. Jour-
nal of Physics: Conference Series. 2014; 513(6):062041. DOI: 10.1088/1742-6596/513/6/062041
[10] Astakhov N.S., Belov S.D., Gorbunov I.N., Dmitrienko P.V., Dolbilov A.G., Zhiltsov V.E., Korenkov V.V., Mitsyn V.V., Strizh T.A., Tikhonenko E.A., Trofimov V.V., Shmatov S.V. The Tier-1-level computing system of data processing for the CMS experiment at the large hadron collider. Journal of Information Technologies and Computing Systems. 2013; 4:27-36. Available at: https://elibrary.ru/item.asp?id=21016914 (accessed 25.04.2018). (In Russian)
[11] Filozova I.A., Bashashin M.V., Korenkov V.V. et al. Concept of JINR Corporate Information System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. DOI: 10.1134/ S1547477116050204
[12] Oak Ridge National Laboratory. Titan at OLCF Web page. Available at: https://www.olcf.ornl.gov/titan (accessed 25.04.2018).
[13] TOP500 Supercomputer Sites. Top500 List. Available at: URL: http://www.top500.org_ (accessed 25.04.2018).
[14] Nilsson P. et al and The ALICE Coolaboration. The ATLAS PanDA Pilot in Operation. Journal of Physics: Conference Series. 2011; 331(6):062040. DOI: 10.1088/1742-6596/331/6/062040
[15] Klimentov A., De K., Jha S., Maeno T., Nilsson P., Oleynik D., Panit-kin S., Wells J., Wenaus T. Integration of PanDA Workload Management System With Supercomputers for ATLAS and Data Intensive Science. Journal of Physics: Conference Series. 2016; 762(1):012021. DOI: 10.1088/1742-6596/762/1/012021
[16] De K., Klimentov A., Maeno T., Nilsson P., Oleynik D., Panit-kin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T. The future of PanDA in ATLAS distributed computing. Journal of Physics: Conference Series. 2015; 664(6):062035. DOI: 10.1088/1742-6596/664/6/062035
[17] Klimentov A., Buncic P., De K., Jha S., Maeno T., Mount R., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Porter R.J., Read K.F., Vaniachine A., Wells J.C., Wenaus T. Next Generation Workload Management System For Big Data on Heterogeneous Distributed Computing. Journal of Physics: Conference Series. 2015; 608(1):012040. DOI: 10.1088/1742-6596/608/1/012040
[18] Barreiro Megino F.H., De K., Klimentov A., Maeno T., Nilsson P., Oleynik D., Padolski S., Panitkin S., Wenaus T. PanDA for ATLAS distributed computing in the next decade. Journal of Physics: Conference Series. 2017; 898(5):052002. DOI: 10.1088/17426596/898/5/052002
[19] Barreiro Megino F.H., De K., Jha S., Klimentov A., Maeno T., Nilsson P., Oleynik D., Padolski S., Panitkin S., Wells J., Wenaus T. Integration of Titan supercomputer at OLCF with ATLAS Production System. Journal of Physics: Conference Series. 2017; 898(9):092002. DOI: 10.1088/17426596/898/9/092002
[20] Salvo A. De, Kataoka M., Sanchez Pineda A., Smirnov Y. The ATLAS Software Installation System v2: a highly available system to install and validate Grid and Cloud sites via Panda. Journal of Physics: Conference Series. 2015; 664(6):062012. DOI: 10.1088/1742-6596/664/6/062012
[21] Maeno T., De K., Klimentov A., Nilsson P., Oleynik D., Panit-kin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T., Yu D. Evolution of the ATLAS PanDA workload management system for exascale computational science. Journal of Physics: Conference Series. 2014; 513(3):032062. DOI: 10.1088/17426596/513/3/032062
Современные информационные технологии и ИТ-образование
Том 14 № 2 (2018) ISSN 2411-1473 sitito.cs.msu.ru
[22] De K., Klimentov A., Oleynik D., Paniykin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T. Integration of PanDA workload management system with Titan supercomputer at OLCF. Journal of Physics: Conference Series. 2015; 664(9):092020. DOI: 10.1088/1742-6596/664/9/092020
[23] Buncic P., Peters A.J., Saiz P. The AliEn System, status and perspectives. Proceedings of 2003 Conference for Computing in High-Energy and Nuclear Physics. La Jolla, CA, USA, 2003. Pp. MOAT004. Available at: http://cds.cern.ch/record/621982 (accessed 25.04.2018).
[24] Gomez A., Lara C., Kebschull U. Intrusion Prevention and Detection in Grid Computing - The ALICE Case. Journal of Physics: Conference Series. 2015; 664(6):062017. DOI: 10.1088/1742-б59б/бб4/б/0б2017
[25] Huang J., Saiz P., Betev L. et al. Grid Architecture and implementation for ALICE experiment. Proceedings of the 16th International Conference on Advanced Communication Technology (ICACT). Pyeongchang, 2014. Pp. 253-261. DOI: 10.1109/ ICACT. 2014.6779180
[26] Lorenzo P.M. The management of the VOBOX. II Brazilian LHC Computing Workshop, 8-12 December, 2008. Available at: https://www.sprace.org.br/workshops/IIBLHCCW/scientif-ic-program.html (accessed 25.04.2018).
[27] Kondratyev A. Интеграция эксперимента ALICE и суперкомпьютера Titan, с применением системы управления потоками заданий PanDA. CEUR Workshop Proceedings. 2017; 1787:302-306. Available at: http://ceur-ws.org/Vol-1787/302-306-paper-51.pdf (accessed 25.04.2018).
[28] CERN CVMFS. CernVM File System. Available at: https://cern-vm.cern.ch/portal/filesystem (accessed 25.04.2018).
[29] Weitzel D., Bockelman B., Dykstra D., Blomer J., Meusel R. Accessing Data Federations with CVMFS. Journal of Physics: Conference Series. 2017; 898(6):062044. DOI: 10.1088/17426596/898/6/062044
[30] Dykstra D., Bockelman B., Blomer J., Herner K., Levshina T., Slyz M. Engineering the CernVM-Filesystem as a High Bandwidth Distributed Filesystem for Auxiliary Physics Data. Journal of Physics: Conference Series. 2015; 664(4):042012. DOI: 10.1088/1742-6596/664/4/042012
[31] Dykstra D., Blomer J. Security in the CernVM File System and the Frontier Distributed Database Caching System. Journal of Physics: Conference Series. 2014; 513(4):042015. DOI: 10.1088/1742-6596/513/4/042015
[32] Bernazo D., Krzewicki M. The ALICE Software Release Validation cluster. Journal of Physics: Conference Series. 2015; 664(2):022006. DOI: 10.1088/1742-6596/664/2/022006
[33] Bernazo D., Blomer J., Buncic P., Charalampidis I., Ganis G., Meusel R. Lightweight scheduling of elastic analysis containers in a competitive cloud environment: a Docked Analysis Facility for ALICE. Journal of Physics: Conference Series. 2015; 664(2):022005. DOI: 10.1088/1742-6596/664/2/022005
Submitted 25.04.2018; revised 10.06.2018; published online 30.06.2018.
About the author:
Andrey O. Kondratyev, software engineer, Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia), ORCID: http://orcid.org/0000-0001-6203-9160, kondratyev@jinr.ru
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.Org/licenses/by/4.0), which permits unrestricted reuse, distribution, and reproduction in any medium provided the original work is properly cited.
Vol. 14, no 2. 2G1S ISSN 2411-1473 sitito.cs.msu.ru
Modern Information Technologies and IT-Education
