CC BY
9
ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ / PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, PROGRAMMING ON GPUS
УДК 004.454
DOI: 10.25559/SITITO.15.201903.602-610
Технология взаимодействия клиента jAliEn и центральных сервисов ALICE
В. В. Кореньков, А. О. Кондратьев*, А. С. Бондяков
Объединенный институт ядерных исследований, г. Дубна, Россия 141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6 * kondratyev@jinr.ru
Аннотация
В данной статье представлена разработка технологии взаимодействия клиента вычислительной среды jAliEn и центральных сервисов эксперимента ALICE (CERN). Данная разработка использует WebSocket интерфейс для авторизации пользователей, создания рабочих сессий, а также отправки задач на центральные сервисы. Количество данных, получаемых в ходе указанного эксперимента, увеличивается. Для решения данной проблемы эксперимент ALICE не только наращивает вычислительные ресурсы, но и обновляет и модифицирует существующее программное обеспечение. Промежуточное программное обеспечение AliEn, которое используется экспериментом ALICE на данный момент, представляет собой вычислительную среду, построенную из множества компонентов с открытым кодом. Архитектура AliEn на 99% состоит из импортированных компонентов, и только 1% - является исходным кодом. Программное обеспечение включает в себя примерно 200 пакетов, написанных на программном языке Perl, C и С++, с двумя каналами связи с центральными сервисами. jAliEn - распределенная вычислительная среда, разработанная для проекта ALICE Offline, которая, в будущем, заменит существующее промежуточное программное обеспечение AliEn. Она позволяет получить доступ к распределенным вычислительным ресурсам, а также ресурсам хранения всем участникам эксперимента ALICE на Большом Адронном Коллайдере. В отличие от существующего промежуточного программного обеспечения, jAliEn представляет собой единый пакет, реализованный с использованием программного языка высокого уровня Java. Это позволит уменьшить сложность существующего программного обеспечения и оптимизировать его работу и обслуживание. Разработанная технология позволит оптимизировать работу вычислительной среды jAliEn, а также повысить ее отказоустойчивость.
Ключевые слова: промежуточное программное обеспечение, вычислительная среда, эксперимент ALICE.
Для цитирования: Кореньков В. В., Кондратьев А. О., Бондяков А. С. Технология взаимодействия клиента jAliEn и центральных сервисов ALICE // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 3. С. 602-610. DOI: 10.25559/SITITO.15.201903.602-610
|© Кореньков В. В., Кондратьев А. О., Бондяков А. С., 2019|
Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019
ISSN 2411-1473
sitito.cs.msu.ru
PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, PROGRAMMING ON GPUS
Interaction Technology of jAliEn Client and ALICE Central Services
V. V. Korenkov, A. O. Kondratyev*, A. S. Bondyakov
Joint Institute for Nuclear Research, Dubna, Russia 6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia * kondratyev@jinr.ru
Abstract
This article presents the development of technology for interaction between the client of the jAliEn computing environment and the central services of the ALICE experiment (CERN). This development uses the WebSocket interface to authorize users, create work sessions, and send tasks to central services. The amount of data obtained during this experiment is increasing. To solve this problem, the ALICE experiment not only increases computing resources, but also updates and modifies existing software. The AliEn middleware currently in use by the ALICE experiment is a computing environment built from a variety of open source components. AliEn architecture consists of 99% imported components, and only 1% is the source code. The software includes approximately 200 packages written in the programming language Perl, C and C ++, with two communication channels with central services. jAliEn is a distributed computing environment developed for the ALICE Offline project, which, in the future, will replace the existing AliEn middleware. It allows us to access distributed computing resources, as well as storage resources to all participants in the ALICE experiment at the Large Hadron Collider Unlike existing middleware, jAliEn is a single package implemented using the high-level Java programming language. This will reduce the complexity of existing software and optimize its operation and maintenance. The developed technology will optimize the work of the jAliEn computing environment, as well as increase its fault tolerance.
Keywords: middleware, distributed computing environment, ALICE experiment.
For citation: Korenkov V.V., Kondratyev A.O., Bondyakov A.S. Interaction technology of jAliEn client and ALICE central services. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):602-610. DOI: 10.25559/ SITITO.15.201903.602-610
Modern Information Technologies and IT-Education
Введение
Эксперимент ALICE (A Large Ion Collider Experiment) [1-4] основан для изучения взаимодействия тяжелых ионов, физики сильновзаимодействующей материи и кавр-глюонной плазмы в ядерных столкновениях в Большом адронном кол-лайдере (БАК). Начиная с 2008 года, момента запуска БАК, эксперимент накопил и обработал десятки петабайт данных, распределенных по всему миру. Около 1000 ученых из более, чем 30 стран мира ежедневно используют эти данные для анализа.
Современные исследования в области физики высоких энергий невозможны без использования значительных ресурсов. Более 80 грид-сайтов по всему миру предоставляют ресурсы данному эксперименту. На сегодняшний день ALICE использует более 100 000 вычислительных процессоров, развернутых в ГРИД среде [5-7].
Большой вклад в предоставлении вычислительных ресурсов для эксперимента ALICE, осуществляет Многофункциональный информационно-вычислительный комплекс Объединенного института ядерных исследований (МИВК ОИЯИ) [8-24]. Комплекс обеспечивает высокую производительность, развитую систему хранения данных, высокую надежность и доступность, а также масштабируемость и развитую программную среду для различных групп пользователей. МИВК ОИЯИ позволяет обрабатывать и хранить данные, полученные в ходе экспериментов. Вычислительные ресурсы центра включают в себя 4128 ядер. Система хранения данных использует программное обеспечение XRootD1 для эксперимента ALICE, а также dCache2 для остальных пользователей. В 2019 году было выполнено более 2 миллионов задач, а нормализованное время использования процессоров составило более 127 миллионов часов.
При следующем запуске БАК, эксперимент получит значительный прирост вычислительных мощностей к уже использующимся ГРИД, облачным решениям, а также суперкомпьютерам [25].
Однако, помимо наращивания имеющихся ресурсов, ALICE занимается проектом по обновлению программного обеспечения, обеспечивающего полный цикл анализа, хранения и обработки данных, полученных в ходе экспериментов. Одним из направлений по обновлению ПО является разработка новой распределенной вычислительной среды jAliEn [26], которая заменит существующее промежуточное программное обеспечение AliEn [27-29].
Цель исследования
Цель исследования данной статьи состоит в разработке технологии взаимодействия клиента вычислительной среды jAliEn и центральных сервисов эксперимента ALICE (CERN).
Основная часть
В настоящее время эксперимент ALICE (CERN) использует промежуточное программное обеспечение AliEn (ALIce
ENvironment) разработанное для проекта ALICE Offline. AliEn позволяет получить доступ к распределенным вычислительным ресурсам и ресурсам хранения всем участникам эксперимента ALICE на Большом адронном коллайдере.
AliEn был построен из множества компонентов с открытым исходным кодом. Это было сделано для того, чтобы повторно использовать их функциональные возможности, не изменяя их. Из всех 3 миллионов строк кода, только 1% является исходным кодом AliEn, остальные же 99% кода были импортированы в виде компонентов Open Source.
Простейшим способом получения доступа к сервисам промежуточного ПО клиентом, является установка базовых и клиентских компонентов. Остальные доступные компоненты: Server, Portal, Monitor, CE (Computing Element), SE (Storage Element) и специальные пакеты для виртуальных организаций.
Все Web-сервисы AliEn, находящиеся на центральных и удаленных сайтах, должны быть запущены для создания единой сети AliEn ГРИД.
Составляющие части AliEn, могут быть сгруппированы по трём основным категориям: на нижнем уровне внешние компоненты программного обеспечения, далее корневые компоненты и сервисы, и на высшем уровне пользовательский интерфейс.
Все компоненты AliEn написаны на языке программирования высокого уровня Perl3. Основной причиной использования этого языка программирования является наличие большого количества компонентов с открытым кодом, обеспечивающим поддержку криптографии, SOAP4 платформы клиент-сервер, а также простую интеграцию с Веб-сервисами для мониторинга.
Alien использует иерархическую базу данных (LDAP -Lightweight Directory Access Protocol) для описания конфигурации для каждой виртуальной организации (ВО). В нее входят: люди, роли, компоненты, сайты и разделы ГРИД, а также описание и конфигурация всех сервисов на удаленных объектах. Код, развернутый на удаленных узлах или рабочих станциях пользователей, не требует каких-либо конкретных конфигурационных файлов ВО. Всё извлекается из конфигурации сервера LDAP во время выполнения, что позволяет пользователю выбрать ВО динамически. В настоящее время существует 10 ВО AliEn, каждая из которых реализовывает автономную ГРИД сеть и запускает свои собственные поддерживаемые сервисы.
Сервисы играют важную роль в распределенной вычислительной среде AliEn. Пользователи взаимодействуют с сервисами, посредством обмена SOAP-сообщениями, а также, сами сервисы обмениваются сообщениями между собой.
Вычислительный элемент (СЕ) представляет собой интерфейс для локальной batch системы. В настоящее время AliEn поддерживает интерфейсы для LSF, PBS, BQS, DQS, Globus и Condor Задача СЕ состоит в том, чтобы получить JDL задачи с CPU Server, перевести их на синтаксис, подходящий для batch систем, а затем выполнить их. Каждая задача связана с Web-сервисом (Process Monitor), что позволяет пользователям взаимодействовать с уже запущенной задачей (отправить сиг-
1 XRootD [Электронный ресурс]. URL: http://xrootd.org (дата обращения: 12.07.2019).
2 dCache [Электронный ресурс]. URL: http://dcache.org (дата обращения: 12.07.2019).
3 The Perl Programming Language [Электронный ресурс]. URL: http://perl.org (дата обращения: 12.07.2019).
4 W3C SOAP page [Электронный ресурс]. URL: https://www.w3.org/TR/soap/ (дата обращения: 12.07.2019).
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
нал или проверить выходные данные). До начала выполнения задачи, СЕ может автоматически устанавливать программные пакеты необходимые для задачи, используя Package manager
Элемент хранения (Storage element - SE) отвечает за хранение и извлечение файлов из локального хранилища. Он управляет дисковым пространством и поддерживает кэш для временных файлов.
Сервис передачи файлов (File Transfer) работает, как правило, на том же самом сервере, что и SE, и обеспечивает функцию запланированной передачи файлов. File Transfer использует защищенное соединение с помощью сертификатов и выполняет передачу файлов от имени пользователя с помощью bbftp5 протокола.
На сегодняшний день, разработана новая версия AliEn: jAliEn.
jAliEn представляет собой единую вычислительную среду, реализованную с помощью программного языка высокого уровня Java6. Она состоит из следующих компонентов:
• JCentral: центральный компонент, обеспечивающий соединение с центральными базами данных. Соединение устанавливается на основе сертификата, используемого для подключения к сервису. JCentral может ответить на любой полученный запрос, что позволяет масштабировать сервис на столько центральных узлов, на сколько это необходимо. Целью создания JCentral являлась возможность иметь единый API сервис, охватывающий все аспекты взаимодействия с центральными базами данных, такие как: получение логических и физических данных файла, выполнение операций со списком и поиском, управление объектами каталога, управление заданиями и т. д. Таким образом, клиент должен разделить более сложный запрос на набор таких атомарных операций, чтобы выполнить всю команду. Например, команда для отправки задания на основе спецификаций в логическом файле (JDL), присутствующем в каталоге, будет преобразована в серию запросов к центральным службам, чтобы найти физические копии файла и получить к ним токены доступа. Для фактического получения содержимого, анализа его на стороне клиента и интерпретации требований, на которые ссылается JDL, и будет подготовлена и внедрена запись в центральную очередь задач. Это делегирует важную часть обработки объекту, который запрашивает сервис, в то время как в настоящее время все эти операции выполняются централизованно службами AliEn, и для них часто происходит накопление невыполненных запросов на обработку, поскольку обработка зависит от внешних объектов.
• JSite: сервис мультиплексирования и кэширования, работающий на сайте, чтобы избежать установления постоянных соединений от каждого объекта в среде. Механизм TLS [30] используется для обработки запросов, с той разницей, что восходящее соединение будет доверять, что идентификация была проверена этим уровнем, и больше не будет перезаписывать его. Это означает, что сервисы будут работать в доверенной среде, аналогично тому, как работают текущие сервисы сайта
AliEn, на локальных машинах сайта, выделенных для эксперимента. В дополнение к пересылке объектов запроса в восходящем направлении и отправке ответов на соответствующий канал эта служба также может хранить объекты в памяти и возвращать кэшированный ответ непосредственно клиенту, пока запись остается действительной. Время жизни устанавливается сервисом JCentral. Все сервисы, которые видят этот объект, будут кешировать его в памяти, поэтому, если в течение срока действия ответа будет сгенерирован аналогичный запрос, он может быть разрешен непосредственно в памяти клиента. Хотя этот уровень спроектирован так, чтобы его можно было масштабировать бесконечно, на практике одного уровня служб, распределенных по VOBox сайта, достаточно для обработки трафика сообщений, генерируемых сайтом. Это оставляет возможность масштабировать сервисы либо горизонтально (несколько экземпляров сервисов на больших сайтах), либо вертикально (например, с региональными концентраторами).
• JBox: сервис, отвечающий за авторизацию на стороне клиента, а также обрабатывающий входящие соединения. Он обрабатывает аутентификацию в восходящем направлении на основе полного сертификата X.509. Этот подход отличается от текущей процедуры в AliEn, требующей от пользователей ГРИД периодически создавать прокси-сертификат X.509 [31] без пароля, который концептуально представляет временные сертификаты, а также требуется их передачу каждой задаче для проверки подлинности. С помощью JBox задания аутентифици-руются с уникальным токеном, связанным в центральной очереди задач с каждым идентификатором задания. JBox работает на пользовательской машине и создает временный файл, в котором хранятся сведения о подключении текущего экземпляра (локальный порт TCP, токен). JBox устанавливает соединения с JSite или JCentral только тогда, когда он получит команду для выполнения. Свободные соединения автоматически закрываются после истечения времени ожидания, чтобы уменьшить нагрузку на вышестоящие сервисы. Настраиваемый тайм-аут установлен на самой аутентификации, чтобы заставить пользователя повторно ввести пароль сертификата, прежде чем он сможет продолжить взаимодействие со средой. Это повышает безопасность в текущей системе, поскольку в любой момент времени в файловой системе клиента может храниться недействительный сертификат.
Взаимодействие компонентов jAliEn основано исключительно на взаимно аутентифицированных и зашифрованных соединениях на основе протокола TLS при использовании Bouncy Castle Crypto API7. Аутентификация производится с использованием сертификата пользователя ГРИД X.509 и сертификатов хоста X.509 на стороне сервера. На рисунке 1 представлена текущая модель AliEn, а также модель будущего промежуточного программного обеспечения jAliEn.
5 Bbftp // Software.com [Электронный ресурс]. URL: http://software.in2p3.fr/bbftp/ (дата обращения: 12.07.2019).
6 Java [Электронный ресурс]. URL: https://www.java.com/ (дата обращения: 12.07.2019).
7 The Legion of the Bounty Castle. Bouncy Castle [Электронный ресурс]. URL: http://www.bouncycastle.org/java.html (дата обращения: 12.07.2019).
Modern Information Technologies and IT-Education
Current interaction model
Future interaction model
Central Services
Г Л
API
Servers
V J
AliEn Central Services
^Worker nodes
Worker nodes
Р и с. 1. Текущая и будущая модель AliEn F i g. 1. Current and future AliEn model
Г
jAliEn Client
JobAgent
jCentral
Р и с. 2. Схема взаимодействия jAliEn Client и jCentral F i g. 2. Interaction Scheme of jAliEn Client and jCentral
Одним из основных критериев промежуточного программного обеспечения jAliEn является его отказоустойчивость. Она реализована посредством разработки кода, интегрированного в среду jAliEn, который позволяет, используя Java Websocket8, идентифицировать пользователей, создавать рабочие сессии, а также отправлять задачи на центральные сервисы.
Интегрированный в jAliEn код функционирует по схеме клиент-сервер (Рис. 2). В качестве клиента выступает jAliEn Client, а в качестве сервера - центральные сервисы jCentral. Для создания рабочей сессии, клиент формирует запрос, включающий в себя данные сертификата пользователя, конфигурационный файл, описывающий правила создания и прекращения рабочей сессии, а также правила обработки полученных сообщений от сервера. На основании запроса, сервер устанавливает защищенную рабочую сессию. Обмен сообщениями, в рамках сессии, происходит в формате JSON.
В ходе выполнения работы была разработана технология взаимодействия клиента промежуточного программного обеспечения jAliEn с центральными сервисами ALICE (CERN). Проведены тесты отказоустойчивости соединения разработанной технологии, а также работоспособности команд взаимодействия клиента и сервера.
Полученные результаты
В результате проделанной работы была разработана и реализована технология взаимодействия клиента промежуточного программного обеспечения jAliEn и центральных сервисов эксперимента ALICE (CERN).
Заключение
В данной статье была представлена разработка технологии взаимодействия клиента вычислительной среды jAliEn и центральных сервисов эксперимента ALICE (CERN). Данная технология реализована посредством разработки кода, интегрированного в программное обеспечение jAliEn. Проведены необходимые тесты на предмет отказоустойчивости интегрированного кода, а также работоспособности выполнения команд в системе. Представленная разработка использует WebSocket интерфейс для авторизации пользователей, создания рабочих сессий, а также для отправки задач на центральные сервисы. Разработанная технология позволит оптимизировать работу вычислительной среды jAliEn, а также повысить ее отказоустойчивость.
Список использованных источников
[1] ALICE Collaboration, Carminati F., Foka P., Giubellino P., Morsch A., Paic G., Revol J-P., SafarIk K., Schutz Y., Wiedemann U.A. ALICE: Physics Performance Report // Journal of Physics G: Nuclear and Particle Physics. 2004. Vol. 30, No. 11. Pp. 1517-1763. DOI: 10.1088/0954-3899/30/11/001
[2] Buncic P., Gheata M., Schutz Y. Open access for ALICE analisys based on virtualization technology // Journal of Physics: Conference Series. 2005. Vol. 664, No. 3. Pp. 032008. DOI: 10.1088/1742-6596/664/3/032008
[3] Ploskon M. Overview of results from ALICE // Journal of Physics: Conference Series. 2014. Vol. 509. Pp. 012003. DOI: 10.1088/1742-6596/509/1/012003
Java API for WebSocket // Oracle. URL: https://d0cs.0racle.c0m/javaee/7/tut0rial/webs0cket.htm (дата обращения: 12.07.2019).
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019
ISSN 2411-1473
sitit0.cs.msu.ru
PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, PROGRAMMING ON GPUS
[4] AbelevB. et al. and The ALICE Coolaboration. Upgrade of the [14] ALICE Experiment: Letter of Intent // Journal of Physics G: Nuclear and Particle Physics. 2014. Vol. 41. Pp. 087001. 163
pp. DOI: 10.1088/0954-3899/41/8/087001
[5] Foka P. Overview of result from ALICE at the CERN LHC // Journal of Physics: Conference Series. 2013. Vol. 455. Pp. 012004. DOI: 10.1088/1742-6596/455/1/012004 [15]
[6] Technical Design Report for the Upgrade of the OnlineOffline Computing System / Buncic P., Krzewicki M., Vande Vyvre P. CERN-LHCC-2015-006/ALICE-TDR-019. 2015. (Technical Design Report ALICE, 19). URL: https://cds.cern. ch/record/2011297/files/ALICE-TDR-019.pdf (дата обращения: 12.07.2019).
[7] The Grid: Blueprint for a New Computing Infrastructure / I. Foster, C. Kesselman (eds.) Morgan Kaufmann Publishers [16] Inc., San Francisco, CA, USA, 1998.
[8] Кореньков В. В., Нечаевский А. В., Ососков Г А., Пряхина Д. И., Трофимов В. В., Ужинский А. В. Моделирование ГРИД и облачных сервисов как важный этап их разработки // Системы и средства информатики. 2015. Т. 25, вып. 1. С. 4-19. DOI: 10.14357/08696527150101 [17]
[9] Dolbilov A., Korenkov V., Mitsyn V., Palichik V., Shmatov S., Strizh T., Tikhonenko E., Trofimov V., Voytishin N. Grid technologies for large-scale projects // 2015 Conference
Grid, Cloud & High Performance Computing in Science [18] (ROLCG), Cluj-Napoca, 2015. Pp. 1-3. DOI: 10.1109/ ROLCG.2015.7367422
[10] Кореньков В. В., Нечаевский А. В., Ососков Г А., Пряхина Д. И., Трофимов В. В., Ужинский А. В. Синтез процессов моделирования и мониторинга для развития систем хра- [19] нения и обработки больших массивов данных в физических экспериментах // Компьютерные исследование
и моделирование. 2015. Т. 7, № 3. С. 691-698. DOI: 10.20537/2076-7633-2015-7-3-691-698 [20]
[11] Belov S. D., Dmitrienko P. V, Galaktionov V V., Gromova N. I., Kadochnikov I. S., Korenkov V. V, Kutovskiy N. A., Mitsyn S. V, Mitsyn V. V., Mitsyn D. A., Oleynik D. A., Petrosyan A. S., Shabratova G. S., Strizh T. A., Tikhonenko E. A., Trofimov V. V, [21] Uzhinsky A. V, Valova L., Zhemchugov A. S., Zhiltsov V E. JINR Participation in the WLCG Project // LIT Scientific Report 2012-2013 / Gh. Adam, V. V. Korenkov, D. V. Podgainy, T. A. Strizh, P. V. Zrelov (eds.) JINR, 2014. Pp. 21-25. URL: http:// lit.jinr.ru/sites/default/files/LIT_SReport_12_13/p21.pdf (дата обращения: 12.07.2019).
[12] Astakhov N. S., Belov S. D., Dmitrienko P. V, Dolbilov A. G., Gorbunov I. N., Korenkov V. V., Mitsyn V. V., Shmatov S. V., [22] Strizh T. A., Tikhonenko E. A., Trofimov V V., Zhiltsov V E. JINR Tier-1 Center // LIT Scientific Report 2012-2013 / Gh. Adam, V. V. Korenkov, D. V. Podgainy, T. A. Strizh, P. V. Zrelov (eds.) JINR, 2014. Pp. 16-20. URL: http://lit.jinr.ru/sites/ default/files/LIT_SReport_12_13/p16.pdf (дата обращения: 12.07.2019).
[13] Astakhov N. S., Baginyan A. S., Belov S. D., Dolbilov A. G., [23] Golunov A. O., Gorbunov I. N., Gromova N. I., Kadochnikov I. S., Kashunin I. A., Korenkov V. V, Mitsyn V. V., Pelevanyuk I. S., Shmatov S. V, Strizh T. A., Tikhonenko E. A., Trofimov V. V, Voitishin N. N., Zhiltsov V E. JINR Tier-1 centre for the CMS experiment at LHC // Physics of Particles and Nuclei Letters. 2016. Vol. 13, Issue 5. Pp. 714-717. DOI: 10.1134/ [24] S1547477116050046
Berezhnaya A., Dolbilov A., Hyin V., Korenkov V, Lazin Y., Lyalin I., Mitsyn V., Ryabinkin E., Shmatov S., Strizh T., Tikhonenko E., Tkachenko I., Trofimov V., Velikhov V, Zhiltsov V. LHC Grid computing in Russia: present and future // Journal of Physics: Conference Series. 2014. Vol. 513, Track 6. Pp. 062041. DOI: 10.1088/1742-6596/513/6/062041 Астахов Н. С., Белов С. Д., Горбунов И. Н., Дмитриенко П. В., Долбилов А. Г,Жильцов В. Е., Кореньков В. В., Мицын В.
B., Стриж Т. А., Тихоненко Е. А., Трофимов В. В., Шматов
C. В. Автоматизированная система уровня Tier-1 обработки данных эксперимента CMS // Информационные технологии и вычислительные системы. 2013. № 4. С. 27-36. URL: https://elibrary.ru/item.asp?id=21016914 (дата обращения: 12.07.2019).
Filozova I. A., Bashashin M. V, Korenkov V. V., Kuniaev S. V., Musulmanbekov G., Semenov R. N., Shestakova G. V., Strizh T. A., Ustenko P. V, Zaikina T. N. Concept of JINR Corporate Information System // Physics of Particles and Nuclei Letters. 2016. Vol. 13, Issue 5. Pp. 625-628. DOI: 10.1134/ S1547477116050204
Baranov A. V., Balashov N. A., Kutovskiy N. A., Semenov R. N. JINR cloud infrastructure evolution // Physics of Particles and Nuclei Letters. 2016. Vol. 13, Issue 5. Pp. 672675. DOI: 10.1134/S1547477116050071 Баранов А. В., Кореньков В. В., Юрченко В. В., Балашов Н. А., Кутовский Н. А, Семёнов Р. Н., Свистунов С. Я. Подходы к интеграции облачных инфраструктур // Компьютерные исследования и моделирование. 2016. Т. 8, № 3. C. 583-590. DOI: 10.20537/2076-7633-2016-8-3-583-590 Korenkov V. V, Kutovskiy N. A., Balashov N. A., Baranov A. V., Semenov R. N. JINR cloud infrastructure // Procedia Computer Science. 2015. Vol. 66. Pp. 574-583. DOI: 10.1016/j.procs.2015.11.065
Baranov A. V., Balashov N. A., Kutovskiy N. A., Semenov R. N. Cloud Infrastructure at JINR // Computer Research and Modeling. 2015. Vol. 7, no. 3. Pp. 463-467. DOI: 10.20537/2076-7633-2015-7-3-463-467 Балашов Н. А., Баранов А. В., Кутовский Н. А., Семенов Р. Н. Использование облачных технологий в ЛИТ ОИЯИ // Информационно-телекоммуникационные технологии и математическое моделирование высокотехнологичных систем. Материалы Всероссийской конференции с международным участием. Москва, РУДН, 2014. С. 168170. URL: https://elibrary.ru/item.asp?id=24635187 (дата обращения: 12.07.2019).
Балашов Н., Баранов А., Кутовский Н., Семенов Р. Облачная инфраструктрура ЛИТ ОИЯИ // Труды конференции XVIII научной конференции молодых учёных и специалистов (ОМУС-2014) к 105-летию Н. Н. Боголюбова. Дубна, ОИЯИ, 2014. С. 190-193. URL: http://omus. jinr.ru/conference2014/conference_proceedings_2014.pdf (дата обращения: 12.07.2019).
Balashov N., Baranov A., Kutovskiy N., Semenov R. Cloud Technologies Application at JINR // Information Systems & Grid Technologies. Eighth International Conference ISGT'2014 (Sofia, Bulgaria, 30-31 May, 2014). Proceedings. Sofia, Bulgaria, 2014. Pp. 32-37. URL: https://isgt.fmi.uni-sofia.bg/proceed-ings/ISGT_2014_body.pdf (дата обращения: 12.07.2019). Балашов Н. А., Баранов А. В., Кадочников И. С., Корень-ков В. В., Кутовский Н. А., Нечаевский А. В., Пелеванюк
Modern Information Technologies and IT-Education
И. С. Программный комплекс интеллектуального дис-петчирования и адаптивной самоорганизации виртуальных вычислительных ресурсов на базе облачного центра ЛИТ ОИЯИ // Известия ЮФУ. Технические науки. 2016. № 12(185). C. 92-103. DOI: 10.18522/23113103-2016-12-92103
[25] Кондратьев А. О. Технология взаимодействия AliEn и суперкомпьютера Titan // Современные информационные технологии и ИТ-образование. 2018. Т. 14, № 2. С. 62-70. DOI: 10.25559/SITIT0.14.201802.368-373
[26] Grigoras A. G., Grigoras C., Pedreira M. M., Saiz P., Schreiner S. JAliEn - A new interface between the AliEn j0bs and central services // J0urnal 0f Physics: C0nference Series. 2014. V0l. 523. Pp. 012010. DOI: 10.1088/1742-6596/523/1/012010
[27] Buncic P., Peters A. J., Saiz P. The AliEn System, status and perspectives // C0mputing in Hugh Energy and Nuclear Physics, 24-28 March 2003, La J0lla, California. Proceedings. ECONF C0303241(2003), MOAT004 - 2003. La J0lla, California, 2003. 10 pp. URL: https://www.slac.stanford. edu/ec0nf/C0303241/proc/papers/MOAT004.PDF (дата обращения: 12.07.2019).
[28] Gomez A., Lara C, Kebschull U. et al. and The ALICE C00lab0ra-ti0n. Intrusi0n Preventi0n and Detecti0n in Grid C0mputing -The ALICE Case // J0urnal 0f Physics: C0nference Series. 2015. V0l.664.Pp.062017.DOI:10.1088/1742-6596/664/6/062017
[29] Huang J., Saiz P., Betev L. Grid Architecture and implementa-ti0n for ALICE experiment // 16th Internati0nal C0nference 0n Advanced C0mmunicati0n Techn0l0gy, Pye0ngchang, 2014. Pp. 253-261. DOI: 10.1109/ICACT.2014.6779180
[30] Dierks T., Rescorla E. The Transp0rt Layer Security (TLS) Pr0t0c0l Versi0n 1.2. RFC 5246, August, 2008. DOI: 10.17487/RFC5246
[31] Cooper D., Santesson S., Farrell S., Boeyen S., Housley R., Polk W. Internet X.509 Public Key Infrastructure Certificate and Certificate Rev0cati0n List (CRL) Profile. RFC 5280, May 2008. DOI: 10.17487/RFC5280
Поступила 12.07.2019; принята к публикации 29.08.2019; опубликована онлайн 30.09.2019.
Об авторах:
Кореньков Владимир Васильевич, директор Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), доктор технических наук, профессор, ORClD: http://orcid.org/0000-0002-2342-7862, korenkov@cv.jinr. ги
Кондратьев Андрей Олегович, инженер-программист Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), ORClD: http://orcid.org/0000-0001-6203-9160, konratyev@jinr.ru
Бондяков Алексей Сергеевич, инженер-программист Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), кандидат технических наук, ORClD: http://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru
Все авторы прочитали и одобрили окончательный вариант рукописи.
References
[1] ALICE Collaboration, Carminati F., Foka P., Giubellino P., Morsch A., Paic G., Revol J-P., SafarIk K., Schutz Y., Wiedemann U.A. ALICE: Physics Performance Report. Journal of Physics G: Nuclear and Particle Physics. 2004; 30(11):1517-1763. (In Eng.) DOI: 10.1088/0954-3899/30/11/001
[2] Buncic P., Gheata M., Schutz Y. Open access for ALICE anal-isys based on virtualization technology. Journal of Physics: Conference Series. 2005; 664(3):032008. (In Eng.) DOI: 10.1088/1742-6596/664/3/032008
[3] Ploskon M. Overview of results from ALICE. Journal of Physics: Conference Series. 2014; 509:012003. (In Eng.) DOI: 10.1088/1742-6596/509/1/012003
[4] Abelev B. et al. and The ALICE Coolaboration. Upgrade of the ALICE Experiment: Letter of Intent. Journal of Physics G: Nuclear and Particle Physics. 2014; 41:087001. 163 pp. (In Eng.) DOI: 10.1088/0954-3899/41/8/087001
[5] Foka P. Overview of result from ALICE at the CERN LHC. Journal of Physics: Conference Series. 2013; 455:012004. (In Eng.) DOI: 10.1088/1742-6596/455/1/012004
[6] Buncic P., Krzewicki M., Vande Vyvre P. (Eds.) Technical Design Report for the Upgrade of the Online-Offline Computing System. CERN-LHCC-2015-006/AL1CE-TDR-019. 2015. (Technical Design Report ALICE, 19). Available at: https:// cds.cern.ch/record/2011297/files/AL1CE-TDR-019.pdf (accessed 12.07.2019). (1n Eng.)
[7] Foster 1., Kesselman C. (Eds.).The grid: blueprint for a new computing infrastructure. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1998. (In Eng.)
[8] Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Pryakhina D.I., Trofimov V.V., Uzhinskiy A.V. Grid And Cloud Services Simulation As An Important Step Of Their Development. Systems and Means of Informatics. 2015; 25(1):4-19. (In Russ., abstract in Eng.) DOI: 10.14357/08696527150101
[9] Dolbilov A., Korenkov V., Mitsyn V., Palichik V., Shmatov S., Strizh T., Tikhonenko E., Trofimov V., Voytishin N. Grid technologies for large-scale projects. In: 2015 Conference Grid, Cloud & High Performance Computing in Science (ROLCG), Cluj-Napoca, 2015, pp. 1-3. (1n Eng.) DO1: 10.1109/ROL-CG.2015.7367422
[10] Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Pryahina D.I., Trofimov V.V., Uzhinskiy A.V. Synthesis of the simulation and monitoring processes for the development of big data storage and processing facilities in physical experiments. Computer Research and Modeling. 2015; 7(3):691-698. (In Russ., abstract in Eng.) DOI: 10.20537/2076-7633-2015-7-3-691698
[11] Belov S.D., Dmitrienko P.V., Galaktionov V.V., Gromova N.I., Kadochnikov I.S., Korenkov V.V., Kutovskiy N.A., Mitsyn S.V., Mitsyn V.V., Mitsyn D.A., Oleynik D.A., Petrosyan A.S., Shab-ratova G.S., Strizh T.A., Tikhonenko E.A., Trofimov V.V., Uzhinsky A.V., Valova L., Zhemchugov A.S., Zhiltsov V.E. J1NR Participation in the WLCG Project. In: Adam Gh., Korenkov V. V., Podgainy D. V., Strizh T. A., Zrelov P. V. (eds.) LIT Scientific Report2012-2013. J1NR, 2014, pp. 21-25. Available at: http://lit.jinr.ru/sites/default/files/L1T_SReport_12_13/ p21.pdf (accessed 12.07.2019). (1n Eng.)
[12] Astakhov N.S., Belov S.D., Dmitrienko P.V., Dolbilov A.G., Gor-bunov 1.N., Korenkov V.V., Mitsyn V.V., Shmatov S.V., Strizh
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, PROGRAMMING ON GPUS
T.A., Tikhonenko E.A., Trofimov V.V., Zhiltsov V.E. JINR Tier-1 Center. In: Adam Gh., Korenkov V. V., Podgainy D. V., Strizh T. A., Zrelov P. V. (eds.) LIT Scientific Report 2012-2013. JINR, 2014, pp. 16-20. Available at: http://lit.jinr.ru/sites/de-fault/files/LIT_SReport_12_13/p16.pdf (accessed
12.07.2019). (In Eng.)
[13] Astakhov N.S., Baginyan A.S., Belov S.D., Dolbilov A.G., Gol- [23] unov A.O., Gorbunov I.N., Gromova N.I., Kadochnikov I.S., Kashunin I.A., Korenkov V.V., Mitsyn V.V., Pelevanyuk I.S., Shmatov S.V., Strizh T.A., Tikhonenko E.A., Trofimov V.V., Voitishin N.N., Zhiltsov V.E. JINR Tier-1 centre for the CMS experiment at LHC. Physics of Particles and Nuclei Letters. 2016; 13(5):714-717. (In Eng.) DOI: 10.1134/ S1547477116050046 [24]
[14] Berezhnaya A., Dolbilov A., Ilyin V., Korenkov V., Lazin Y., Ly-alin I., Mitsyn V., Ryabinkin E., Shmatov S., Strizh T., Tik-honenko E., Tkachenko I., Trofimov V., Velikhov V., Zhiltsov V. LHC Grid computing in Russia: present and future. Journal of Physics: Conference Series. 2014; 513(6):062041. (In Eng.) DOI: 10.1088/1742-6596/513/6/062041
[15] Astakhov N.S., Belov S.D., Gorbunov I.N., Dmitrienko P.V., [25] Dolbilov A.G., Zhiltsov V.E., Korenkov V.V., Mitsyn V.V., Strizh
T.A., Tikhonenko E.A., Trofimov V.V., Shmatov S.V. The Ti-er-1-level computing system of data processing for the CMS experiment at the large hadron collider. Informacionnye tekhnologii 11 vichslitel'nye sistemy"= Journal of Information [26] Technologies and Computing Systems. 2013; (4):27-36. Available at: https://elibrary.ru/item.asp?id=21016914 (accessed 12.07.2019). (In Russ., abstract in Eng.)
[16] Filozova I.A., Bashashin M.V., Korenkov V.V., Kuniaev S.V., Musulmanbekov G., Semenov R.N., Shestakova G.V., Strizh [27] T.A., Ustenko P.V., Zaikina T.N. Concept of JINR Corporate Information System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. (In Eng.) DOI: 10.1134/ S1547477116050204
[17] Baranov A.V., Balashov N.A., Kutovskiy N.A., Semenov R.N. JINR cloud infrastructure evolution. Physics of Particles
and Nuclei Letters. 2016; 13(5):672-675. (In Eng.) DOI: [28] 10.1134/S1547477116050071
[18] Baranov A.V., Korenkov V.V., Yurchenko V.V., Balashov N.A., Kutovskiy N.A., Semenov R.N., Svistunov S.Y. Approaches to cloud infrastructures integration. Computer Research and Modeling. 2016; 8(3):583-590. (In Russ., abstract in Eng.) [29] DOI: 10.20537/2076-7633-2016-8-3-583-590
[19] Korenkov V.V., Kutovskiy N.A., Balashov N.A., Baranov A.V., Semenov R.N. JINR cloud infrastructure. Procedia Computer Science. 2015; 66:574-583. (In Eng.) DOI: 10.1016/j. procs.2015.11.065 [30]
[20] Baranov A.V., Balashov N.A., Kutovskiy N.A., Semenov R.N. Cloud Infrastructure at JINR. Computer Research and Modeling. 2015; 7(3):463-467. (In Eng.) DOI: 10.20537/2076- [31] 7633-2015-7-3-463-467
[21] Balashov N.A., Baranov A.V., Kutovskiy N.A., Semenov R.N. Use of cloud technologies at LIT JINR. In: Information and telecommunication technologies and mathematical modeling of high-tech systems. Proceedings of the All-Russian Conference with international participation, Moscow, RUDN, 2014, pp. 168-170. URL: https://elibrary.ru/item.as-p?id=24635187 (accessed 12.07.2019). (In Russ.)
[22] Balashov N.A., Baranov A.V., Kutovskiy N.A., Semenov
R.N. Cloud Infrastructure LIT JINR. In: Proceedings of the Conference of the XVIII Scientific Conference of Young Scientists and Specialists (OMUS-2014) on the 105th anniversary of N. N. Bogolyubov, Dubna, JINR, 2014, pp. 190-193. Available at: http://omus.jinr.ru/conference2014/conference_ proceedings_2014.pdf (accessed 12.07.2019). (In Russ.) Balashov N., Baranov A., Kutovskiy N., Semenov R. Cloud Technologies Application at JINR. In: Information Systems & Grid Technologies. Eighth International Conference ISGT'2014 (Sofia, Bulgaria, 30-31 May, 2014). Proceedings. Sofia, Bulgaria, 2014, pp. 32-37. Available at: https://isgt. fmi.uni-sofia.bg/proceedings/ISGT_2014_body.pdf (accessed 12.07.2019). (In Eng.)
Balashov N., Baranov A., Kadochnikov I., Korenkov V., Kutovskiy N., Nechaevskiy A., Pelevanyuk I. Software Complex For Intelligent Scheduling And Adaptive Self-organization Of Virtual Computing Resources Based In Lit Jinr Cloud Center. Izvestiya SFedU. Engineering sciences. 2016; 12(185):92-103. (In Russ., abstract in Eng.) DOI: 10.18522/2311-31032016-12-92103
Kondratyev A.O. Alien and Supercomputer Titan Interaction Technology. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2018; 14(2):62-70. (In Russ., abstract in Eng.) DOI: 10.25559/SITITO.14.201802.368-373 Grigoras A. G., Grigoras C., Pedreira M.M., Saiz P., Schreiner S. JAliEn - A new interface between the AliEn jobs and central services. Journal of Physics: Conference Series. 2014; 523:012010. (In Eng.) DOI: 10.1088/17426596/523/1/012010
Buncic P., Peters A. J., Saiz P. The AliEn System, status and perspectives. In: Computing in Hugh Energy and Nuclear Physics, 24-28 March 2003, La Jolla, California. Proceedings. ECONF C0303241(2003), MOAT004 - 2003. La Jolla, California, 2003. 10 pp. Available at: https://www.slac.stan-ford.edu/econf/C0303241/proc/papers/M0AT004.PDF (accessed 12.07.2019). (In Eng.)
Gomez A., Lara C., Kebschull U. et al. and The ALICE Coolaboration. Intrusion Prevention and Detection in Grid Computing - The ALICE Case. Journal of Physics: Conference Series. 2015; 664:062017. (In Eng.) DOI: 10.1088/1742-6596/664/6/062017 Huang J., Saiz P., Betev L. Grid Architecture and implementation for ALICE experiment. In: 16th International Conference on Advanced Communication Technology, Pyeongchang, 2014, pp. 253-261. (In Eng.) DOI: 10.1109/ ICACT.2014.6779180
Dierks T., Rescorla E. The Transport Layer Security (TLS) Protocol Version 1.2. RFC 5246, August, 2008. (In Eng.) DOI: 10.17487/RFC5246
Cooper D., Santesson S., Farrell S., Boeyen S., Housley R., Polk W. Internet X.509 Public Key Infrastructure Certificate and Certificate Revocation List (CRL) Profile. RFC 5280, May 2008. (In Eng.) DOI: 10.17487/RFC5280
Submitted 12.07.2019; revised29.08.2019; published online 30.09.2019.
Modern Information Technologies and IT-Education
About the authors:
Vladimir V. Korenkov, Director of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia), Dr.Sci. (Engineering), Professor, ORCID: http://orcid.org/0000-0002-2342-7862, koren-kov@cv.jinr.ru
Andrey O. Kondratyev, Software Engineer of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Jo-liot-Curie Str., Dubna 141980, Moscow region, Russia), ORCID: http://orcid.org/0000-0001-6203-9160, konratyev@jinr.ru Aleksey S. Bondyakov, Software Engineer of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Jo-liot-Curie Str., Dubna 141980, Moscow region, Russia), Ph.D. (Engineering), ORCID: http://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru
All authors have read and approved the final manuscript.
Современные информационные технологии и ИТ-образование
Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru
