Миграция сервисов вычислительных узлов грид-сайта az-ifan на оС Scientific Linux 7 Текст научной статьи по специальности «Компьютерные и информационные науки»

ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ / PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, PROGRAMMING ON GPUS

УДК: 004.056.53

DOI: 10.25559/SITITO.15.201903.611-618

Миграция сервисов вычислительных узлов грид-сайта AZ-IFAN на ОС Scientific Linux 7

А. С. Бондяков1*, Н. А. Гусейнов1,2, Д. А. Кулиев2, А. О. Кондратьев1

1 Объединенный институт ядерных исследований, г. Дубна, Россия 141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6

* aleksey@jinr.ru

2 Институт Физики НАН Азербайджана, г. Баку, Азербайджан AZ1143, Азербайджан, г. Баку, ул. Г. Джавида, д. 33

Аннотация

В данной статье ставится задача рассмотреть наиболее важные детали установки и конфигурирования метапакета worker node (wn), который разворачивает на вычислительном узле необходимый набор сервисов отвечающих за выполнение задач, поступающих на грид-сайт, а также провести ряд тестов после установки и конфигурирования метапакета wn на соответствие требованиям для программного обеспечения ATLAS (CERN). Для решения поставленной задачи был сформирован испытательный полигон и протестирована работоспособность сервисов wn. В качестве полигона использовался облачный сегмент дата-центра института Физики НАН Азербайджана, который в свою очередь является частью облачной инфраструктуры ЛИТ ОИЯИ. Полигон для тестирования вычислительных узлов представляет собой группу виртуальных машин под управлением ОС Scientific Linux 7, на которые был установлен и сконфигурирован метапакет wn, а также программное обеспечение эксперимента ATLAS необходимое для оценки производительности тестируемых узлов. Оценка производительности тестируемых узлов проводилась посредством системы мониторинга дата-центра института Физики НАН Азербайджана на базе платформы ZABBIX, а также средствами мониторинга эксперимента ATLAS (CERN) после непосредственного включения данных узлов в структуру грид-сайта «AZ-IFAN». Показаны наиболее важные детали установки и конфигурирования метапакета wn. Полученные результаты демонстрируют эффективную работоспособность данного метапакета на вычислительных узлах грид-сайта «AZ-IFAN». Кроме того, в данной статье продемонстрированы возможности облачного сегмента, в котором создавался полигон для тестирования метапакета wn на вычислительных узлах, а также система мониторинга дата-центра института Физики НАН Азербайджана.

Ключевые слова: дата-центр, грид-сайт, вычислительные узлы, метапакет.

Для цитирования: Бондяков А. С., Гусейнов Н. А., Кулиев Д. А., Кондратьев А. О. Миграция сервисов вычислительных узлов грид-сайта AZ-IFAN на ОС Scientific Linux 7 // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 3. С. 611-618. DOI: 10.25559/ SITITO.15.201903.611-618

I© Бондяков А. С., Гусейнов Н. А., Кулиев Д. А., Кондратьев А. О., 2019|

Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.

Vol. 15, No. 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

Modern Information Technologies and IT-Education

PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, PROGRAMMING ON GPUS

Migration the Services of Computing Nodes of the AZ-IFAN Grid Site on Scientific Linux 7

A. S. Bondyakov1*, N. A. Huseynov12, J. A. Guliyev2, A. O. Kondratyev1

1 Joint Institute for Nuclear Research, Dubna, Russia

6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia * aleksey@jinr.ru

2 Institute of Physics, Azerbaijan National Academy of Sciences 33 Javid Str, Baku AZ1143, Azerbaijan

Abstract

This article sets the task to consider the most important details of installing and configuring the me-ta-package worker node (wn), which deploys on the computing node the necessary set of services responsible for performing tasks arriving at the grid site, and also conduct a series of tests after installing and configuring the meta-package wn on eligibility for running ATLAS (CERN) software. To solve this problem, a testing ground was formed and the serviceability of wn services was tested. The cloud segment of the data center of the Institute of Physics of the Azerbaijan National Academy of Sciences, which in turn is part of the cloud infrastructure of LIT JINR, was used as a testing ground. The testing site for computing nodes is a group of virtual machines running Scientific Linux 7, on which the wn meta-package was installed and configured, as well as the ATLAS experiment software needed to evaluate the performance of the tested nodes. The performance of the tested nodes was evaluated through the monitoring system of the data center of the Institute of Physics of the NAS of Azerbaijan on the basis of the ZABBIX platform, as well as by means of monitoring the ATLAS experiment (CERN) after directly including these nodes in the structure of the AZ-IFAN grid site. The most important details of installing and configuring the wn meta-package are shown. The obtained results demonstrate the effective performance of this meta-package on the computing nodes of the AZ-IFAN grid site. In addition, this article demonstrates the capabilities of the cloud segment, which created a testing ground for testing the wn metapackage at computing nodes, as well as a monitoring system for the data center of the Institute of Physics of the NAS of Azerbaijan

Keywords: data center, grid site, computing nodes, metapackage.

For citation: Bondyakov A.S., Huseynov N.A., Guliyev J.A., Kondratyev A.O. Migration the services of computing nodes of the AZ-IFAN grid site on Scientific Linux 7. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):611-618. DOI: 10.25559/SITITO.15.201903.611-618

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

A. S. Bondyakov, N. A. Huseynov, PARALLEL AND DISTRIBUTED PROGRAMMING,

J. A. Guliyev, A. O. Kondratyev GRID TECHNOLOGIES, PROGRAMMING ON GPUS

Введение

Грид технологии [1, 2, 3] широко используются в настоящее время для решения ресурсоемких задач в различных областях науки и техники. Облачные и грид- технологии эффективно используют такие научные центры как ОИЯИ, CERN, FERMILAB, и т.д. Данные технологии привлекают прежде всего возможностью безопасного и гибкого доступа к вычислительным ресурсам и ресурсам хранения данных, а также использовать программное обеспечение.

На сегодняшний день инфраструктура дата-центра Института Физики НАН Азербайджана представляет собой многофункциональный информационно-вычислительный ресурсный центр, включающий в себя облачный сегмент, грид-сайт, а также вычислительный кластер для длительных вычислений, ориентированный в первую очередь на решение сложных задач для таких важных направлений исследований как физика твердого тела, геофизика и многих других [6].

Все сервисы грид-сайта, работают под управлением единой системы, которая позволяет использовать грид ресурсы, для решения задач виртуальных организаций, в международных проектах, таких как ATLAS (CERN). Для установки сервисов грид-сайта, используются так называемые метапакеты, т.е. определенный набор прикладных программ обеспечивающих выполнение различных задач. В данной статье рассматривается метапакет wn, в состав которого входят пакеты, отвечающие за выполнение задач, поступающих на вычислительные узлы грид-сайта. Метапакет wn входит в состав промежуточного программного обеспечения European Middleware Initiative (EMI) [4-5, 8].

Облачный сегмент и вычислительный кластер ориентированы в первую очередь на пользователей академической сети НАН Азербайджана, частью которой также является Институт Физики. Операционные системы вычислительных ресурсов дата-центра оптимизированы с точки зрения максимально эффективного использования и защищенности от несанкционированного доступа.

Грид-сайт дата-центра Института Физики [6, 7] прошел длительный этап сертификации, по окончании которого он был полностью интегрирован в инфраструктуру EGI (Европейская федерация вычислительных ресурсов и ресурсов хранения данных) в 2017 году как грид-сайт с именем «AZ-IFAN», который выполняет в инфраструктуре EGI роль ресурсного центра уровня Tier3.

Инфраструктура дата-центра Института физики ориентирована на ресурсоемкие вычислительные задачи. Режим работы серверного оборудования при этом: 24х7. Данный режим оказывает довольно существенную нагрузку на инфраструктуру дата-центра. Кроме того, полученный статус Tier-3 обязывает соблюдать крайне высокий стандарт надежности оборудования и инфраструктуры. В дата-центре Института физики подобный режим осуществляется благодаря системам бесперебойного питания, системам климат-контроля, а также интегрированного в систему бесперебойного питания дизель генератора.

Цель исследования

В данной статье описаны наиболее важные детали установки и конфигурирования метапакета wn на ОС Scientific Linux 7 (SL7), а также проведено тестирование данного мета-пакета различными системами мониторинга на предмет его корректной работы в SL7.

Основная часть

Грид-сайт AZ-IFAN, в соответствии со своим уровнем Tier3, предоставляет вычислительные ресурсы для эксперимента АТЛАС, Большого адронного коллайдера [8, 9, 10]. Расчеты, которые запускаются на грид-сайте AZ-IFAN, включают в себя статистическое моделирование и анализ данных для задач в области физики высоких энергий. Запуск, а также мониторинг состояния и результатов, таких задач осуществляется из CERN. Эти данные в режиме реального времени публикуются на веб-портале эксперимента АТЛАС1.

Поддержка оптимального состояния грид-сайта невозможна без регулярного обновления ядра операционной системы и установленного программного обеспечения. Предоставляя вычислительные ресурсы для эксперимента АТЛАС, грид-сайт AZ-IFAN берет на себя обязательства следовать требованиям со стороны данного эксперимента к программному обеспечению, которое он использует. Одним из таких требований является миграция метапакета wn вычислительных узлов всех грид-сайтов, поддерживающих эксперимент Атлас на SL7. Это вызвано необходимостью тем, что система запуска задач эксперимента ATLAS [11, 12] может работать либо в кластере, (т.е. запускать задачи) с SL7, либо в кластере с SL6, но не может эффективно работать в смешанном кластере SL7 / SL6. Это связано с тем, что в смешанной среде, система запуска задач эксперимента ATLAS будет пытаться запускать, на вычислительном узле, под управлением Scientific Linux 6, задачи, оптимизированные для операционных систем SL7 и наоборот. Такие задачи в силу своих архитектурных особенностей не смогут работать ни в одном из случаев.

Поскольку репозиторий UMD [12] пока не оптимизирован для установки метапакета wn на SL7, и нет официального руководства по установке данного сервиса в среде SL7, в данной статье показаны наиболее важные детали в схеме установки метапакета wn в связке с метапакетом emi-torque-client промежуточного программного обеспечения EMI, так как грид-сайт AZ-IFAN, использует torque в качестве менеджера распределенных ресурсов [14]. Метапакет emi-torque-client устанавливает определенный набор программ, формирующих сервис pbs_mom вычислительного узла осуществляющий физический запуск задачи.

Схема разработана опытным путем и используется на вычислительных узлах грид-сайта AZ-IFAN. В качестве полигона использовался облачный сегмент дата-центра института Физики НАН Азербайджана, который в свою очередь является частью облачной инфраструктуры ЛИТ ОИЯИ. Облачный сегмент построен на базе платформы OpenNebula2 [13 - 27].

1 ATLAS [Электронный ресурс]. URL: https://atlas.cern (дата обращения: 19.06.2019).

2 OpenNebula [Электронный ресурс]. URL: https://opennebula.org (дата обращения: 19.06.2019).

Modern Information Technologies and IT-Education

ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, А. С. Бондяков, Н. А. Гусейнов,

ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ Д. А. Кулиев, А. О. Кондратьев

Из метапакетов установленных на вычислительном узле под управлением Scientific Linux 6, командой yum deplist emi-wn и yum deplist emi-torque-client был получен список необходимых программ для установки метапакетов на SL7: c-ares, cleanup-grid-accounts, dcache-srmclient, dcap dcap-devel, dcap-libs, dcap-tunnel-gsi, dcap-tunnel-krb, dcap-tunnel-ssl, dcap-tunnel-telnet, dpm, dpm-libs, dpm-devel, dpm-perl, dpm-python, emiversion, fetch-crl, gfal2-all, gfal2-python, gfal2-util, gfalFS, gfal2-doc, gfal2-devel, ginfo, glite-jobid-api-c, glite-lb-client, glite-lb-common, glite-lb-client-progs, glite-lbjp-common-gss, glite-lbjp-common-trio, glite-wn-info, glite-yaim-clients, glite-yaim-core, globus-gass-copy-progs, globus-proxy-utils, gridsite-libs, jclassads, lcgdm-devel, lcgdm-libs, lcg-info, lcg-infosites, lcg-ManageVOTag, lcg-tags, lfc, lfc-libs, lfc-devel, lfc-perl, lfc-python, openldap-clients, python-ldap, uberftp, voms-clients-java, voms-devel, CGSI-gSOAP, condor-classads, torque, torque-client, torque-mom.

Для установки данных пакетов на SL7 требуется установить следующие репозитории:

EGI-trustanchors, UMD 4, CernVM packages, Extra Packages for Enterprise Linux 7, WLCG Repository

Пакеты из вышеуказанного списка, emi-version, glite-wn-info, glite-yaim-torque-client, lcg-pbs-utils, a1_grid_env не поддерживаются данными репозиториями, для их установки необходимо создать дополнительный репозиторий следующего содержания:

[preview.repository-sl-6-x86_64]

name=Repository for preview.repository (o/s: sl6 arch: x86_64)

baseurl=http://repository.egi.eu/community/software/ preview.repository/1.0/releases/sl/6/x86_64/RPMS/ enabled=1 gpgcheck=0

Утилита yaim [26], с помощью которой производится конфигурирование метапакетов вычислительных узлов, не оптимизирована для конфигурирования метапакета emi-torque-client, в связи с этим, необходимо внести следующие изменения в ее конфигурационный файл "conflg_torque_dient": yaimlog INFO "starting pbs_mom..." ####@ starting pbs_mom... /sbin/chkconfig pbs_mom on /usr/bin/systemctl stop pbs_mom.service sleep 1

/usr/bin/systemctl start pbs_mom.service

Как было указано выше, грид-сайт AZ-IFAN использует

torque в качестве менеджера распределенных ресурсов. Оптимизированный файл "config_torque_client", позволит утилите yaim запустить сервис pbs_mom.service, после конфигурирования метапакетов wn и emi-torque-client. Далее, выполнив команду:

/opt/glite/yaim/bin/yaim -c -s /root/siteinfo/site-info.def -n WN -n TORQUE_client

сконфигурировать и запустить программы метапакетов на вычислительных узлах под управлением SL7.

Учитывая, что вычислительных узлов грид-сайта может быть много, удобно использовать систему управления конфигурациями Ansible [29]. Данная система позволяет автоматизировать процесс установки и конфигурирования на всех вычислительных узлах грид-сайта. В качестве примера, нижеследующий скрипт Ansible позволяет скопировать созданный вручную репозиторий на все вычислительные узлы и установить нужные пакеты: - hosts: all tasks:

- name: Copy synchronize:

src: /etc/ansible/preview.repository-sl-6-x86_64.repo

dest: /etc/yum.repos.d/preview.repository-sl-6-x86_64.repo

- name: Install Package

yum: pkg={{ item }} state=latest with_items:

- emi-version

- glite-wn-info

- glite-yaim-torque-client

- lcg-pbs-utils

- a1_grid_env

Мониторинг вычислительных узлов грид-сайта AZ-IFAN после миграции сервисов вычислительных узлов на ОС Scientific Linux 7:

Оценка работоспособности wn на вычислительных узлах проводился посредством системы мониторинга дата-центра института Физики НАН Азербайджана на базе платформы ZABBIX, а также средствами мониторинга эксперимента ATLAS (CERN) после непосредственного включения данных узлов в структуру грид-сайта «AZ-IFAN». Для синхронизации полученных данных между системами мониторинга CERN и института Физики НАН Азербайджана, был выбран временной диапазон указанный на рис.1.

53 hours from 2019-09-26 13:00 to 2019-09-23 18:32

orgjtLas.WN-F™tL«5qutd ( iL S k .:^L'i"niül org jtle5-WN-cvmf5 ( лМ яч Rolf Lcgadminl utgjlias.WN-s4ï]Mtc ( dt I el ink- Lgadn.unl org ïam.CONIiOR-JûbSulMiut : -Шал Role Lcgadmiul

13:00

Р и с. 1. Снимок экрана со страницы данных с веб-портала Sam visualization /ATLAS F i g. 1. Screenshot of the data page from the Sam visualization / ATLAS web portal

На рис.1 представлены данные мониторинга об успешном выполнении тестовых задач, которые регулярно (ежесуточно) запускаются посредством системы HammerCloud (CERN) для тестирования работоспособности вычислительных узлов

грид-сайтов входящих в WLCG.

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

A. S. Bondyakov, N. A. Huseynov, PARALLEL AND DISTRIBUTED PROGRAMMING,

J. A. Guliyev, A. O. Kondratyev GRID TECHNOLOGIES, PROGRAMMING ON GPUS

Completed jobs

9/27 08:00 9/2712:00 9/2716:00 9/27 20:00 9/28 00:00 9/28 04:0<

261 38 1.8

Р и с. 2. Снимок экрана со страницы данных с веб-портала ATLAS (https://monit-grafana.cern.ch) F i g. 2. Screenshot of the data page from the ATLAS web portal

На рис.2 представлены данные мониторинга о состоянии задач эксперимента ATLAS, запущенные на грид-сайте AZ-IFAN.

Item values (2d 5h 31m)

| |;l 111111SI II I MJ 11Ш П 11 ï I ! 11111И 1181 ! П II t П 11Ш l|

v. CPU и CPU use CPU use CPU

CPU use CPU use CPU use CPU use

ibm07.physics.science ibm06.physics.sc ience ib m 0 5. p hy sics.sc ience ibm04.physics.science Ibm03.physics.science ibm02.physics.sc ience ibmOl. physics, science. blade408.azgnd.bcaf: CPU blade407.azgrid.local: CPU use blade406.azgrid.local: CPU use blade405.azgrid.local: CPU blade404.azgrid.local: CPU use blade403.azgrid.local: CPU use blade402.azgrid.local: CPU use blade401.azgrid.local: CPU use blade303.azgrid.local: CPU

last min avg max

[avg] 31.92 % 0.03 % 32.3% 59.32 %

[avg] 30.62 % 0.31 % 32.41 % 61.75 %

[avgj 22.66 % 2.77 % 35.18 % 65.61 %

[avg] 25.19 % 0.17 % 33.61 % 64.24 %

[avg] 48.03 % 9.45 % 31.51 % 65.19 %

[avg] 52.62 % 0.0028 % 33.92 % 64.78 %

[avg] 22.27 % 6.89 % 32.78 % 51.56 %

[avg] 31.96 % 0.0022 % 35.09 % 60.2 %

[avg] 64.41 % 41.23 % 66.02 % 73.88 %

[avg] 65.59 % 45.83 % 65,61 % 73.92 %

[avg] 60.04 % 41.86 % 66.21 % 73.91 %

[avg] 64.99 % 36.15 % 63.55 % 74.27 %

[avg] 70.35 % 35.8 % 64.2 % 73.7 %

[avg] 70.45 % 27.88 % 66.5 % 73.68 %

[avg] 71.15 % 19.72 % 63.46 % 73.47 %

[avg] 70.48 % 29.33 % 64.45 % 74.3 %

[avg] 71.32 % 29.9 % 63.92 % 73.74 %

Р и с. 3. Снимок экрана со страницы данных системы мониторинга, дата-центра института Физики НАН Азербайджана на базе платформы ZABBIX F i g. 3. Screenshot from the data page of the monitoring system, data center of the Institute of Physics of the NAS of Azerbaijan based on the ZABBIX platform

На рис.3 представлены данные, полученные посредством системы мониторинга, дата-центра института Физики НАН Азербайджана. Данный рисунок наглядно демонстрирует загрузку вычислительных узлов грид-сайта AZ-IFAN по метрике CPU

user time.

Полученные результаты:

В результате проведенных исследований, представлены наиболее важные детали установки и конфигурирования ме-тапакета wn с учетом архитектурной особенности ОС Scientific Linux 7. Проведен ряд тестов на работоспособность данного метапакета на вычислительных узлах грид-сайта AZ-IFAN.

Заключение:

Как видно из полученных данных, представленная схема установки и конфигурирования метапакета wn на вычислительных узлах под управлением ОС Scientific Linux 7 вполне эффективна и может быть использована для грид-сайтов, которые выполняют миграцию сервисов вычислительных узлов

на ОС Scientific Linux 7.

Modern Information Technologies and IT-Education

ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, А. С. Бондяков, Н. А. Гусейнов,

ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ Д. А. Кулиев, А. О. Кондратьев

Список использованных источников

[1] The Grid: Blueprint for a New Computing Infrastructure / I. Foster C. Kesselman (eds.) Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1998.

[2] ^реньков В. В., Hечаевский А. В., Ососков Г. А., Пряхина Д. И., Трофимов В. В., Ужинский А. В. Моделирование ГРИД и облачных сервисов как важный этап их разработки // Системы и средства информатики. 2015. Т. 25, вып. 1. С. 4-19. DOI: 10.14357/08696527150101

[3] Dolbilov A., Korenkov V., Mitsyn V., Palichik V, Shmatov S., Strizh T., Tikhonenko E., Trofimov V., Voytishin N. A. Grid technologies for large-scale projects // 2015 Conference Grid, Cloud & High Performance Computing in Science (ROLCG), Cluj-Napoca, 2015. Pp. 1-3. DOI: 10.1109/ ROLCG.2015.7367422

[4] ^реньков В. В., Hечаевский А. В., Ососков Г. А., Пряхина Д. И., Трофимов В. В., Ужинский А. В. Синтез процессов моделирования и мониторинга для развития систем хранения и обработки больших массивов данных в физических экспериментах // Компьютерные исследование и моделирование. 2015. Т. 7, № 3. С. 691-698. DOI: 10.20537/2076-7633-2015-7-3-691-698

[5] Charpentier P. LHC Computing: past, present and future // EPJ Web of Conferences. 2019. Vol. 214. Article 09009. DOI: 10.1051/epjconf/201921409009

[6] Бондяков А. С. Инфраструктура и основные задачи дата-центра института физики HAH Азербайджана // CEUR Workshop Proceedings. 2016. Vol. 1787. Pp. 150-155. URL: http://ceur-ws.org/Vol-1787/150-155-paper-25.pdf (дата обращения: 19.06.2019).

[7] Бондяков А. С. Основные режимы работы системы предотвращения вторжений (IDS/IPS Suricata) для вычислительного кластера // Современные информационные технологии и ИТ-образование. 2017. Т. 13, № 3. C. 31-37. DOI: 10.25559/SITIT0.2017.3.629

[В] ^реньков В. В., Kyтовский H. А., Бондяков A. C. Грид-сайт для ^PH // Открытые системы. СУБД. 2018. № 03. URL: https://www.osp.ru/os/2018/03/13054506/ (дата обращения: 19.06.2019).

[9] Berezhnaya A., Dolbilov A., Ilyin V., Korenkov V., Lazin Y., Lyalin I., Mitsyn V, Ryabinkin E., Shmatov S., Strizh T., Tikhonenko E., Tkachenko I., Trofimov V, Velikhov V., Zhiltsov V. LHC Grid computing in Russia: present and future // Journal of Physics: Conference Series. 2014. Vol. 513, Track 6. Pp. 062041. DOI: 10.1088/1742-6596/513/6/062041

[10] Астахов H. С., Белов С. Д., Горбунов И. H., Дмитриенко П. В., Долбилов А. Г., Жильцов В. Е., ^реньков В. В., Мицын В.

B., Стриж Т. А., Тихоненко Е. А., Трофимов В. В., Шматов

C. В. Автоматизированная система уровня Tier-1 обработки данных эксперимента CMS // Информационные технологии и вычислительные системы. 2013. № 4. С. 27-36. URL: https://elibrary.ru/item.asp?id=21016914 (дата обращения: 19.06.2019).

[11] Filozova I. A., Bashashin M. V., Korenkov V. V, Kuniaev S. V, Musulmanbekov G., Semenov R. N., Shestakova G. V., Strizh T. A., Ustenko P. V., Zaikina T. N. Concept of JINR Corporate Information System // Physics of Particles and Nuclei Letters. 2016. Vol. 13, Issue 5. Pp. 625-628. DOI: 10.1134/ S1547477116050204

[12] De K., Klimentov A., Maeno T., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T. on behalf of the ATLAS Collaboration. The future of PanDA in ATLAS distributed computing // Journal of Physics: Conference Series. 2015. Vol. 664, No. 6. Pp. 062035. DOI: 10.1088/1742-6596/664/6/062035

[13] AiftimieiD. C., Fattibene E., Gargana R., Panella M., Salomoni D. Abstracting application deployment on Cloud infrastructures // Journal of Physics: Conference Series. 2017. Vol. 898. Pp. 082053. DOI: 10.1088/17426596/898/8/082053

[14] TaylorR. P., Berghaus F., Brasolin F., Cordiero C.J. D., Desmarais R., Field L., Gable I., Giordano D., Girolamo A. Di, Hover J., LeBlanc M., Love P., Paterson M., Sobie R., Zaytsev A. on behalf of the ATLAS Collaboration. The Evolution of Cloud Computing in ATLAS // Journal of Physics: Conference Series. 2015. Vol. 664, No. 2. Pp. 022038. DOI: 10.1088/17426596/664/2/022038

[15] Bagnasco S., Bernazo D., Lusso S., Masera M., Vallero S. Managing competing elastic Grid and scientific computing applications using OpenNebula // Journal of Physics: Conference series. 2015. Vol. 664, No. 2. Pp. 022004. DOI: 10.1088/1742-6596/664/2/022004

[16] Bagnasco S., Vallero S., Zaccolo V. A FairShare Scheduling Service for OpenNebula // Journal of Physics: Conference series. 2017. Vol. 898. Pp. 092037. DOI: 10.1088/17426596/898/9/092037

[17] Кутовский Н. А., Нечаевский А. В., Ососков Г. А., Пряхина Д. И., Трофимов В. В. Моделирование межпроцессорного взаимодействия при выполнении MPI-приложений в облаке // Компьютерные исследования и моделирование. 2017. Т. 9, № 6. С. 955-963. DOI: 10.20537/20767633-2017-9-6-955-963

[18] Baranov A. V., Balashov N. A., Kutovskiy N. A, Semenov R. N. JINR cloud infrastructure evolution // Physics of Particles and Nuclei Letters. 2016. Vol. 13, Issue 5. Pp. 672675. DOI: 10.1134/S1547477116050071

[19] Баранов А. В., Кореньков В. В., Юрченко В. В., Балашов Н. А., Кутовский Н. А, Семёнов Р. Н., Свистунов С. Я. Подходы к интеграции облачных инфраструктур // Компьютерные исследования и моделирование. 2016. Т. 8, № 3. C. 583-590. DOI: 10.20537/2076-7633-2016-8-3-583-590

[20] Korenkov V. V., Kutovskiy N. A., Balashov N. A., Baranov A. V., Semenov R. N. JINR cloud infrastructure // Procedia Computer Science. 2015. Vol. 66. Pp. 574-583. DOI: 10.1016/j.procs.2015.11.065

[21] Baranov A. V., Balashov N. A., Kutovskiy N. A., Semenov R. N. Cloud Infrastructure at JINR // Computer Research and Modeling. 2015. Vol. 7, No. 3. Pp. 463-467. DOI: 10.20537/2076-7633-2015-7-3-463-467

[22] Балашов Н. А., Баранов А. В., Кутовский Н. А., Семенов Р. Н. Использование облачных технологий в ЛИТ ОИЯИ // Информационно-телекоммуникационные технологии и математическое моделирование высокотехнологичных систем. Материалы Всероссийской конференции с международным участием. Москва, РУДН, 2014. С. 168170. URL: https://elibrary.ru/item.asp?id=24635187 (дата обращения: 19.06.2019).

[23] Балашов Н., Баранов А., Кутовский Н., Семенов Р. Облачная инфраструктрура ЛИТ ОИЯИ // Труды конферен-

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

A. S. Bondyakov, N. A. Huseynov, J. A. Guliyev, A. O. Kondratyev

PARALLEL AND DISTRIBUTED PROGRAMMING, GRID TECHNOLOGIES, PROGRAMMING ON GPUS

ции XVIII научной конференции молодых учёных и специалистов (0МУС-2014) к 105-летию Н. Н. Боголюбова. Дубна, ОИЯИ, 2014. С. 190-193. URL: http://omus. jinr.ru/conference2014/conference_proceedings_2014.pdf (дата обращения: 19.06.2019).

[24] Balashov N., Baranov A., Kutovskiy N., Semenov R. Cloud Technologies Application at JINR // Information Systems & Grid Technologies. Eighth International Conference ISGT'2014 (Sofia, Bulgaria, 30-31 May, 2014). Proceedings. Sofia, Bulgaria, 2014. Pp. 32-37. URL: https://isgt.fmi.uni-sofia.bg/proceedings/ISGT_2014_body.pdf (дата обращения: 19.06.2019).

[25] Балашов Н. А, Баранов А. В., Кадочников И. С., Кореньков В. В., Кутовский Н. А., Нечаевский А. В., Пелеванюк И. С. Программный комплекс интеллектуального диспетчи-рования и адаптивной самоорганизации виртуальных вычислительных ресурсов на базе облачного центра ЛИТ ОИЯИ // Известия ЮФУ Технические науки. 2016. № 12(185). C. 92-103. DOI: 10.18522/2311-3103-201612-92103

[26] Aiftimiei C. YAIM - EMI Trainings at EGI TF 2012. Zenodo, 2013. DOI: 10.5281/zenodo.6891

[27] Heap M. Ansible: From Beginner to Pro. Apress, 2016. DOI: 10.1007/978-1-4842-1659-0

Поступила 19.06.2019; принята к публикации 10.08.2019; опубликована онлайн 30.09.2019.

Об авторах:

Бондяков Алексей Сергеевич, инженер-программист Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), кандидат технических наук, ORCID: http://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru Гусейнов Назим Али-оглы, старший научный сотрудник, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), Институт Физики НАН Азербайджана (AZ1143, Азербайджан, г. Баку, ул. Г Джавида, д. 33), кандидат физико-математических наук, ORCID: http://orcid.org/0000-0003-2201-5572 Кулиев Джейхун Акиф-оглы, инженер, Институт Физики НАН Азербайджана (AZ1143, Азербайджан, г. Баку, ул. Г. Джавида, д. 33), ORCID: http://orcid.org/0000-0003-0296-1131 Кондратьев Андрей Олегович, инженер-программист Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), ORCID: http://orcid.org/0000-0001-6203-9160, konratyev@jinr.ru

Все авторы прочитали и одобрили окончательный вариант рукописи.

References

[1] The Grid: Blueprint for a New Computing Infrastructure. In: Foster I., Kesselman C. (eds.) Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1998. (In Eng.)

[2] Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Pryakhina D.I., Trofimov V.V., Uzhinskiy A.V. Grid And Cloud Services Simulation As An Important Step Of Their Development. Systems and Means of Informatics. 2015; 25(1):4-19. (In Russ., abstract in Eng.) DOI: 10.14357/08696527150101

[3] Dolbilov A., Korenkov V., Mitsyn V., Palichik V., Shmatov S., Strizh T., Tikhonenko E., Trofimov V., Voytishin N. A. Grid technologies for large-scale projects. In: 2015 Conference Grid, Cloud & High Performance Computing in Science (ROLCG), Cluj-Napoca, 2015, pp. 1-3. (In Eng.) DOI: 10.1109/ROLCG.2015.7367422

[4] Korenkov V.V., Nechaevskiy A.V., Ososkov G.A., Pryahina D.I., Trofimov V.V., Uzhinskiy A.V. Synthesis of the simulation and monitoring processes for the development of big data storage and processing facilities in physical experiments. Computer Research and Modeling. 2015; 7(3):691-698. (In Russ., abstract in Eng.) DOI: 10.20537/2076-7633-2015-7-3-691698

[5] Charpentier P. LHC Computing: past, present and future. EPJ Web of Conferences. 2019; 214:09009. (In Eng.) DOI: 10.1051/epjconf/201921409009

[6] Bondyakov A. Infrastructure and main tasks of the data-center of the institute of physics of the National Academy of Sciences of Azerbaijan. CEUR Workshop Proceedings. 2016; 1787:150-155. Available at: http://ceur-ws.org/Vol-1787/150-155-paper-25.pdf (accessed 19.06.2019). (In Russ., abstract in Eng.)

[7] Bondyakov A. The Basic Modes of the Intrusion Prevention System (IDS/IPS Suricata) for the Computing Clusterab-stractthis. Sovremennye informacionnye tehnologii i IT-obra-zovanie = Modern Information Technologies and IT-Education. 2017; 13(3):31-37. (In Russ., abstract in Eng.) DOI: 10.25559/SITITO.2017.3.629

[8] Korenkov V., Kutovskiy N.A., Bondyakov A.S. Grid site for CERN. Open Systems. DBMS. 2018; 03. Available at: https:// www.osp.ru/os/2018/03/13054506/ (accessed 19.06.2019). (In Russ.)

[9] Berezhnaya A., Dolbilov A., Ilyin V., Korenkov V., Lazin Y., Ly-alin I., Mitsyn V., Ryabinkin E., Shmatov S., Strizh T., Tikhonenko E., Tkachenko I., Trofimov V., Velikhov V., Zhiltsov V LHC Grid computing in Russia: present and future. Journal of Physics: Conference Series. 2014; 513(Track 6):062041. (In Eng.) DOI: 10.1088/1742-6596/513/6/062041

[10] Astakhov N.S., Belov S.D., Gorbunov I.N., Dmitrienko P.V., Dolbilov A.G., Zhiltsov V.E., Korenkov V.V., Mitsyn V.V., Strizh T.A., Tikhonenko E.A., Trofimov V.V., Shmatov S.V. The Ti-er-1-level computing system of data processing for the CMS experiment at the large hadron collider. Informacionnye tekhnologii 11 vichslitel'nye sistemy"= Journal of Information Technologies and Computing Systems. 2013; (4):27-36. Available at: https://elibrary.ru/item.asp?id=21016914 (accessed 19.06.2019). (In Russ., abstract in Eng.)

[11] Filozova I.A., Bashashin M.V., Korenkov V.V., Kuniaev S.V., Musulmanbekov G., Semenov R.N., Shestakova G.V., Strizh T.A., Ustenko P.V., Zaikina T.N. Concept of JINR Corporate In-

Modern Information Technologies and IT-Education

ПАРАЛЛЕЛЬНОЕ И РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ, А. С. Бондяков, Н. д. Гусейнов,

ГРИД-ТЕХНОЛОГИИ, ПРОГРАММИРОВАНИЕ НА ГРАФИЧЕСКИХ ПРОЦЕССОРАХ Д. А. Кулиев, А. О. Кондратьев

formation System. Physics of Particles and Nuclei Letters. 2016; 13(5):625-628. (In Eng.) DOI: 10.1134/ S1547477116050204

[12] De K., Klimentov A., Maeno T., Nilsson P., Oleynik D., Panitkin S., Petrosyan A., Schovancova J., Vaniachine A., Wenaus T. on behalf of the ATLAS Collaboration. The future of PanDA in ATLAS distributed computing. Journal of Physics: Conference Series. 2015; 664(6):062035. (In Eng.) DOI: 10.1088/17426596/664/6/062035

[13] Aiftimiei D. C., Fattibene E., Gargana R., Panella M., Salomoni D. Abstracting application deployment on Cloud infrastructures. Journal of Physics: Conference Series. 2017; 898:082053. (In Eng.) DOI: 10.1088/17426596/898/8/082053

[14] Taylor R.P., Berghaus F., Brasolin F., Cordiero C.J.D., Desmarais R., Field L., Gable I., Giordano D., Girolamo A.Di, Hover J., LeBlanc M., Love P., Paterson M., Sobie R., Zaytsev A. on behalf of the ATLAS Collaboration. The Evolution of Cloud Computing in ATLAS. Journal of Physics: Conference Series. 2015; 664(2):022038. (In Eng.) DOI: 10.1088/17426596/664/2/022038

[15] Bagnasco S., Bernazo D., Lusso S., Masera M., Vallero S. Managing competing elastic Grid and scientific computing applications using OpenNebula. Journal of Physics: Conference series. 2015; 664(2);022004. (In Eng.) DOI: 10.1088/17426596/664/2/022004

[16] Bagnasco S., Vallero S., Zaccolo V. A FairShare Scheduling Service for OpenNebula. Journal of Physics: Conference series. 2017; 898:092037. (In Eng.) DOI: 10.1088/17426596/898/9/092037

[17] Kutovskiy N.A., Nechaevskiy A.V., Ososkov G.A., Pryahina D.I., Trofimov V.V. Simulation of interprocessor interactions for MPI-applications in the cloud infrastructure. Computer Research and Modeling. 2017; 9(6):955-963. (In Russ., abstract in Eng.) DOI: 10.20537/2076-7633-2017-9-6-955963

[18] Baranov A.V., Balashov N.A., Kutovskiy N.A., Semenov R.N. JINR cloud infrastructure evolution. Physics of Particles and Nuclei Letters. 2016; 13(5):672-675. (In Eng.) DOI: 10.1134/S1547477116050071

[19] Baranov A.V., Korenkov V.V., Yurchenko V.V., Balashov N.A., Kutovskiy N.A., Semenov R.N., Svistunov S.Y. Approaches to cloud infrastructures integration. Computer Research and Modeling. 2016; 8(3):583-590. (In Russ., abstract in Eng.) DOI: 10.20537/2076-7633-2016-8-3-583-590

[20] Korenkov V.V., Kutovskiy N.A., Balashov N.A., Baranov A.V., Semenov R.N. JINR cloud infrastructure. Procedia Computer Science. 2015; 66:574-583. (In Eng.) DOI: 10.1016/j. procs.2015.11.065

[21] Baranov A.V., Balashov N.A., Kutovskiy N.A., Semenov R N. Cloud Infrastructure at JINR. Computer Research and Modeling. 2015; 7(3):463-467. (In Eng.) DOI: 10.20537/20767633-2015-7-3-463-467

[22] Balashov N.A., Baranov A.V., Kutovskiy N.A., Semenov R.N. Use of cloud technologies at LIT JINR. In: Information and telecommunication technologies and mathematical modeling of high-tech systems. Proceedings of the All-Russian Conference with international participation, Moscow, RUDN, 2014, pp. 168-170. URL: https://elibrary.ru/item.as-p?id=24635187 (accessed 19.06.2019). (In Russ.)

[23] Balashov N.A., Baranov A.V., Kutovskiy N.A., Semenov R.N. Cloud Infrastructure LIT JINR. In: Proceedings of the Conference of the XVIII Scientific Conference of Young Scientists and Specialists (OMUS-2014) on the 105th anniversary of N. N. Bogolyubov, Dubna, JINR, 2014, pp. 190-193. Available at: http://omus.jinr.ru/conference2014/conference_ proceedings_2014.pdf (accessed 19.06.2019). (In Russ.)

[24] Balashov N., Baranov A., Kutovskiy N., Semenov R. Cloud Technologies Application at JINR. In: Information Systems & Grid Technologies. Eighth International Conference ISGT'2014 (Sofia, Bulgaria, 30-31 May, 2014). Proceedings. Sofia, Bulgaria, 2014, pp. 32-37. Available at: https://isgt. fmi.uni-sofia.bg/proceedings/lSGT_2014_body.pdf (accessed 19.06.2019). (In Eng.)

[25] Balashov N., Baranov A., Kadochnikov I., Korenkov V., Kutovskiy N., Nechaevskiy A., Pelevanyuk I. Software Complex For Intelligent Scheduling And Adaptive Self-organization Of Virtual Computing Resources Based In Lit Jinr Cloud Center. Izvestiya SFedU. Engineering sciences. 2016; 12(185):92-103. (In Russ., abstract in Eng.) DOI: 10.18522/2311-31032016-12-92103

[26] Aiftimiei C. YAIM - EMI Trainings at EGl TF 2012. Zenodo, 2013. (In Eng.) DOI: 10.5281/zenodo.6891

[27] Heap M. Ansible: From Beginner to Pro. Apress, 2016. (In Eng.) DOI: 10.1007/978-1-4842-1659-0

Submitted 19.06.2019; revised 10.08.2019; published online 30.09.2019.

Aleksey S. Bondyakov, Software Engineer of the Laboratory of Information Technologies, Joint lnstitute for Nuclear Research (6 Jo-liot-Curie Str., Dubna 141980, Moscow region, Russia), Ph.D. (Engineering), ORCID: http://orcid.org/0000-0003-0429-3931, aleksey@jinr.ru

Nazim A. Huseynov, Senior Research officer, Joint Institute for Nuclear Research (6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia), Institute of Physics, Azerbaijan National Academy of Sciences (33 Javid Str., Baku AZ1143, Azerbaijan), Ph.D. (Phys.-Math.), ORCID: http://orcid.org/0000-0003-2201-5572 Jeyhun A. Guliyev, Engineer, Institute of Physics, Azerbaijan National Academy of Sciences (33 Javid Str., Baku AZ1143, Azerbaijan), ORCID: http://orcid.org/0000-0003-0296-1131 Andrey O. Kondratyev, Software Engineer of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Jo-liot-Curie Str., Dubna 141980, Moscow region, Russia), ORCID: http://orcid.org/0000-0001-6203-9160, konratyev@jinr.ru

All authors have read and approved the final manuscript.

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru