Информационные системы для онлайн и офлайн обработки данных в современных экспериментах физики высоких энергий Текст научной статьи по специальности «Компьютерные и информационные науки»

КОГНИТИВНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В СИСТЕМАХ УПРАВЛЕНИЯ

УДК 519.688

DOI: 10.25559/SITITO.15.201903.654-671

Информационные системы для онлайн и офлайн обработки данных в современных экспериментах физики высоких энергий

Е. И. Александров1, И. Н. Александров1 , К. В. Герценбергер1, М. А. Минеев1, А. А. Мошкин1, Д. И. Пряхина1,2, И. А. Филозова1,2*, А. И. Чеботов1, Г. В. Шестакова1, А. В. Яковлев1

1 Объединенный институт ядерных исследований, г. Дубна, Россия 141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6

2 Государственный университет «Дубна», г. Дубна, Россия 141980, Россия, Московская обл., г. Дубна, ул. Университетская, д. 19 * fia@jinr.ru

Аннотация

Сбор, хранение, обработка и анализ экспериментальных, а зачастую и моделированных данных являются неотъемлемой частью экспериментов физики высоких энергий. За решение данных задач в современных экспериментах отвечают системы сбора и обработки данных (ССОД). Данный обзор посвящен исследованию применяемых в экспериментах физики высоких энергий систем сбора и обработки информации общего функционирования, информационных систем и баз данных, их классификации, а также возможности и необходимости создания подобных систем или отдельных компонент в экспериментах мегапроекта NICA (Nuclotron-based Ion Collider fAcility) как на фиксированной мишени, так и в коллайдерной части. Такие системы, используемые для поддержки обработки и анализа данных, а также для других видов коллаборационной деятельности, вносят существенный вклад в решение задачи автоматизации сбора, хранения, обработки и анализа экспериментальных данных и информации о проводимом эксперименте, а также являются необходимым элементом для успешной работы современных экспериментов физики высоких энергий. Особое внимание при анализе решений уделено физическим экспериментам по столкновению частиц на Большом адронном коллайдере (БАК) в Европейском центре ядерных исследований (CERN) как успешным современным проектам, постоянно обновляемым в связи с изменениями условий функционирования систем (например, повышение энергии пучка, увеличение светимости) и совершенствованием используемых информационных систем с применением новейших технологий в данной области. В результате проведенного исследования выделены системы и компоненты, реализация или адаптация которых наиболее целесообразна в экспериментах комплекса NICA.

Ключевые слова: мегапроект NICA, ускорительно-накопительный комплекс NICA, эксперименты LHC, онлайн и офлайн обработка данных экспериментальных установок, система сбора и обработки данных (ССОД), информационная система (ИС), база данных (БД).

Финансирование: работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований в рамках научного проекта № 18-02-40125 (Мегасайенс - NICA) «Совершенствование информационных систем для онлайн и офлайн обработки данных экспериментальных установок комплекса NICA».

Для цитирования: Александров Е. И., Александров И. Н., Герценбергер К. В., Минеев М. А., Мошкин А. А., Пряхина Д. И., Филозова И. А., Чеботов А. И., Шестакова Г. В., Яковлев А. В. Информационные системы для онлайн и офлайн обработки данных в современных экспериментах физики высоких энергий // Современные информационные технологии и ИТ-образование. 2019. Т. 15, № 3. С. 654-671. DOI: 10.25559/SITIT0.15.201903.654-671

I© Александров Е. И., Александров И. Н., Герценбергер К. В., Минеев М. А., Мошкин А. А., ^^^ДПряхина Д. И., Филозова И. А., Чеботов А. И., Шестакова Г. В., Яковлев А. В., 2019

Контент доступен под лицензией Creative Commons Attribution 4.0 License. The content is available under Creative Commons Attribution 4.0 License.

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019

ISSN 2411-1473

sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

Information Systems for Online and Offline Data Processing in Modern High-Energy Physics Experiments

E. I. Alexandrov1, I. N. Alexandrov1, K. V. Gertsenberger1 , M. A. Mineev1, A. A. Moshkin1, D. I. Pryahina1'2, I. A. Filozova1,2*, A. I. Chebotov1, G. V. Shestakova1, A. V. Yakovlev1

1 Joint Institute for Nuclear Research, Dubna, Russia

6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia

2 Dubna State University, Institute of System Analysis and Management, 19 Universitetskaya Str., Dubna 141982, Moscow region, Russia

* fia@jinr.ru

Acquiring, storing, processing and analyzing of experimental and simulated data are an integral part of high-energy physics experiments. Data Acquisition system (DAQ) is responsible for solving these problems in modern experiments. The review is devoted to the study of the general functioning systems for data collecting and processing, information systems and databases, which are used in high-energy physics experiments, their classification, and the possibility and necessity of creating similar systems or individual components in experiments of the NICA (Nuclotron-based Ion Collider fAcility) megaproj-ect both on a fixed target and in the collider part. Such systems being used to support for data processing and analysis, as well as other types of experiment activities, significantly contribute to solving the problem of automating the collection, storage, processing and analysis of experimental data and information on the experiment, and they are also an essential element for the successful operation of modern high-energy physics experiments. Particular attention in the analysis of the solutions is given to physics experiments on particle collisions at the Large Hadron Collider (LHC) at the European Center for Nuclear Research (CERN) as successful modern projects that are constantly upgraded due to changes in the functioning of the systems (for example, increasing beam energy and luminosity) and improving the information systems taking into account the latest technologies in this area. As a result of the study, systems and components are chosen, whose implementation or adaptation is most appropriate to the experiments of the NICA complex.

Keywords: NICA megaproject, NICA accelerator-accumulator complex, LHC experiments, online and offline data processing, data acquisition system (DAQ), information system (IS), database (DB).

Funding: This work was financially supported by the Russian Foundation for Basic Research as a part of the scientific project No. 18-02-40125 (MegaScience - NICA) «Improving Information Systems for Online and Offline Data Processing of Experimental Installations of the NICA Complex».

For citation: Alexandrov E.I., Alexandrov I.N., Gertsenberger K.V., Mineev M.A., Moshkin A.A., Pryahina D.I., Filozova I.A., Chebotov A.I., Shestakova G.V., Yakovlev A.V. Information Systems for Online and Offline Data Processing in Modern High-energy Physics Experiments. Sovremennye informacionnye tehnologii i IT-obrazovanie = Modern Information Technologies and IT-Education. 2019; 15(3):654-671. DOI: 10.25559/SITITO.15.201903.654-671

Abstract

Modern Information Technologies and IT-Education

Введение

Согласно принятой программе Объединенного института ядерных исследований (ОИЯИ) одной из приоритетных задач на следующие годы является создание ускорительно-накопительного комплекса NICA для исследования столкновений тяжелых ионов с высокой светимостью при энергиях взаимодействия в системе центра масс 4 - 11 ГэВ (для ионов золота). Коллайдер NICA, создаваемый на базе существующего сверхпроводящего Нуклотрона ОИЯИ, является важным научно-значимым объектом и входит в список крупнейших научных мегапроектов России.

Предусмотрено две точки встречи пучков в кольце кол-лайдера, в которых будут располагаться многоцелевой детектор MPD (Multi-Purpose Detector, многоцелевой детектор), предназначенный для изучения свойств горячей и плотной ядерной материи, образованной при соударениях тяжелых ионов, фазовых переходов, различных эффектов в физических процессах, и детектор SPD (Spin Physics Detector, детектор спиновой физики), предназначенный для изучения спиновой физики. Кроме того, одним из ключевых элементов первого этапа проекта NICA является установка BM@N (Baryonic Matter at Nuclotron, барионная материя на Нуклотроне) - эксперимент (на выведенном с Нуклотрона пучке) по столкновению частиц с фиксированной мишенью с энергией до 6 ГэВ на нуклон. На данном этапе ведется работа с большим объемом смоделированных данных экспериментов проекта NICA, а также экспериментальных данных BM@N, первый технический сеанс которого стартовал в феврале 2015 года.

Для современных научных исследований характерны длительность, сложность, высокая трудоемкость, большие временные и финансовые затраты, оперирование большими объемами данных, регистрируемых в ходе эксперимента. Ожидается, что при беспрерывной работе в течении 4 - 6 месяцев в году и частоте столкновений 7 кГц только для эксперимента MPD будет набираться около 20 миллиардов событий (порядка 10-20 ПБ данных) в год. В этой связи особую актуальность приобретает задача автоматизации процесса сбора, обработки и анализа экспериментальных данных комплекса NICA. Автоматизация современного эксперимента невозможна без применения информационно-вычислительного обеспечения, позволяющего собирать, хранить и обрабатывать большое количество информации, управлять экспериментом в процессе его проведения, обслуживать одновременно большое количество оборудования экспериментальной установки и выполнять другие действия, необходимые для своевременного получения качественного физического результата.

Таким образом, разработка и развитие автоматизированных информационных систем (АИС), обеспечивающих сбор, хранение, организацию удобного, прозрачного доступа и управление данными на протяжении всего жизненного цикла научных исследований мегапроекта NICA является крайне актуальной задачей.

Сбор, хранение, обработка и анализ экспериментальных данных являются неотъемлемой частью современных экспериментов физики высоких энергий. За это в физических экспериментах отвечает система сбора и обработки данных (ССОД). Основными целями работы ССОД являются доставка физических данных от детектора к месту постоянного хранения данных, отбор событий, то есть удаление тех событий, в которых

триггерная система не нашла нужных для поставленной задачи данных, а также управление работой всей системой, конфигурирование системы и мониторинг данных. Первые две задачи связаны непосредственно с обработкой физических событий, и они не являются предметом данного обзора. В данной работе рассматриваются те компоненты, которые не связаны непосредственно с обработкой физических событий. Указанные компоненты часто объединяются в отдельную подсистему, иногда называемую онлайн системой управления, конфигурации и мониторинга или онлайн система ССОД. Важными и во многом объединяющими онлайн и офлайн обработку данных являются также базы данных и связанные с их использованием и поддержкой соответствующие информационные системы. Использование данного типа программного обеспечения также будет изучено в ходе исследования.

Таким образом, данная работа посвящена изучению и анализу применяемых в экспериментах физики высоких энергий онлайн систем общего функционирования ССОД, автоматизированных информационных систем, а также возможности и необходимости создания подобных систем или отдельных компонент в экспериментах мегапроекта NICA. Особое внимание будет уделено экспериментам LHC в CERN не только как успешным мегапроектам недавнего времени, но и постоянно обновляемым в связи с изменениями условий функционирования систем (изменение энергии, светимости и других параметров эксперимента) и, в связи с этим, постоянным совершенствованием используемых информационных систем с применением новейших технологий. В итоге представляется целесообразным изучение опыта автоматизации процессов работы с данными в физических экспериментах в таких колла-борациях, как: ATLAS, ALICE и CMS в европейской организации ядерных исследований CERN, а также коллаборации CBM проекта FAIR, реализуемого в институте GSI в Германии, как эксперимента наиболее близкого к экспериментам NICA по своим физическим целям и параметрам.

Общие подходы к автоматизации онлайн и офлайн обработки данных в современных экспериментах физики высоких энергий

1.1. Онлайн системы общего функционирования

Классическим ядром онлайн систем по обеспечению общего функционирования ССОД, то есть компонентов, не связанных непосредственно с формированием, первичным отбором и обработкой, а также передачей на устройства промежуточного и постоянного хранения физических событий, считаются обычно следующие системы:

1. Система управления (control system) отвечает за старт всей системы сбора и обработки данных и управление ее работой, в том числе за остановку работы системы, подключение и отключение отдельных элементов. Данная система осуществляет слежение за происходящими ошибками, выполняет перезагрузку отдельных подсистем в случае необходимости и другие функции общего управления онлайн инфраструктуры;

2. Конфигурационная база данных (configuration

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

database) служит для хранения и предоставления информации о конфигурации подсистем эксперимента при сборе данных с детекторов в онлайн режиме. Система хранит различные конфигурационные данные, в том числе, необходимые для установки детекторов в рабочий режим, задачи, которые должны стартовать, а также параметры этих задач. Конфигурационная информационная система позволяет загружать в систему сбора и онлайн обработки данных конфигурационную информацию и активировать те аппаратные системы, которые необходимы в текущем сеансе эксперимента, запускать все необходимые программы с требуемыми параметрами на заданных вычислительных узлах;

3. Информационный сервис (information service) и система передачи сообщений (message reporting system) предоставляют возможность пользовательским программам публиковать информацию, подписываться на различные виды информации для получения сообщений о любом изменении требуемых данных, а также получать нужную информацию по запросу. Сервис обеспечивает межпроцессную и удаленную передачу данных и сообщений в режиме онлайн, включая сообщения об ошибках;

4. Менеджер процессов (process manager) отвечает за старт, мониторинг и остановку всех процессов онлайн инфраструктуры ССОД. Данный менеджер также выполняет перезапуск процессов в случае проблем в их функционировании вследствие аппаратных или программных ошибок;

5. Система мониторинга (monitoring system) предоставляет как общий механизм (программный и графический интерфейсы) наблюдения за идущими процессами и состоянием ресурсов, так и реализацию различных задач мониторинга. Обычно сервис отслеживает выборочные физические события, определенные общие параметры онлайн системы, и включает в себя систему мониторинга качества получаемых данных.

Системы, подобные приведенным выше, присутствуют во всех современных экспериментах физики высоких энергий, и в настоящее время любая ССОД не обходится без данных компонент, которые являются неотъемлемой ее частью. Однако помимо онлайн систем по обеспечению общего функционирования ССОД в физических экспериментах важную роль играет также комплекс автоматизированных информационных систем различного назначения, предназначенных как для онлайн, так и офлайн обработки данных экспериментальных установок, и предоставляющих членам коллаборации эксперимента набор удобных информационных сервисов для работы. Общая классификация и принципы работы таких систем приведены в следующем подразделе.

1.2. Информационные системы для онлайн и офлайн обработки данных физических экспериментов

Важнейшей частью не только систем, работающих в режиме онлайн, но и задач, выполняемых офлайн, в том числе задач обработки и анализа полученных физических данных, являются информационные системы, построенные на современных базах данных и включающие различные пользова-

тельские сервисы для прозрачного доступа и управления хранимыми данными и информацией о проводимом эксперименте.

В настоящее время практически ни один крупный эксперимент физики высоких энергий не обходится без создания, использования и поддержки автоматизированных информационных систем различного назначения, среди которых можно выделить следующие, наиболее распространенные системы:

1. Информационная система для учета геометрии детекторов (геометрическая база данных, geometry database) предназначена для хранения и обработки информации о составе и структуре детекторов, используемых в эксперименте. Стоит отметить, что физические параметры и данные в экспериментальных исследованиях напрямую зависят от конструкции выбранных детекторов. Также данная система направлена на предоставление информации о геометрии установки как в онлайн режиме для мониторинга текущих событий эксперимента, так и при офлайн реконструкции и анализе полученных (или смоделированных) событий эксперимента, а также для вспомогательных задач, например, их визуализации;

2. База данных состояний систем (condition database) направлена на хранение, обработку и использование различных параметров работы и режимов устройств и детекторов эксперимента в алгоритмах реконструкции и физического анализа событий столкновения частиц. Соответствующая информационная система решает, в том числе, задачу удобного доступа к требуемым параметрам подсистем установки для их учета на всех этапах обработки данных эксперимента;

3. Система онлайн журналирования (bookkeeping) предоставляет членам коллаборации возможность записывать во время сеанса эксперимента данные о происходящих событиях, состоянии систем, условий работы детекторов, например, параметры запуска или причины остановки, продолжительность сеансов, тип и энергию частиц, магнитное поле, используемые триггеры, количество событий столкновения частиц и многое другое. Система также предоставляет специализированный интерфейс для работы с данной информацией и позволяет получать уведомления по определенным типам событий. В дальнейшем данные журнала используются при анализе событий столкновения, поэтому обеспечение корректного многопользовательского доступа к электронному журналу имеет важное значение при реализации методов обработки данных в экспериментах физики высоких энергий;

4. Система метаданных физических событий (event indexing system, event database, tag event) обеспечивает управление информацией об уникальном номере событий, сохраняет ссылки на происходящие в эксперименте события, сработавшие при онлайн обработке триггеры, перечень восстановленных частиц и другую информацию, необходимую для удобного поиска определенных типов событий, требуемых для физического анализа. Данная информационная

Modern Information Technologies and IT-Education

система также отвечает за создание, поддержку и проверку качества каталога физических событий, проводит индексирование с целью обеспечения быстрого поиска требуемого набора физических событий по необходимым признакам и параметрам, используемым в различных физических анализах, для их дальнейшей загрузки и обработки.

Таким образом, сегодня информационные системы стали важной частью научной инфраструктуры крупных физических экспериментов, в том числе рассматриваемых далее крупнейших экспериментов на LHC в CERN. Такие системы, используемые для поддержки обработки и анализа данных, а также для других видов коллаборационной деятельности, вносят существенный вклад в решение задачи автоматизации сбора, хранения, обработки и анализа экспериментальных данных и информации о проводимом эксперименте, а также являются необходимым элементом для успешной работы современных экспериментов физики высоких энергий. В следующих разделах проводится анализ существующих и разрабатываемых в настоящее время информационных систем, используемых в крупных физических экспериментах по столкновению частиц, при этом наибольшее внимание уделено системам эксперимента ATLAS как наиболее устоявшимся и хорошо зарекомендовавшим себя на протяжении долгого времени работы.

Информационные системы для онлайн и офлайн обработки данных в эксперименте ATLAS на LHC

Эксперимент ATLAS - это один из экспериментов физики элементарных частиц, созданный для регистрации протон-протонных столкновений на Большом адронном коллай-дере в CERN в Женеве. На коллайдере LHC производятся центральные столкновения протонов с энергией в системе центра масс до 14 ТэВ с частотой столкновений в 40 МГц, скоростью, с которой системы эксперимента ATLAS должны отбирать и анализировать информацию, предоставляемую приблизительно по ста сорока миллионам каналов.

В данном разделе приведен обзор онлайн системы сбора и обработки данных, а также используемых в эксперименте ATLAS как в онлайн, так и офлайн обработке информационных систем, построенных на основе использования различных баз данных.

2.1. Онлайн система сбора и обработки данных ATLAS

Главными составляющими онлайн системы ССОД [1] эксперимента являются подсистемы конфигурации, управления и передачи информации.

В подсистему конфигурации входят следующие элементы: конфигурационная база данных [2], онлайн система жур-налирования информации о сеансах (в эксперименте используется название "online bookkeeper") [3] и база данных состояний [4].

Ядро подсистемы управления в свою очередь составляют: система оперативного управления [5], менеджер доступа [6], менеджер процессов [7], менеджер ресурсов [8] и интегрированный графический интерфейс пользователя.

Система распространения и передачи информации включает в себя следующие компоненты:

• информационный сервис (information service, IS) [9],

с помощью которого публикуют свою оперативную информацию все основные приложения ССОД;

• система передачи сообщений (message reporting service, MRS) [10], подробно описана ниже в рамках описания IS;

• система передачи ошибок (error reporting service, ERS) [11];

• сервис онлайн гистограммирования (online histogram service) [12], публикует получаемые при помощи IS гистограммы;

• служба мониторинга событий (event monitoring service) [13], предоставляет основные статистические характеристики физических событий, которые выбираются в соответствии с заданными свойствами, такими как: выбранный поток данных, сработавший триггер или тип детектора;

• среда анализа событий (event analysis framework) [14], создает гистограммы более высокого уровня и также публикует их посредством сервиса IS;

• служба мониторинга качества данных (data quality monitoring framework, DQMF) [15], извлекает из информационного сервиса опубликованные средой анализа событий гистограммы, после чего анализирует их с помощью предварительно настроенных алгоритмов проверки качества данных и публикует полученные результаты в IS;

• визуализация результатов DQMF осуществляется с помощью графического интерфейса Data Quality Monitoring Display (DQMD).

Ниже представлены наиболее важные из вышеупомянутых компонент подсистем конфигурации, управления и передачи информации.

2.1.1 Конфигурационная информационная система

Конфигурационная информационная система состоит из конфигурационной базы данных и системы жур-налирования информации о сеансах эксперимента. Описание каждой из этих систем приведено ниже. Описание также входящей в конфигурационную информационную систему базы данных состояний приведена в разделе 2.2. 1. Конфигурационная база данных

Основная задача подсистемы конфигурации ССОД - обеспечение доступа к описанию подсистем эксперимента ATLAS, участвующих в сборе и обработке данных, то есть получению информации о том, какие части системы задействованы, где, когда и какие процессы должны быть запущены, каковы условия для их выполнения и завершения, а также получение параметров для большинства процессов, включая полное описание систем передачи физических данных, системы мониторинга и частичное описание параметров триггера, модулей, блоков, каналов детектора и их связей. В данном случае, объектная модель может предоставлять эффективный способ разделения работ по разным типам данных между группами разработчиков. Ядром системы (Object Kernel System, OKS) [16] является объектно-ориентированная база данных, реализующая объектную модель за счет хранения схемы данных и самих данных в формате XML. OKS разработан кол-

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

лаборацией ATLAS для обработки объектов конфигурации с использованием заданной объектной модели данных. Для удалённого доступа к данным в сетевой среде реализован сервис RDB (Remote Database) на основе стандартного протокола CORBA (Common Object Request Broker Architecture). Пользователям коллаборации предоставляются графические средства как для разработки схемы, так и модифицирования хранимых данных. Архивация всех данных осуществляется в реляционные системы управления базами данных (СУБД), и в настоящее время используется СУБД Oracle. 2. Онлайн система журналирования информации о сеансах эксперимента

Система онлайн журналирования информации о сеансах - это компонент программного обеспечения ATLAS, работающий в режиме онлайн, в котором хранится вся информация, собранная в ходе работы ССОД, включая метаданные, связанные с получением, запуском и хранением событий столкновения частиц, а также информация о детекторах и сборе данных, которая имеет важное значение для дальнейшей обработки полученных данных. В системе также хранятся параметры пучка ускорителя, конфигурация детекторов, положение таблицы тестовых лучей. Средства сбора данных об управлении детектором (detector control system) совместно с полнофункциональным веб-интерфейсом делают систему OBK мощным инструментом, содержащим всю информацию, необходимую для анализа событий эксперимента. Целью данной системы является хранение информации, описывающей данные, полученные системой сбора данных DAQ и предоставление автономного доступа к этой информации. Данный компонент также предоставляет удобный инструмент для операторов смен на сеансах эксперимента, который используется в качестве электронного журнала, в том числе для добавления специализированных комментариев и другой сопроводительной информации. Для сбора информации система OBK активно использует информационный сервис IS, службу передачи сообщений MRS, конфигурационную базу данных и интерфейсы онлайн системы ССОД. 2.1.2 Система управления экспериментом

Система управления экспериментом состоит из система оперативного управления, менеджера процессов, менеджера ресурсов, интегрированного графического интерфейса пользователя и менеджера доступа. Опишем более подробно данные системы. 1. Система оперативного управления

Среди основных задач, стоящих перед системой оперативного управления (СОУ) можно выделить следующие:

• подготовка всей системы к работе и начальная (предпусковая) проверка состояния программной и аппаратной инфраструктуры системы сбора данных эксперимента ATLAS;

• синхронная передача и контроль выполнения команд оператора для всех подсистем TDAQ;

• отслеживание состояния каждого компонента и всей системы в целом в процессе работы;

• обработка возникающих ошибочных ситуаций;

• проверка состояния компонент системы, обнаружение и выявление причин неисправностей;

• выполнение сценариев восстановления работоспособного состояния системы после сбоев.

Система оперативного управления организована в виде распределенного дерева контроллеров, каждый из которых отвечает за определенную подсистему ССОД и может включать реализацию решений экспертной системы и набора правил, с помощью которых СОУ анализирует состояние контролируемого поддерева, сообщения об ошибках и принятие решений по автоматическому выполнению процедуры восстановления. Каждый контроллер может включать в себя подчиненные контроллеры, отвечающие за отдельные части "родительской" системы. Родительский контроллер управляет дочерними элементами и передает команды подчиненным контроллерам, при этом контроллер, отвечающий за всю ССОД, называется корневым. Все контроллеры являются реализацией одного интерфейса и представляют из себя модель конечных автоматов с состояниями: инициализация, загрузка, конфигурация, запущен. Отдельным компонентом выделена система «горячего восстановления», которая на верхнем уровне решает проблемы, требующие взаимодействия нескольких подсистем в дереве.

2. Менеджер процессов (РМв)

Менеджер процессов управляет всеми процессами системы сбора и обработки данных, в том числе осуществляет старт процесса считывания необходимой информации из конфигурационной базы данных, в случае необходимости может останавливать требуемые процессы, а по завершении процессов освобождает выделенные им ресурсы. В дополнении менеджер обеспечивает мониторинг всех процессов ССОД. Архитектура менеджера процессов включает следующие три основных компонента: клиент, сервер и модуль запуска менеджера процессов. Сервер и модуль запуска вместе представляют собой серверную часть менеджера процессов. На каждом узле, где процессы должны управляться менеджером, запускается один экземпляр сервера РМв. Клиент РМв в свою очередь предоставляет инструменты для создания и управления процессами во всей системе через запросы серверу. Сервер в данном случае действует как информационный центр и осуществляет диспетчеризацию запросов, хранит важные структуры данных, в том числе список обратных вызовов, а также определяет и запрашивает требуемые ресурсы. Каждый процесс, управляемый менеджером, обрабатывается программой запуска. Модуль запуска отвечает за запуск, мониторинг и завершение отдельного процесса, его цель - реализация единого компонента, осуществляющего низкоуровневое управление всеми процессами.

Modern Information Technologies and IT-Education

КОГНИТИВНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ Е. И. Александров И. Н. АлекcанДPов, К. В. Герценбергер,

М. А. Минеев, А. А. Мошкин, Д. И. Пряхина, И. А. Филозова,

В СИСТЕМАХ УПРАВЛЕНИЯ А. И. Чеботов, Г. В. Шестакова, А. В. Яковлев

3. Менеджер ресурсов

Менеджер ресурсов управляет правами приложений на доступ к имеющимся в системе ресурсам, которые могут существовать в нескольких, но ограниченных копиях во избежание конфликтов из-за программных ошибок или ошибок оператора. Все доступные ресурсы и их связь с программными процессами описаны в конфигурационной базе данных ССОД. Менеджер ресурсов проверяет их доступность каждый раз, когда необходимо запустить соответствующее приложение. Система построена на модели клиент-сервер, где сервер реализует все необходимые функции, а клиент осуществляет удаленный доступ к серверу с различными запросами, например, на выделение или освобождение ресурса, получение информации о ресурсах и так далее. В системе реализована поддержка как программных, так и аппаратных (в основном вычислительных узлов) ресурсов.

4. Интегрированный графический интерфейс пользователя

Графический интерфейс системы управления разделен на четыре части:

• консоль корневого контроллера дает возможность подавать команды корневому контролеру, которые затем автоматически передаются вниз по дереву контролеров. Порядок выполнения команд строго определен и не может быть нарушен. Таким образом, данный компонент отвечает за общее управление ССОД;

• информационная панель запуска и настройки предназначена для просмотра и задания параметров запущенной системы сбора и обработки данных;

• системные панели используются для отображения информации от конкретных систем (вывод всего дерева контролеров, вывод списка процессов, запущенных менеджером, вывод используемых ресурсов и так далее);

• журнал системы передачи сообщений используется для вывода сообщений об ошибках.

5. Менеджер доступа

Некоторое время назад во многих экспериментах в CERN управление доступом не было приоритетом. Однако масштаб эксперимента ATLAS и большое количество пользователей потребовало использование специализированной системы управления доступом. Возможность вредоносных действий, совершаемых пользователем, значительна и должна быть учтена, что может произойти из-за ошибок со стороны пользователя или просто из-за отсутствия необходимой информации. Без контроля доступа и ведения журнала выполненных действий очень трудно остановить опасные действия и исправить ошибки, которые могут из-за них возникнуть. Для решения данных проблем был разработан компонент Access Manager (AM), отвечающий за авторизацию пользователей на основе их прав в системе, а также за прекращение или разре-

шение действий по результату этой авторизации. АМ также ведет журнал всех авторизаций и сообщает о повторных неудачных попытках выполнить какие-то действия.

2.1.3 Подсистема передачи информации

Все сервисы подсистемы передачи информации базируются на компоненте межпроцессной коммуникации (Inter Process Communication, IPC). Данная компонента использует архитектуру CORBA и реализует весь межпроцессный обмен информацией, сообщениями и запросами. В частности, все сервера онлайн системы ССОД и их клиенты используют IPC для коммуникации. Подсистема передачи информации содержит следующие компоненты, рассматриваемые ниже:

1. Информационный сервис и служба передачи сообщений

Информационный сервис и служба передачи сообщений также реализованы на базе системы межпроцессной коммуникации IPC. Информационный сервис использует клиент-серверную архитектуру и содержит репозиторий данных, используемый серверами сервиса. Серверы хранят информацию в оперативной памяти и записывают ее на диск в случае останова системы для последующего восстановления. Данная информация хранится в виде потоков данных, отформатированных в соответствии с их типом. Все типы создаются заранее и публикуются в репозитории. Клиентами репо-зитория являются следующие службы: провайдер информации, который производит ее добавление, изменение и удаление; служба чтения данных находит и считывает требуемую информацию и служба подписки, которая позволяет подписаться на определенный тип информации и уведомляет в случае ее появления. Служба передачи сообщений имеет схожую с сервером информационного сервиса архитектуру и два типа клиентов: провайдер и потребитель сообщений;

2. Монитор контроля качества данных

Данный монитор обеспечивает удобную навигацию между областями разных типов контролируемых данных (областями контроля данных) и параметров систем (областями контроля параметров), обеспечивая большую гибкость при визуализации результатов, полученных с помощью службы мониторинга качества данных, приведенной выше. Для любой заданной конфигурации сбора данных все доступные параметры в соответствующих областях организованы в виде дерева, где каждый элемент окрашен в соответствии с результатом примененного алгоритма. Для каждой области контроля данных цвет состояния определяется по состоянию базовых параметров, взятых с некоторыми весовыми коэффициентами, которые определяют важность этих параметров для этой области и заранее определены в конфигурации. Каждая область предназначена для представления набора параметров определенного типа и представлена в дереве отдельной

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

ветвью, отображающей итоговый статус состояния данного набора. Для любого параметра монитор отображает гистограммы, используемые для проверки (обычно за счет наложения соответствующих ссылочных гистограмм), параметры конфигурации алгоритмов, используемых для запуска алгоритма работы службы мониторинга, а также историю результатов проверки качества данных. Монитор дополнительно поддерживает визуализацию результатов в виде графического представления аппаратной части детектора для визуального обнаружения неисправных каналов или модулей.

2.2. Информационные системы ATLAS для онлайн и офлайн обработки данных эксперимента

В эксперименте ATLAS разработка информационных систем ведется по следующим направлениям:

1. Производство детекторов (основные функции системы: хранение, обработка и управление данными об изготовлении, тестировании и поставках компонент каждого детектора)

Данные о производстве детекторов вносятся в центральную базу данных одновременно с доставкой оборудования для решения дальнейших задач установки и интеграции компонент. Она включает в себя как данные проектирования и технические параметры, так и данные об электронике (проведенной калибровки, пороговых значениях чипа и других). Соответствующая информация о производстве поддетекторов была перенесена в эксперименте из баз данных поддетекторов в центральное хранилище, построенное на базе СУБД Oracle. Для облегчения доступа группа ATLAS разработала инструмент на основе XML, который генерирует запросы к введенным в подсистему данным унифицированным способом.

2. Сборка детектора (основные функции системы: хранение, обработка и управление информацией о расположении различных частей детектора, стойках и их расположении, кабелях)

Данная информационная система включает следующие базы данных:

• База данных изготовления и испытаний частично дублирует базу данных производства детекторов, ссылаясь на её данные. Также содержит информацию о перемещении каждой детали детектора и паспорт оборудования.

• База данных стоек детекторов содержит подробные сведения о стойках и крейт-контроллерах, используемых каждым поддетектором, а также их расположении вплоть до начала кабелей.

• База данных кабелей включает подробные сведения о каждом кабеле, включая информацию о том, где начинается и где заканчивается кабель (стойка, другой кабель, входной разъем поддетектора). Эта база данных тесно связана с базой данных стоек детекторов.

• База данных обследования содержит подробную информацию о месте обследования каждой детали детектора.

3. Описание геометрии детектора (основные функции системы: хранение, обработка и управление данными об идеализированной геометрической модели детектора)

База данных геометрии (или описания) детектора предоставляет идентификаторы, используемые при построении геометрического описания детектора (известного в англоязычной литературе как GeoModel) и отслеживания его изменения со временем и в различных версиях программного обеспечения эксперимента. Точные геометрические поправки, например, юстировка детектора, не хранятся в системе, а содержатся в базе данных состояний в качестве параметров калибровки. Полная геометрия детектора определяется геометрическим идентификатором, который уникально определяет набор версий поддетекторов и/или геометрических элементов, составляющих геометрию установки. Данные геометрии хранятся в реляционной базе данных в форме, в которой они могут быть доступны и интерпретированы напрямую, не требуя дополнительного программного обеспечения для интерпретации «больших двоичных объектов». Обращение к реляционной геометрической базе данных реализовывается при помощи унифицированного инструмента POOL, разработанного в CERN. Хранимое описание геометрии детекторов используется во многих областях программного обеспечения, работающего в офлайн режиме, например, при моделировании, реконструкции и визуализации событий. Также геометрическая база данных требуется и в онлайн системах (например, в алгоритмах триггера высокого уровня, где она доступна с использованием тех же офлайн инструментов).

4. Онлайн базы данных (основные функции системы: хранение и обработка данных о конфигурации системы, онлайн журналирование, специфические онлайн интерфейсы к базе данных состояний, взаимодействие с другими компонентами DAQ/DCS, передача данных в офлайн)

Базы данных, используемые во время идущего эксперимента (онлайн), включают конфигурационную базу данных, онлайн журналирования и базу данных состояний. Конфигурационная база данных является неотъемлемой частью системы сбора и обработки данных и подробно описана в предыдущем разделе. Базы данных онлайн журналирования и состояний менее связаны с системой ССОД и базируются на инструментах, используемых офлайн. Система онлайн журналирования [3] была разработана уже давно группой TDAQ и основана на СУБД MySQL и опыте предшествующей реализации базы данных состояний, поэтому их функции частично совпадают. База данных состояний подробно описана в следующем пункте, разработка ее онлайн части направлена, главным образом, на реализацию специализированных интерфейсов и задач, связанных непосредственно с ее работой в онлайн-среде.

Modern Information Technologies and IT-Education

5. База данных состояний (основные функции системы: хранение и обработка данных об общей инфраструктуре, поддержка среды для хранения и обработки данных о состоянии систем детекторов, интеграция в офлайн инфраструктуру)

Данная информационная система хранит состояния и условия работы детекторных, триггер-ных, ускорительных систем и метаданные, включающие константы калибровки, юстировки и выравнивания, настройки триггеров, конфигурацию детекторов и настройку самой системы управления детектором (DCS), которые определяют параметры, при которых происходило каждое физическое событие столкновения частиц. Кроме того, база данных содержит информацию мониторинга, гистограммирования и параметров запуска, а также другие элементы, такие как карты магнитного поля и настройки магнитов. Данные условий охватывают параметры, которые, как можно ожидать, изменяются во время сеансов, поэтому значения условий характеризуются интервалом их действия (обычно это временной интервал или номер запуска) и извлекаются по значению времени (или номеру запуска) в качестве ключа. Также база данных содержит статус подсистем ССОД и значимые параметры IS, которые со всеми вышеприведенными состояниями подсистем сохраняются для всех временных интервалов их действия. Реализация базы данных состояний общая для нескольких экспериментов БАК и подробнее будет описана в главе 3.

6. База метаданных физических событий (основные функции системы: описание физических событий, хранение метаданных, управление и доступ к ним, организация онлайн и офлайн интерфейсов к метаданным)

Информационная система позволяет работать с метаданными о событиях во всех формах от необработанных ("сырых") до данных анализа и включает коллекции событий и наборы физических данных. Она охватывает разработку и поддержку инструментов анализа и других средств, реализующих доступ к этим метаданным. База метаданных физических событий использует механизмы интеграции с другими системами посредством инструмента преобразования запросов POOL, а также службы размещения данных и контроля записи.

7. Управление распределенными данными (основные функции системы: управление как самими данными эксперимента ATLAS, так и организация доступа к ним из любой точки мира)

Данная информационная система используется для распределенного управления данными эксперимента ATLAS (каталогизации, репликации, синхронизации, контроля доступа) по всему миру. Хранимые данные могут быть в форме файлов или реляционных баз данных, при этом файловые данные могут храниться в больших репозиториях, на

дисках или могут быть доступны через программный интерфейс приложений API (Application Programming Interface) распределенных данных, такие как GFAL. Разработка системы включает интеграцию и/ взаимодействие с инструментами GRID для предоставления распределенных сервисов по работе с данными ATLAS. Для унифицированной каталогизации распределенных файлов с данными ATLAS и сервиса репликации используется специализированный инструмент Don Quijote, использующий интерфейсы к существующим системам GRID (LCG, Grid3+, NorduGrid) посредством сетевых сервисов, таких как: gridftp, RLS и GFAL. Также разработаны инструменты для распределенного перемещения и управления файлами данных, включая файлы POOL.

8. Офлайн конфигурирование и журналирование (основные функции системы: каталогизация метаданных и информации о заданиях, а также конфигураций, использованных для задач обработки данных)

Рассматриваемая информационная система охватывает базы данных, каталогизирующие метаданные и информацию о заданиях, которые являются входными и выходными для офлайн задач обработки, включая как автоматизированные задачи обработки поступающих экспериментальных данных, так и пользовательские задачи. Наиболее важная информация по конфигурации автоматизированных задач обработки, конфигурации программного обеспечения и источниках данных должна быть упорядочена и сохранена для поддержки возможности перегенерации наборов данных, которые для физических целей должны быть идентичны оригиналу (то есть важна информация, полностью определяющая заданные параметры). В информационной системе можно выделить три компоненты:

• база данных журналирования AMI построена на СУБД MySQL. Задачи, которые в настоящее время запланированы или уже активны: миграция внешнего доступа AMI для использования веб-служб; завершение обновления документации; расширение интерфейса «запросить набор данных» для поддержки «запрос задачи», где задача может иметь несколько связанных наборов данных, и поддержка типов данных, включая иерархии производных типов; разработка многоуровневой модели распределенных баз данных; тестирование поддержки нескольких баз данных за счет расширения серверной части на СУБД Oracle; разработка тестов и метрик для повышения производительности; повышение эффективности веб-сервиса;

• база данных автоматизированной обработки экспериментальных данных в отличии от базы данных AMI, которая записывает метаданные высокого уровня для набора данных и задач, сохраняет метаданные для низкоуровневого описания отдельных заданий (то есть заданий, на которые разбивается обработка большого набора данных). Информацион-

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

ная система реализована в серверной части на СУБД Oracle;

• система определения трансформации данных и построения каталогов задает сценарии преобразования данных аналогичные сценариям конфигурации заданий, представленным выше [17].

9. Служба информационных сервисов (основные функции системы: поддержка пользователей и разработчиков баз данных эксперимента ATLAS и сервисов управления данными)

Данная информационная система предоставляет поддержку развернутых баз данных и сервисов управления данными в CERN и по всему миру. Разработка охватывает проектирование, интеграцию и развертывание инфраструктуры распределенных баз данных, поддержку и связь для администрирования и выполнения операций с базами данных удаленно. При обработке данных эксперимент ATLAS использует распределенную инфраструктуру реляционных баз данных для доступа к различным типам данных, не связанных с событиями, и собственно метаданным событий. Распределение, репликация и синхронизация этих баз данных, построенных на разных СУБД (например, Oracle в более крупных центрах и MySQL для небольших приложений) поддерживаются в соответствии с потребностями различных клиентов службы баз данных. Также сервисы поддержки информационных систем включают разработку документации, учебных курсов и служб пользовательской поддержки.

Срок эксплуатации инфраструктуры и вычислительных средств экспериментов, как правило, намного превышает срок службы многих программных продуктов, используемых в экспериментах, поэтому научным коллективам требуется постоянное совершенствование используемого программного обеспечения и внедрение новых информационных технологий, в частности, для преодоления некоторых ограничений реляционной модели в экспериментах LHC иногда задействуется NoSQL подход [18].

Информационные системы для онлайн и офлайн обработки данных в эксперименте CMS

Компактный мюонный соленоид (Compact Muon Solenoid, CMS) - один из двух больших универсальных детекторов элементарных частиц на Большом адронном коллайдере в Европейской организации ядерных исследований, предназначенный для поиска бозона Хиггса и физики за пределами стандартной модели, в частности изучение темной материи.

В коллаборации CMS проекты, связанные с разработкой информационных систем, ведутся в рамках официальной основной системы баз данных OMDS (Online Master Database System), построенной на системе управления базами данных Oracle [19]. В эксперименте CMS разработаны и активно развиваются информационные системы, предназначенные для хранения и управления информацией о детекторах физической установки, конструкции вспомогательных детекторов, состоянии различных подсистем, отображения и отслеживания ком-

понентов детектора, а также информации, необходимой для приведения детектора в требуемый режим работы [20]. Комплекс информационных систем в эксперименте включает в себя системы, представленные далее.

База данных управления оборудованием хранит структурированные данные обо всех детекторах установки и их деталях как элементов оборудования.

Конструкционная база данных содержит всю необходимую информацию о связях между компонентами аппаратных систем, а также хранит результаты тестов контроля качества компонент для отслеживания возможных проблем, возникающих в системе. Как правило в качестве автоматизированного рабочего места (АРМ) оператора баз данных используется специальный веб-интерфейс пользователя для загрузки и извлечения необходимой информации о процессах производства.

Конфигурационная база данных содержит различную информацию о конфигурации систем, такую как: настройки напряжения источников питания, программируемые параметры электроники и другие, необходимые для установки детекторов в требуемые режимы работы.

База данных состояний (условий) сохраняет информацию о состоянии систем поддетекторов, данные по условиям эксплуатации [21]. Она отвечает в том числе за хранение констант выравнивания и калибровки в соответствие с заданным расположением детекторов CMS [22]. Эти данные необходимы для анализа и восстановления записанных данных, а также являются ключевым элементом на этапе обработки полученных экспериментальных данных. Хранение информации организовано в виде набора двоичных объектов, сериализуемых через программную платформу CMS под управлением СУБД Oracle. База данных Oracle является централизованной, только в нее осуществляется онлайн и офлайн запись данных. Для быстрого доступа к данным поддерживаются автоматически обновляемые копии центральной базы данных, эти реплики хранятся в базах данных СУБД SQLite. Основным свойством хранимых условий работы является то, что они меняются с течением времени. Каждое значение или набор значений данных описывает состояние детектора в течение ограниченного промежутка времени и должно использоваться только для анализа событий, собранных в этом интервале действия. Помимо изменения во времени часть данных состояния систем могут также существовать в различных версиях. Примерами таких многоверсионных условий работы являются данные калибровки и выравнивания, вычисляемые путем обработки больших наборов сырых данных и данных, не относящихся к событиям, с использованием алгоритмов, которые могут быть разными для различных версий. Только одна версия каждого из этих элементов должна использоваться для реконструкции и анализа данных события.

Для эксперимента CMS в CERN был разработан специализированный комплекс интерфейсов для упрощения работы с существующими базами данных, который стал использоваться также и для экспериментов ATLAS и LHCb [23,24,25]. Данный комплекс программного обеспечения включает в себя три основных компоненты: CORAL, COOL и POOL. Схема взаимодействия программ физики частиц с базами данных при помощи указанного комплекса показана на рисунке 1. Основной целью интерфейса CORAL (Common Object-Relational Access Layer) является предоставление функциональных возможностей для

Modern Information Technologies and IT-Education

доступа к данным в реляционных базах данных с использованием общего API без языков C++ и SQL, уберегая пользователя от API-интерфейсов, зависящих от конкретных технологий, в том числе от необходимости отправки напрямую команд SQL. Программное обеспечение COOL было разработано для управления данными условий работы систем. Эти данные сохраняют состояние детектора в момент сбора событий. Система POOL - это гибридное технологическое хранилище для объектов и коллекций объектов C++, объединяющее реляционные технологии хранения с технологиями хранения потоковых данных. POOL предоставляет набор служебных API-интерфейсов и изолирует пользовательский код среды эксперимента от деталей конкретной технологии реализации. Весь комплекс этого программного обеспечения служит промежуточным зве-

ном между существующими базами данных и физическими программами. Комплекс позволяет использовать как базы данных, аналогичные уже поддерживаемым, так и новые, которые в данный момент еще не поддерживаются. Данная возможность реализуется за счет механизма плагинов, поддерживающих конкретные СУБД.

Эксперимент CMS на LHC создал инфраструктуру, использующую инфраструктуру FroNTier для доставки данных об условиях работы подсистем (например, калибровка и выравнивание) для обработки событий столкновения частиц по всему миру. FroNTier предоставляет веб-службу, обеспечивающую клиентский HTTP-доступ к центральной службе базы данных [26,27].

С++ code of LHC experiments (independent of DB choice)

COOL С++ API

POOL С++API

шCORAL

tiir+ctly

CORAL is used by ATLAS, CMS and LHCb In most of the client applications that access physics data stored in Oracle

CORAL С++ API (technology-independent)

XMLLoohupSvc XMLAuthSvc LFCReplicaSvc (CORAL Plugins)

LFC server

(OB lookup and

5

Y

DB lookup XML

Authentication xml (file)

SQLiteAccess (CORAL Plugin)

SQLite С API

-7v-

SQLite DB (П1е)

Wo longer used

CORAL is now the most active of the three Persistency packages: • closer to lower-level services ■ used by COOL and POOL

CORAL, COOL, POOL - 6

Р и с. 1. Схема взаимодействия физических программ с базами данных с использованием промежуточного программного обеспечения F i g. 1 Pattern of interaction between programs and databases using middleware

Инфраструктура данных состояний систем для экспериментов ATLAS и CMS схожа и обеспечивает управление несколькими терабайтами данных. Распределенный вычислительный доступ к этим данным требует особой осторожности в связи с частотой запросов, доходящей до нескольких десятков килогерц. Благодаря большому сходству вариантов использования и требований эксперименты ATLAS и CMS разрабатывают общие решения с целью дальнейшего их использования при сборе данных в следующем запуске [28].

В настоящее время в коллаборации CMS обсуждаются и исследуются NoSQL технологии для хранения больших двоичных объектов и их метаданных, в частности следующие системы управления базами данных [29]:

Cassandra - распределенная СУБД, обеспечивающая линейную масштабируемость и высокую доступность на стандартном оборудовании или облачной инфраструктуре. Модель хранения данных на базе семейства столбцов поддерживает встроенное кэширование.

MongoDB - документо-ориентированная СУБД, обеспечивающая горизонтальную масштабируемость с помощью механизма шардинга, поддерживает инфраструктуру GridFS для хранения больших двоичных объектов.

RIAK - распределенная СУБД, предназначенная для обеспечения высокой доступности и оперативности, поддерживает базовую модель данных ключ-значение в хэш-таблице с лог-структурой.

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

Информационные системы для онлайн и офлайн обработки данных в эксперименте ALICE

ALICE (A Large Ion Collider Experiment) - детектор тяжелых ионов, разработанный для изучения физики сильно взаимодействующего вещества и кварк-глюонной плазмы в ядро-ядерных столкновениях на Большом адронном коллай-дере CERN. Он в первую очередь, предназначен для столкновений пучков свинца (Pb-Pb) и свинца с другими тяжелыми ионами, но также реализует существенную физическую программу по столкновениям протон-протон (pp) и протон-ион (pA). Эксперимент был разработан с учетом большой множественности частиц в реакциях Pb-Pb.

Эксперимент ALICE включает следующие пять он-лайн-систем: низкоуровневый триггер, система сбора данных, высокоуровневый триггер, система управления детектором и система управления экспериментом [30]. В контексте информационных систем, не связанных непосредственно со сбором и передачей физических данных, интерес представляет система управления экспериментом (ECS), которая координирует действия всех онлайн-систем.

4.1 Система управления экспериментом

4.1.1 Управление.

Система ECS должна выполнять ряд следующих важных функций [31]: она предоставляет операторам единое пространство с информацией об эксперименте и центральный узел, с которого можно управлять всеми выполняемыми операциями. Также система согласовывает независимые параллельные действия разными операторами в отдельных частях эксперимента (на уровне детекторов). Наконец, она координирует работу систем управления, задействованных на каждом детекторе. ECS и другие программные пакеты для настройки и управления экспериментом, которые в эксперименте называются ALICE Configuration Tool (ACT), используют хранилище данных конфигурации, к которому различным системам предоставляется доступ для извлечения их, выбранной в данный момент конфигурации.

Система ECS позволяет осуществить параллельную работу отдельных детекторов, работающих в автономном режиме, и выделенных групп детекторов. В этих случаях ECS синхронизирует онлайн-систему, получая как информацию от детекторов, так и отправляя им команды через специализированные интерфейсы, построенные на базе конечных автоматов SMI++ [8].

Система ALICE DAQ производит параллельный независимый сбор данных, например, когда разные детекторы могут собирать данные калибровки одновременно. Все операции сбора данных, выполняемые для одного детектора или групп детекторов, определенных ECS, контролируются специализированным процессом (runControl), который управляет сбором данных в соответствии с командами оператора. Несколько процессов runControl могут запускаться одновременно и контролировать разные операции сбора данных.

Каждый процесс runControl имеет соответствующий интерфейс, основанный на конечных автоматах SMI++.

Данный интерфейс принимает команды, отправленные процессу runControl, и отклоняет те команды, которые несовместимы с текущим состоянием процесса. Интерфейс также гарантирует, что в любое время источник команд является уникальным. В качестве источника команд может выступать как соответствующий пользовательский интерфейс, так и компоненты системы ECS. Для одного и того же процесса могут работать сразу несколько пользовательских интерфейсов, но управлять им в один момент времени может только один, то есть один интерфейс может использоваться для отправки команд активного управления, тогда как другие - только для получения информации. Когда авторизованным источником команд является ECS, другие интерфейсы runControl не могут отправлять активные команды: эта возможность ограничена самой системой ECS.

На каждой удаленной машине серверный процесс, называемый RcServer, запускает и останавливает процессы в соответствии с командами, которые он получает от логического модуля (Logic Engine). RcServer также выполняет локальную обработку ошибок и возвращает различные счетчики и информацию другим процессам системы сбора данных. Серверный процесс может использоваться в разное время разными процессами runControl и, следовательно, получать команды от разных логических модулей.

4.1.2 Мониторинг систем и качества данных.

Система сбора данных ALICE DAQ и система управления ECS - это сложные системы, для которых крайне важно иметь хорошие сервисы мониторинга их работы. В эксперименте ALICE используются следующие пакеты программного обеспечения для мониторинга: Lemon -для мониторинга инфраструктуры системы, infoLogger -для всех операций, связанных с сообщениями системы онлайн журналирования, которые генерируются службами, составляющими ССОД, и Orthos - для обработки аварийных сигналов.

Пакет infoLogger предоставляет средства для генерации, транспортировки, сбора, хранения и просмотра журнальных сообщений от всех распределенных программных компонентов, работающих в системе ALICE DAQ. Он предоставляет интерфейс для ввода записей в журнал, центральный репозиторий для хранения сообщений и пользовательские интерфейсы для их поиска и отображения.

Пакет Orthos включает унифицированный интерфейс для подачи сигналов о нештатной ситуации от различных компонентов DAQ и инструменты для операторов и экспертов группы DAQ по их обработке. Он отвечает за работу с потоками поступающей информации и выполняемых ответных действий. Orthos - это промежуточное программное обеспечение для мониторинга, построенное над всеми источниками информации, позволяющее контролировать, что в случае необходимости предпринимаются все соответствующие действия, и следовать унифицированным процедурам независимо от источника сообщения о нештатной ситуации. Это улучшает видимость состояния фоновых компонентов системы DAQ по сравнению с теми, что активно обрабатываются потоком

Modern Information Technologies and IT-Education

управления DAQ и для которых уже доступна обратная связь об ошибках через интерфейсы управления. Orthos объединяет механизмы обнаружения и уведомления о нештатных ситуациях с полнофункциональным средством отслеживания проблем для оптимального контроля за процессами разного приоритета и исправления возникающих сбоев системы.

В крупных научных экспериментах важно иметь систему, которая ведет учет оперативной деятельности эксперимента, например, время смен операторов ССОД, а также содержит центральный информационный ре-позиторий для хранения отчетов об инцидентах, изменениях конфигурации оборудования, полученных результатах или запланированных процедурах. Кроме того, запись истории об условиях и статистики сбора данных необходима не только для того, чтобы позволить отобрать подходящие события для приоритетной офлайн обработки, но также для выявления тенденций и корреляций событий, и создания агрегированных отчетов. В связи с этим особую роль в мониторинге играет система электронного журналирования. Эта информационная система обеспечивает учет операционной деятельности во время эксперимента и является единственным программным обеспечением систем DAQ и ECS, которое совместно используется участниками кол-лаборации. В эксперименте ALICE представленные задачи реализуются с помощью электронного журнала eLogbook - специализированного приложения, разработанного группой сбора данных ALICE и введенного в эксплуатацию с августа 2007 года.

4.2 Информационные системы ALICE для онлайн и офлайн обработки данных эксперимента

Система сбора данных ALICE состоит из большого количества распределенных аппаратных и программных компонентов, которые базируются на базах данных онлайн части, построенных на СУБД MySQL и работающих на отдельно выделенных серверах. Ниже представлены основные информационные системы эксперимента, основанные на базах данных:

• база данных конфигурации содержит информацию о машинах, на которых запускаются процессы ССОД, специфичные для детекторов параметры, настройки электроники для конкретного детектора и другие параметры времени выполнения для систем сбора данных и управления экспериментом (ACT, CR1, DATE и ECS на рис. 2);

• база данных протоколирования централизованно собирает отчеты о запущенных процессах (LOG на рис. 2);

• электронный журнал собирает статистику по сеансам эксперимента, поступающую как автоматически, так и заполняемую операторами смен (LOGBOOK на рис. 2);

• онлайн-архив постоянно обновляемых отчетов с системы мониторинга качества данных (AMORE на рис. 2);

• сервисы индексации файлов, включая статус промежуточных файлов и результаты калибровки, для дальнейшей офлайн обработки (FES на рис. 2);

• базы данных тестов по проверке работоспособности и состояния компонент систем;

• службы предоставления референсных наборов данных, используемых для восстановления конфигураций систем во время эксперимента.

■ Number oí tables

■ Number at геьи

■ 5lze on dlsK (megabyte)

■ iVj^idp.j гол size tkllotyt«]

Р и с. 2. Размеры баз данных эксперимента ALICE F i g. 2. ALICE Experiment Database Sizes

Представленные базы данных размещены на серверах MySQL и содержат более 500 реляционных таблиц на 40 миллионов строк, информация в них постоянно заполняется и доступна через различные интерфейсы, такие как: графические интерфейсы Tcl для редакторов конфигурации и просмотра информации в базе данных протоколирования, веб-страницы на HTML/PHP для интерфейса электронного журнала и инструменты командной строки для скриптов и экспертной отладки.

Информационные системы для онлайн и офлайн обработки данных в эксперименте CBM

Экспериментальная установка CBM (Compressed Baryonic Matter), которая строится в GSI (Дармштадт, Германия) для работы на будущем ускорительном комплексе антипротонов и

тяжелых ионов FAIR, направлена на изучение свойств сверхплотной барионной материи, образующейся в протон-ядерных и ядро-ядерных столкновениях при энергиях 2 - 45 ГэВ на нуклон. Данный эксперимент интересен тем, что по многим параметрам и решаемым задачам он имеет сходство с экспериментами проекта NICA. Эксперимент CBM в настоящее время находится на стадии разработки, но часть информационных систем уже реализуется, а другие прописаны в технических заданиях [32].

В настоящее время разработаны прототипы двух баз данных. Первая - это геометрическая база данных эксперимента (Geometry DB). Основной целью геометрической информационной системы является предоставление удобных инструментов для управления геометрическими модулями и сборки различных версий установки CBM в виде комбинации модулей и дополнительных файлов, например, содержащих описание

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

ее?

материалов детекторов. Пользователям геометрической базы данных CBM предоставляется графический интерфейс GUI и прикладной программный интерфейс API для работы с ней.

Также для эксперимента реализован прототип компонентной базы данных, которая используется для хранения и управления информацией об оборудовании детекторов и электронных компонентах. Она содержит характеристики подсистем, статус состояния, результаты тестов, сертификаты и другие параметры, как числовые или строковые, так и параметры, хранящиеся в виде изображений. Компонентная база данных имеет древовидную структуру, где корневые элементы имеют названия основных подсистем эксперимента CBM, таких как: магнит (Magnet), кремниевый детектор (STS) и другие. Результаты тестов, сертификаты и статус подсистем хранятся в базе данных в виде ссылок на объекты. Структура сертификатов зависит от типа компоненты и может быть реализована по-разному для каждого детектора. Каталог статусов также может быть определен отдельно для каждого детектора.

В настоящее время в коллаборации обсуждается концепция формата хранения событий, на основе которой будет разработана база метаданных физических событий Tag Event, предназначенная для хранения, поиска и манипулирования данными о событиях на всех этапах обработки данных. Планируется, что система сбора данных будет доставлять необработанные данные детектора, объединенные в так называемые временные срезы (интервалы), в онлайн-систему обработки данных. В данном случае наименьшая единица информации -это «сообщение», обычно содержащее адрес (канал детектора), время измерения и оцифрованное значение сигнала. Временной срез данных представляет собой контейнер, содержащий сообщения в заданном интервале времени, обычно описывающий несколько тысяч столкновений частиц.

Автономное считывание данных в эксперименте подразумевает, что сообщения с необработанными данными не приписываются конкретному событию, как это делается в традиционных системах, использующих аппаратный триггер. Тем не менее физический анализ требует привязки данных к событиям или кандидатам на события, поэтому одной из задач реконструкции является определение их кандидатов. Стратегия идентификации событий в CBM находится еще в стадии разработки, но независимо от стратегии определенные как коллекции необработанные данные будут либо напрямую перенаправляться в хранилище, либо подвергаться критериям отбора в отношении наблюдаемых физических данных. Минимальная информация тегирования - это конкретный программный триггер, помечающий отдельное событие для хранения. Данная информация должна быть записана во время сбора данных в базу данных Tag Event, что должно обеспечить эффективный доступ к нужной информации без лишних операций ввода-вывода.

Анализ существующих информационных систем показал, что параметры конфигурации систем эксперимента для различных рабочих сценариев должны также храниться в соответствующей базе данных. В эксперименте CBM данная задача будет выполняться рабочим комплексом Управление Параметрами. Соответствующая база данных, называемая конфигурационной базой данных, предназначена для хранения параметров, описывающих топологию системы DAQ, аппаратные, программные компоненты и параметры запуска. Предполага-

ется, что база данных будет доступна как онлайн, так и офлайн.

Также в эксперименте CBM прорабатывается вопрос создания базы данных состояний (условий), предназначенной для хранения, поиска и манипулирования данными о состоянии детекторных систем. Данные состояний содержат информацию о состоянии детекторов в момент сбора событий, в том числе магнитное поле, параметры выравнивания и данные калибровки, данные управления, поступающие из систем мониторинга, а также данные системы управления, необходимые для анализа событий. Подмножества этих данных будут также использоваться как для онлайн, так и для офлайн вычислений.

Краткий сравнительный анализ представленных информационных систем, предлагаемых для экспериментов проекта NICA

В результате анализа существующих информационных систем, использующихся в экспериментах на БАК, авторы обзора полагают, что наиболее целесообразными с точки зрения реализации и адаптации в экспериментах проекта NICA представляются следующие системы и компоненты.

Система управления экспериментом (Control system).

Данная компонента отвечает за старт всей системы ССОД и управление ее работой, начиная от последовательного старта всех ее элементов и заканчивая безопасной остановкой. Система управляет всеми взаимодействиями в процессе набора данных посредством координации различных подсистем и отдельных компонент ССОД, а также других связанных с работой ССОД подсистем. Управление осуществляется посредством передачи команд, сообщений и статусов работы. Одна из важных функций данной системы - восстановление работы в случае программных или аппаратных сбоев. В некоторых экспериментах также применяются дополнительные экспертные системы, как, например, в эксперименте ATLAS система Shifter Assistant (помощник дежурного). Реализация функциональности системы управления различна в экспериментах LHC. ATLAS использует механизм коммуникации CORBA, CMS - Java и Web технологии типа SOAP (Simple Object Application Protocol), а также различные Web сервисы. Эксперимент ALICE использует специально разработанную систему, названную DATE Run Control, взаимодействие в которой осуществляется посредством разделяемой памяти. В экспериментах проекта NICA нет настолько высоких требований к скорости обработки, как в экспериментах на LHC, поэтому заслуживают внимания стандартные подходы к системе управления, такие как: CORBA в ATLAS и SOAP в CMS.

Графический интерфейс системы управления позволяет оператору стартовать и останавливать всю систему или ее части, контролировать и мониторировать состояние текущих данных, исходя из основных параметров и конфигурации детектора, параметров триггеров и состояния подсистем. В эксперименте ATLAS он реализован на языке Java в виде общей среды выполнения и добавляемых плагинов по управлению разными подсистемами ССОД. В CMS для графического интерфейса используются различные Web-технологии: менеджеры работают в специализированных Web-приложениях на Apache Tomcat, а пользователям системы предоставляются интерфей-

Modern Information Technologies and IT-Education

сы на Web-страницах.

Конфигурационная база данных (Configuration DB).

Конфигурационная база данных реализуется в экспериментах с целью описания различной информации о конфигурации систем, которая затем используется при запуске системы сбора и обработки данных и различных ее компонент. Набор хранимых данных достаточно обширен и включает, в том числе, параметры запуска отдельных приложений, большое количество параметров подсистем ССОД и используемой электроники, режимы и заданные условия работы. Основными требованиями к конфигурационной базе данных являются скорость загрузки данных, гибкость, простота и удобство сопровождения. В экспериментах на Большом адронном коллай-дере соответствующая информационная система реализована различными способами. ATLAS использует специально разработанные и написанные на языке С++ объектно-ориентированные библиотеки и комплекс программ для работы с объектно-ориентированной базой данных OKS. CMS разработал свою конфигурационную базу данных на СУБД Oracle, ALICE -на СУБД MySQL. На фоне различных реализаций системы хотелось бы выделить разработку конфигурационной базы данных в эксперименте ATLAS, включающую набор вспомогательных программ, например, пользовательский графический интерфейс (Configuration Database Editor) и использующую XML формат для хранения данных, что может быть удобно для дальнейшего сопровождения.

Сервис передачи информации (Information Sharing).

Данный сервис представляет собой средство обмена информацией для программных систем эксперимента. Информация из многих источников может быть доступна для запрашивающих приложений асинхронно по определенным критериям или по запросу. В экспериментах LHCb и ALICE для этих целей используют инструмент DIM (Управление распределенной информацией), первая версия которого была разработана еще для эксперимента Delphi в CERN. В ATLAS была разработана компонента ИС (информационный сервис), построенная на механизме CORBA. Информационный сервис хорошо зарекомендовал себя в ATLAS и широко используется в разных системах для обмена информацией, например, для доставки событий, передачи гистограмм, данных мониторинга. В ряде экспериментов сервис передачи информации дополняется системой передачи сообщений (Message reporting system). В отличии от первого, где получатель так или иначе запрашивает информацию, в системе передачи сообщений источник информации является активным объектом, то есть компонента может послать сообщение другой компоненте. В ATLAS данная система реализована через поток сообщений также с использованием CORBA, в эксперименте CMS используется библиотека log4cplus.

Менеджер процессов (Process manager).

Менеджер процессов используется для старта, слежения за работой и остановки процессов ССОД. Система также включает в себя средства мониторинга процессов и их состояний. В эксперименте ATLAS разработана своя легковесная компонента, реализующая представленные функции. ALICE использует специально разработанную инфраструктуру для сбора и тестирования данных, которая носит название Data Acquisition and Test Environment (DATE) и включена в программную инфраструктуру DAQ. В настоящее время в ALICE проводится работа над улучшением модуля конфигурации, который позво-

лит динамически конфигурировать процессы и параметры среды во время выполнения [33]. В зависимости от текущего состояния вычислительного узла параметры можно будет настраивать вручную или автоматически для достижения оптимальной производительности. В эксперименте CMS для запуска, остановки и мониторинга процессов в распределенной среде был разработан пакет Управление заданиями (JobControl), предоставляющий соответствующие сервисы через интерфейс SOAP. Данный пакет представляет собой службу, запускаемую на вычислительных узлах для осуществления запуска процессов и отслеживания состояний их дескрипторов. В случае аварийного завершения сервис сообщает об ошибке через систему мониторинга.

Система онлайн журналирования (Online bookkeeping).

Информационная система онлайн журналирования отвечает за архивирование информации о данных, записанных на постоянное хранение системой ССОД. Помимо записи информации о всех сеансах эксперимента она предоставляет ряд интерфейсов для извлечения и обновления хранимой информации. Система онлайн журналирования включает программные и графические пользовательские интерфейсы, используемые операторами смен во время идущего эксперимента. Данная система является обязательным компонентом во всех приведенных экспериментах. Характерной чертой системы является совмещение записи и хранения как автоматически создаваемой информации в режиме онлайн, так и данных, вносимых операторами или экспертами во время смен вручную.

Геометрическая база данных (Geometry DB).

Геометрическая база данных (или база данных геометрии) представляет собой основной элемент информационной системы, предназначенной для хранения, обработки и управления информацией о геометрической модели детектора. Такая база данных активно используется в экспериментах для построения геометрического описания детекторов и отслеживания изменений с течением времени и в различных версиях программного обеспечения, работающего в офлайн режиме, например, при моделировании, реконструкции и визуализации событий, а также в онлайн системах, например, в алгоритмах триггера высокого уровня. В результате анализа существующих решений наибольший интерес для экспериментов проекта NICA представляет подход, реализованный в эксперименте CBM, обладающий всем необходимым функционалом, и при этом наиболее простой в использовании. Эксперименты ATLAS и CMS используют такое промежуточное программное обеспечение как POOL, поэтому их решения сложнее в адаптации к другим экспериментам.

База данных состояний систем (Condition database).

База данных состояний хранит информацию о состоянии и условиях работы систем поддетекторов: данные о давлении, температуре и множестве других параметров. Она отвечает, в том числе, за хранение констант выравнивания и калибровки детекторов. Основным свойством этих данных является то, что они меняются со временем, и должны использоваться только для анализа событий, собранных в течение интервала их действия. Соответствующее программное обеспечение, используемое в экспериментах на LHC достаточно сложное и ориентировано на более жесткие, чем в экспериментах НИКА, ограничения по времени доступа и объемам хранимых данных, но сами подходы по выявлению особенностей структуры

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

данных, в частности задание ограничения их действия определенными интервалами времени, необходимо учитывать при реализации собственной базы данных состояний. В текущих работах CMS и ATLAS по улучшению данной информационной системы планируется заменить интервал времени на время начала интервала действия, а окончанием интервала считать начало следующего интервала хранимого параметра состояний.

Система метаданных физических событий (Event DB).

База метаданных физических событий содержит специфичную информацию о событиях столкновения частиц, позволяющую быстро искать требуемые события по различным критериям для последующей обработки. Сами физические события обычно хранятся в виде файлов, зачастую, например, как в эксперименте ATLAS, объединенные во множества данных (datasets). Метаданные помимо характеризующей событие информации (тэгов) содержат ссылки на конкретные события в файлах, информацию о триггерных цепочках, а также по мере создания объектов включают информацию о соответствующих реконструированных данных, как полных (Analysis Object Data, AOD) так и сокращенных (Derived Physics Data) данных физического анализа. Хотя такая информационная система реализована во всех экспериментах БАК, она базируются на промежуточном программном обеспечении, реализующем интерфейсы управления и доступа к метаданным, потому существующие решения не могут быть использованы напрямую в экспериментах проекта NICA.

Заключение

Сбор, хранение, обработка и анализ экспериментальных данных являются неотъемлемой частью современных экспериментов физики высоких энергий. Эти задачи приобретают особое значение в экспериментах мегапроекта NICA в связи с высокой скоростью набора и большой множественностью событий при столкновениях тяжелых ионов, поэтому особую актуальность приобретает задача автоматизации рассматриваемых процессов сбора, хранения, обработки и анализа данных комплекса NICA. В связи с этим возникла необходимость разработки и развития автоматизированных информационных систем, обеспечивающих хранение, организацию удобного, прозрачного доступа и управление данными на протяжении жизненного цикла научных исследований мегапроекта NICA. Проведенное в данной работе исследование показало, что такие информационные системы используются во всех крупных физических экспериментах по столкновению частиц, и они стали важной частью программного обеспечения этих экспериментов, в частности экспериментов на БАК в CERN. Рассмотренные информационные системы позволяют решить вопросы унифицированного доступа и управления данными эксперимента, обеспечивая корректную многопользовательскую обработку, актуальность, целостность и согласованность информации, требуемой для проведения экспериментов, а также обеспечивают автоматическое регулярное резервное копирование данных на случай программных ошибок или аппаратного сбоя.

Проведенный анализ современных информационных систем для онлайн и офлайн обработки данных в современных экспериментах физики высоких энергий показал, что существующие решения по автоматизации процессов сбора, обра-

ботки и анализа данных физических экспериментов сильно зависят от специфики выполняемого эксперимента и являются их неотъемлемой частью, в связи с чем для проекта NICA необходима реализация новых информационных систем специфичных экспериментам проекта NICA с учетом хорошо зарекомендовавших себя современных решений. Реализация систем, подобных рассмотренным, является необходимым этапом для успешной работы комплекса, а качественное управление данными поможет ускорить достижение научных результатов в экспериментах NICA.

References

[1] The ATLAS TDAQ Collaboration. The ATLAS Data Acquisition and High Level Trigger system. Journal of Instrumentation. 2016; 11(06): P06008-P06008. (In Eng.) DOI: 10.1088/1748-0221/11/06/p06008

[2] Almeida J., Dobson M., Kazarov A., Miotto G.L., Sloper J.E., Soloviev I., Torres R. The ATLAS DAQ system online configurations database service challenge. Journal of Physics: Conference Series. 2008; 119(2):022004. (In Eng.) DOI: 10.1088/1742-6596/119/2/022004

[3] Barczyc M., Burckhart-Chromek D., Caprini M., Da Silva Con-ceicao J., Dobson M., Flammer J., Jones R., Kazarov A., Kolos S., Liko D., Mapelli L., Soloviev I., Hart R., Amorim A., Klose D., Lima J., Lucio L., Pedro L., Wolters H., Badescu E., Alexandrov I., Kotov V., Mineev M., Ryabov Yu. An on-line Integrated Bookkeeping: electronic run log book and Meta-Data Repository for ATLAS. In: Computing in High Energy and Nuclear Physics, 24-28 March 2003, La Jolla, California, 2003. arXiv:cs/0306081 [cs.DB] (In Eng.)

[4] Paoli S. Conditions DB, User Requirements and Analysis document, 2000. (In Eng.)

[5] Liko D., Burckhart-Chromek D., Flammer J., Dobson M., Jones R., Mapelli L., Alexandrov I., Korobov S., Kotov V., Mi-neev M., Amorim A., Fiuza de Barros N., Klose D., Pedro L., Badescu E., Caprini M., Kolos S., Kazarov A., Ryabov Yu., Soloviev I. Control in the ATLAS TDAQ system. Computing in High Energy Physics and Nuclear Physics. Interlaken, Switzerland, 2004, pp. 159-162. (In Eng.) DOI: 10.5170/CERN-2005-002.159

[6] Leahu M.C., Dobson M., Avolio G. Access Control Design and Implementations in the ATLAS Experiment. IEEE Transactions on Nuclear Science. 2008; 55(1):386-391. (In Eng.) DOI: 10.1109/TNS.2007.912071

[7] Avolio G., Dobson M., Miotto G.L., Wiesmann M. The Process Manager in the ATLAS DAQ System. IEEE Transactions on Nuclear Science. 2008; 55(1):399-404. (In Eng.) DOI: 10.1109/TNS.2007.910507

[8] Aleksandrov I., Avolio G., Miotto G.L., Soloviev I. The Resource Manager the ATLAS Trigger and Data Acquisition System. Journal of Physics: Conference Series. 2017; 898:032016. (In Eng.) DOI: 10.1088/17426596/898/3/032016

[9] Kolos S., Boutsioukis G., Hauser R. High-Performance Scalable Information Service for the ATLAS Experiment. Journal of Physics: Conference Series. 2012; 396:012026. (In Eng.) DOI: 10.1088/1742-6596/396/1/012026

[10] Kazarov A., Caprini M., Kolos S., Miotto G.L., Soloviev I. A scalable and reliable message transport service for the AT-

Modern Information Technologies and IT-Education

КОГНИТИВНЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ Е. И. Александров И. Н. АлекcанДPов, К. В. Герценбергер,

М. А. Минеев, А. А. Мошкин, Д. И. Пряхина, И. А. Филозова,

В СИСТЕМАХ УПРАВЛЕНИЯ А. И. Чеботов, Г. В. Шестакова, А. В. Яковлев

LAS Trigger and Data Acquisition system. In: 2014 19th IEEE-NPSS Real Time Conference, Nara, 2014, pp. 1-4. (In Eng.) DOI: 10.1109/RTC.2014.7097447 [23]

[11] Kolos S., Kazarov A., Papaevgeniou L. The Error Reporting in the ATLAS TDAQ System. Journal of Physics: Conference Series. 2015; 608:012004. (In Eng.) DOI: 10.1088/17426596/608/1/012004

[12] Adragna P., Cimino D., Delia Pietra M., Dotti A., Ferrari R., Gaudio G., Roda C., Salvatore D., Vandelli W., Zema P.F. GNAM [24] and OHP: Monitoring Tools for ATLAS experiment at LHC.

In: 2006 IEEE Nuclear Science Symposium Conference Record, San Diego, CA, 2006, pp. 114-118. (In Eng.) DOI: 10.1109/NSSMIC.2006.356119

[13] Scholtes I., Kolos S., Zema P.F. The ATLAS Event Monitoring [25] Service - Peer-to-Peer Data Distribution in High-Energy Physics. IEEE Transactions on Nuclear Science. 2008; 55(3):1610-1620. (In Eng.) DOI: 10.1109/TNS.2008.924057

[14] Adragna P., Cimino D., Della Pietra M., Dotti A., Ferrari R., Gaudio G., Roda C., Salvatore D., Vandelli W., Zema P.F. GNAM

and OHP: Monitoring Tools for ATLAS experiment at LHC. [26] In: 2006 IEEE Nuclear Science Symposium Conference Record, San Diego, CA, 2006, pp. 114-118. (In Eng.) DOI: 10.1109/NSSMIC.2006.356119 [27]

[15] Corso-Radu A., Hadavand H., Illchenko Y., Kolos S., Okawa H., Slagle K., Taffard A., The ATLAS Collaboration. Data Quality Monitoring Framework for the ATLAS experiment: Performance achieved with colliding beams at the LHC. Journal of Physics: Conference Series. 2011; 331:022027. (In Eng.)

DOI: 10.1088/1742-6596/331/2/022027 [28]

[16] Jones R., Mapelli L., Ryabov Y., Soloviev I. The OKS persistent in-memory object manager. IEEE Transactions on Nuclear Science. 1998; 45(4):1958-1964. (In Eng.) DOI: 10.1109/23.710971

[17] Baranowski Z., Canali L., Casani A.F., Gallas E.J., Montoro [29] C.G., Gonzalez de la Hoz S., J. Hrivnac, Prokoshin F., Rybkin

G., Salt J., Sánchez J., Barberis D. A prototype for the evolution of ATLAS EventIndex based on Apache Kudu storage. EPJ Web of Conferences. 2019; 214:04057. (In Eng.) DOI: [30] 10.1051/epjconf/201921404057

[18] Barberis D. Modern SQL and NOSQL Database Technologies for the ATLAS Experiment. In: V. Korenkov, A. Nechaevskiy (eds) Selected Papers of the 26th International Symposium on Nuclear Electronics and Computing (NEC 2017). Budva, Montenegro, September 25-29, 2017. CEUR Workshop Proceedings. 2017; [31] 2013:15-22. Available at: http://ceur-ws.org/Vol-2023/15-22-paper-3.pdf (accessed 10.07.2019). (In Eng.)

[19] De Gruttola M., Di Guida S., Futyan D., Glege F., Govi G., Innocente V., Paolucci P., Picca P., Pierro A., Schlatter D., Xie Z. Persistent Storage of non-event Data in the CMS Databases. Journal of Instrumentation. 2010; 5:P04003. (In Eng.) DOI: 10.1088/1748-0221/5/04/P04003 [32]

[20] CMS Collaboration. CMS Data Processing Workflows during an Extended Cosmic Ray Run. Journal of Instrumentation. 2010: 5:T03006. (In Eng.) DOI: 10.1088/1748-0221/5/03/ T03006

[21] Di Guida S., Govi G., Ojeda M., Pfeiffer A., Sipos R. on behalf of

the ATLAS Collaboration. The CMS Condition Database sys- [33] tem. Journal of Physics: Conference Series. 2015; 664:042024. (In Eng.) DOI: 10.1088/1742-6596/664/4/042024

[22] Ruiz-Del-Arbol P.M. The CMS Muon System Alignment.

Journal of Physics: Conference Series. 2010; 219:022014. (In Eng.) DOI: 10.1088/1742-6596/219/2/022014 De Gruttola M., di Guida S., Glege F., Innocente V., Paolucci P., Futyan D., Govi G., Pierro A., Schlatter D. First experience in operating the population of the condition databases for the CMS experiment. Journal ofPhysics: Conference Series. 2010; 219(4):042046. (In Eng.) DOI: 10.1088/17426596/219/4/042046

Rinaldi L., Formica A., Gallas E.J., Ozturk N., Roe S. Conditions evolution of an experiment in mid-life, without the crisis (in ATLAS). EPJ Web of Conferences. 2019; 214:04052. (In Eng.) DOI: https://doi.org/10.1051/epj-conf/201921404052

Cattaneo M., Clemencic M., Shapoval I. LHCb software and Conditions Database cross-compatibility tracking system: A graph-theory approach. In: 2012 IEEE Nuclear Science Symposium and Medical Imaging Conference Record (NSS/MIC), Anaheim, CA, 2012, pp. 990-996. (In Eng.) DOI: 10.1109/ NSSMIC.2012.6551255

Gallas E.J., Ozturk N. The challenges of mining logging data in ATLAS. EPJ Web of Conferences. 2019: 214:04017. (In Eng.) DOI: 10.1051/epjconf/201921404017 Svatos M., De Salvo A., Dewhurst A., Vamvakopoulos E., Lozano B., Jose J., Ozturk N., Sanchez J., Dykstra D. Understanding the evolution of conditions data access through Frontier for the ATLAS Experiment. EPJ Web of Conferences. 2019; 214:03020. (In Eng.) DOI: 10.1051/epj-conf/201921403020

Laycock P.J., Dykstra D., Formica A., Govi G., Pfeiffer A., Roe S., Sipos R. A Conditions Data Management System for HEP Experiments. Journal of Physics: Conference Series. 2018; 1085:032040. (In Eng.) DOI: 10.1088/17426596/1085/3/032040

Sipos R. NoSQL technologies for the CMS Conditions Database. Journal of Physics: Conference Series. 2015; 664:042050. (In Eng.) DOI: 10.1088/17426596/664/4/042050

Buncic P., Krzewicki M., Vande Vyvre P. (Eds.) Technical Design Report for the Upgrade of the Online-Offline Computing System. CERN-LHCC-2015-006/ALICE-TDR-019. 2015. (Technical Design Report ALICE, 19). Available at: https:// cds.cern.ch/record/2011297/files/ALICE-TDR-019.pdf (accessed 10.07.2019). (In Eng.)

Carena F., Carena W., Chapeland S., Chibante Barroso V., Costa F., Denes E., Divia R., Fuchs U., Grigore A., Kiss T., Simonet-ti G., Soos C., Telesca A., Vande Vyvre P., von Haller B. The ALICE data acquisition system. Nuclear Instruments and Methods in Physics Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment. 2014; 741:130-162. (In Eng.) DOI: 10.1016/j.nima.2013.12.015 Akishina E.P., Alexandrov E.I., Alexandrov I.N., Filozova I.A., Friese V., Ivanov V.V., Meuller W., Zrelov P.V. Conceptual Considerations for CBM Databases. Communication of the Joint Institute for Nuclear Research. 2014; E10-2014-103. Available at: http://www1.jinr.ru/Preprints/2014/103(E10-2014-103). pdf (accessed 10.07.2019). (In Eng.)

Pugdeethosapol K., Barroso V.C., Akkarajitsakul K., Ach-clakul T. Dynamic configuration of the computing nodes of the ALICE O2 system. In: 2016 13th International Joint Conference on Computer Science and Software Engineering

Современные информационные технологии и ИТ-образование

Том 15, № 3. 2019 ISSN 2411-1473 sitito.cs.msu.ru

COGNITIVE INFORMATION TECHNOLOGIES IN CONTROL SYSTEMS

(JCSSE), Khon Kaen, 2016, pp. 1-5. (In Eng.) DOI: 10.1109/ JCSSE.2016.7748855

Поступила 10.07.2019; принята к публикации 20.08.2019; опубликована онлайн 30.09.2019. Submitted 10.07.2019; revised 20.08.2019; published online 30.09.2019.

Об авторах:

Александров Евгений Игоревич, научный сотрудник Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), ORCID: http://orcid.org/0000-0003-2057-5955, alexand@jinr.ru

Александров Игорь Николаевич, начальник Сектора распределенных систем реального времени Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), кандидат физико-математических наук, ORCID: http://orcid.org/0000-0001-7381-6762, aleksand@jinr.ru Герценбергер Константин Викторович, начальник Группы математического и программного обеспечения Лаборатории физики высоких энергий им. В. И. Векслера и А. М. Балдина, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ЛФВЭ), кандидат технических наук, С^СЮ: http://orcid.org/0000-0002-5753-1852, gertsen@jinr.ru Минеев Михаил Анатольевич, научный сотрудник Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), СRCID: http://orcid.org/0000-0002-2236-3879, mineev@jinr.ru

Мошкин Андрей Анатольевич, инженер-программист Лаборатории физики высоких энергий им. В. И. Векслера и А. М. Балдина, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ЛФВЭ), СRCID: http://orcid.org/0000-0002-5038-5274, amoshkin@jinr.ru Пряхина Дарья Игоревна, инженер-программист Лаборатории информационных технологий, Объединенный институт ядерных исследований 141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6); старший преподаватель Института системного анализа и управления, Государственный университет «Дубна» (141980, Россия, Московская обл., г. Дубна, ул. Университетская, д. 19), СRCID: http://orcid.org/0000-0002-7523-5459, pryahinad@jinr.ru

Филозова Ирина Анатольевна, начальник Группы развития и сопровождения информационных систем общеинститутского назначения Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6); старший преподаватель Института системного анализа и управления, Государственный университет «Дубна» (141980, Россия, Московская обл., г. Дубна, ул. Университетская, д. 19), д. СRCID: http://orcid.org/0000-0003-3441-7093, fia@jinr.ru Чеботов Александр Игоревич, инженер-программист Лаборатории физики высоких энергий им. В. И. Векслера и А. М. Балдина, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ЛФВЭ), СRCID: http://orcid.org/0000-0001-8907-7271, chebotov@jinr.ru Шестакова Галина Васильевна, ведущий программист Лаборатории информационных технологий, Объединенный инсти-

тут ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), ORCID: http://orcid.org/0000-0002-9826-8536, shestakova@jinr.ru

Яковлев Александр Владимирович, научный сотрудник Лаборатории информационных технологий, Объединенный институт ядерных исследований (141980, Россия, Московская обл., г. Дубна, ул. Жолио-Кюри, д. 6), ORCID: http://orcid. org/0000-0002-9534-9357, yakovleva@jinr.ru Все авторы прочитали и одобрили окончательный вариант рукописи.

а!!^¡^¡¡^ШШШШШШЁШ

Evgeny I. Alexandrov, Researcher of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia), ORCID: http://orcid. org/0000-0003-2057-5955, alexand@jinr.ru Igor N. Alexandrov, Head of Sector of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Cu-rie Str., Dubna 141980, Moscow region, Russia), Ph.D. (Phys.-Math.), ORCID: http://orcid.org/0000-0001-7381-6762, aleksand@jinr.ru Konstantin V. Gertsenberger, Head of Group, Veksler and Baldin Laboratory of High Energy Physics, Joint Institute for Nuclear Research (VBLHEP, Dubna 141980, Moscow region, Russia), Ph.D. (Engineering), ORCID: http://orcid.org/0000-0002-5753-1852, gert-sen@jinr.ru

Mikhail A. Mineev, Researcher of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia), ORCID: http://orcid. org/0000-0002-2236-3879, mineev@jinr.ru

Andrey A. Moshkin, Software Engineer, Veksler and Baldin Laboratory of High Energy Physics, Joint Institute for Nuclear Research (VBLHEP, Dubna 141980, Moscow region, Russia), ORCID: http:// orcid.org/0000-0002-5038-5274, amoshkin@jinr.ru Darya I. Pryahina, Software Engineer of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia); Senior Lecturer of the Institute of System Analysis and Management, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region Russia), ORCID: http://orcid.org/0000-0002-7523-5459, pryahinad@jinr.ru Irina A. Filozova, Head of Group of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Curie Str., Dubna 141980, Moscow region, Russia); Senior Lecturer of the Institute of System Analysis and Management, Dubna State University (19 Universitetskaya Str., Dubna 141982, Moscow region, Russia), ORCID: http://orcid.org/0000-0003-3441-7093, fia@jinr.ru Alexandr I. Chebotov, Software Engineer, Veksler and Baldin Laboratory of High Energy Physics, Joint Institute for Nuclear Research (VBLHEP, Dubna 141980, Moscow region Russia), ORCID: http:// orcid.org/0000-0001-8907-7271, chebotov@jinr.ru Galina V. Shestakova, Software Engineer of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Jo-liot-Curie Str., Dubna 141980, Moscow region, Russia), ORCID: http://orcid.org/0000-0002-9826-8536, shestakova@jinr.ru Alexander V. Yakovlev, Researcher of the Laboratory of Information Technologies, Joint Institute for Nuclear Research (6 Joliot-Cu-rie Str., Dubna 141980, Moscow region, Russia), ORCID: http://or-cid.org/0000-0002-9534-9357, yakovleva@jinr.ru

All authors have read and approved the final manuscript.

Modern Information Technologies and IT-Education