CC BY
56
3. Макарец А.Б. Анализ образовательных услуг с позиций маркетингового управления // Вестник Саровского физтеха. - 2008 - №13-14. - С. 128- 135.
4. Голик В.С. Эффективность Интернет-маркетинга в бизнесе // Маркетинг в России и за рубежом. - 2007. - № 1. - С. 124- 133.
5. Рыжиков С.В. Способ учета рекламных компаний для интернет-проектов и событийный анализ сайта // Интернет-маркетинг. - 2006. - № 1. - С. 45-53.
6. Спивак С. Эффективный сайт. Авторские семинары-тренинги Сергея Спивака [Электронный ресурс]. - Режим доступа: http://www.spivak.ru/spivak_diagram/
7. Образовательные ресурсы в Интернет. Тестирование сайтов. Сайты российских вузов. // Сотри-terBild. - 2006. - № 12. - С. 45- 46.
8. Рейтинг сайтов наших вузов. Где искать своих в Сети? // Форум. - 2008. - № 2. - С. 52 - 53.
9. Рейтинг московских вузов по уровню раскрытия информации для абитуриентов на сайте 2008 [Электронный ресурс] // Сайт АНО НРА «Рейтор». - Режим доступа: http://reitor.ru/ru/observatory /raitings/reit_uri/.
10. Свидетельство об отраслевой регистрации разработки № 11038: Сайт экономико-математического факультета СарФТИ / А.Б. Макарец - № 50200801518 // Инновации в науке и образовании. - 2008. - № 7(42). - С. 30.
11. Покровский Н. Usability-методы исследования Web-сайта [Электронный ресурс] // Сайт Usability.ru. - Режим доступа: http://www.usability.ru/Articles/um.htm.
12. Неретина Е.А., Макарец А.Б. Имидж вуза в системе продвижения образовательных услуг // Сб. ст. III Междунар. научн.-практич. конф. «Маркетинг и общество» / КГФЭИ. - Казань, 2008. - С. 176 -179.
13. Бабич П.Н., Чубенко А.В., Лапач С.Н. Статистика в науке и бизнесе. - Киев: Морион, 2002. -
640 с.
14. Свидетельство об отраслевой регистрации разработки № 11717: Методика и программа расчета коэффициента коммуникативности вузовских WEB-сайтов. Расчет и построение рейтинга сайтов по качеству маркетинговых коммуникаций / А.Б. Макарец - № 50200802197 // Инновации в науке и образовании. - 2008. - № 11(46). - С. 5.
РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ХРАНЕНИЯ ДАННЫХ В ВЫЧИСЛИТЕЛЬНОЙ ИНФРАСТРУКТУРЕ ФИЗИЧЕСКОГО ЭКСПЕРИМЕНТА
Р.Ю.Машинистов, асп. Управления перспективных программ, проектов и информационных технологий Тел.: (495) 323-9401; E-mail: ruslan.mashinistov@cern.ch Ю.А. Чернышев, д.т.н.,проф. каф. Компьютерных систем и технологий Тел.: (495) 323-9095; E-mail: yachernishev@mephi.ru Московский государственный инженерно-физический институт (государственный университет)
http://www.mephi.ru
The article considers the principle of the organization of software infrastructure of experiment in the field of elementary particle physics. The article also presents mechanism of interaction with users.
Статья рассматривает принцип организации программной инфраструктуры эксперимента в области физики элементарных частиц. Статья также представляет механизм взаимодействия с пользователями.
Ключевые слова: база данных, обработка данных, эксперимент. Keywords: database, data computing, experiment.
Введение При подготовке и проведении экспери-
ментов в области физики элементарных частиц возникает необходимость в хране-
нии и обработке больших объемов экспериментальных данных.
Данные эксперимента различны по значению и целям использования. Подготовка крупного эксперимента физики элементарных частиц включает в себя развитие соответствующей инфраструктуры. При этом инфраструктура эксперимента включает множество компонентов, выполненных с использованием различных методик и технологий [1].
Организация структурированного
управления всего эксперимента является
многоуровневой задачей. Если вынести теоретическую основу эксперимента, а также его техническую реализацию за рамки рассматриваемой проблемы, то сам эксперимент функционально можно рассматривать как процесс взаимодействия конечных пользователей с экспериментальной установкой. Структурно эксперимент можно рассматривать как объект, который на входе получает поток необработанной экспериментальной информации, поступающий с экспериментальной установки, а на выходе представляет структурированный поток обработанной экспериментальной информации, понятной и наглядной для конечных пользователей. При этом имеются обратные связи с пользователями и экспериментальной установкой. Обратные связи реализуют возможности управления процессом эксперимента.
При разработке программного модуля, входящего в состав инфраструктуры эксперимента, следует учесть существование большого числа различного рода данных и соответствующих программных служб - например, технические данные, данные геометрии детектора, базы данных системы сбора данных и системы контроля детектора. Базы данных могут быть как реального времени, так и автономные. Также существуют данные событий, условий и конфигураций. Используются различные службы управления данными [1].
В рамках развития инфраструктуры обработки данных следует обеспечивать параллельную разработку, интеграцию и операционные возможности распределенных
баз данных, программного обеспечения управления данными, а также инфраструктуры этих областей.
1. Организация процесса хранения данных эксперимента
Процесс обработки экспериментальных данных можно условно разделить на этапы сбора экспериментальных данных, хранения и последующей обработки. Все три этапа тесно связаны между собой и влияют друг на друга, предъявляя требования к соседним этапам.
Параллельным процессом для сбора экспериментальной информации является процесс управления экспериментом. Он состоит из этапов анализа полученных данных, формирования новых значений параметров детектора и записи их в соответствующие базы данных конфигураций, далее следует передача новых параметров на системы контроля детектора.
Системы сбора экспериментальных данных и система контроля представляют собой аппаратно-программное обеспечение, разработанное с учетом устройства и организации экспериментальной установки (детектора элементарных частиц). При этом аппаратная часть системы сбора данных проектируется на этапе проектирования самого детектора.
Система хранения данных, с одной стороны, должна быть интегрирована с системой сбора данных. Это означает, что структура хранения данных не должна требовать серьезных преобразований данных, поступающих с системы сбора данных. Это связано с тем, что в процессе эксперимента происходит запись больших объемов данных в режиме реального времени. Сложные преобразования данных на этом этапе приведут к тому, что скорость поступающих данных сильно превысит скорость записи, что, в свою очередь, приведет к потере части информации. Таким образом, формат хранения данных должен быть максимально приближен к формату систем сбора данных [2].
С другой стороны системы хранения, дополнительно к стандартным требованиям
(ограничения на суммарный объем данных и скорость доступа к данным), должны быть интегрированы с различными средами обработки данных. Это значит, что необходимо связанное хранение данных разного формата и назначения. Дополнительно к непосредственно данным физического эксперимента необходимо хранить метаданные, позволяющие с максимальной точностью воспроизвести условия эксперимента. К таким метаданным относятся: данные инженерных параметров детектора; данные условий, в которых были получены те или иные экспериментальные данные; данные выставленных конфигураций детектора т.д. [1].
Наиболее объемным, с точки зрения используемых приложений и технологий, является этап обработки данных. Различные системы позволяют производить анализ полученных данных, реконструкцию физических событий и представлять информацию в графическом виде, удобном для восприятия. Основной сложностью на этом этапе является использование данных различного формата и с различных источников.
Границы между перечисленными этапами условны. При этом каждый из этапов содержит множество дополнительных процессов. Дополнительные сложности вносит необходимость использования существующих средств и технологий, которые должны обладать некоторой гибкостью в настройке и интеграции для достижения максимальной эффективности в конкретном эксперименте.
На этапе сбора экспериментальных данных происходит их первичная фильтрация. Используемая при этом буферизация позволяет сглаживать неравномерности в потоке поступающих данных.
Система хранения данных представляет собой многоуровневую систему. Существует множество баз данных и систем управления данными. Кроме хранения непосредственно экспериментальных данных, также существует необходимость хранения технических данных конструкции детектора и данных конфигурации. В рамках системы хранения данных должен быть организован доступ к данным событий и соответствующих условий, при которых произошло каждое событие. Под событием в области физики элементарных частиц принято понимать факт регистрации элементарных частиц. Также должен быть организован доступ к базе данных конфигураций [3].
Базы данных отличаются по целям использования. Обычно данные физических событий хранятся в файлах. При этом файлы данных связаны с данными, хранящимися в реляционных базах данных условий и конфигураций. Существует развитая инфраструктура распределенного хранения файлов данных. При этом реляционные базы условий и конфигураций хранят ключи, указывающие на файл с данными, полученными при данных условиях и при данной конфигурации детектора [1].
При создании инфраструктуры хранения экспериментальных данных к основным задачам относятся организация структурированного хранения данных с реализацией возможности совместного использования различных по типу и назначению баз данных, а также реализация рационального доступа к данным. Такая организация позволит в дальнейшем полностью восстановить процесс эксперимента и предоставит ученым всю необходимую информацию.
На этапе обработки и графической визуализации данных возникают задачи доступа к хранящимся данным. При этом используются различные источники данных. Далее данные подвергаются обработке, ориентированной на логику работы конкретного эксперимента. Графическая визуализация данных также ориентирована на конкретное экспериментальное оборудование. В то же время подходы к решению поставленных задач являются универсальными в данной области и могут использоваться в рамках других экспериментов [4].
Одной из проблем при разработке новых компонентов развитой инфраструктуры является максимальная интеграция. Новый компонент должен иметь интерфейсы для взаимодействия с остальными соседними компонентами инфраструктуры. Данная проблема особенно актуальна при использовании различных форматов данных, систем и подходов в рамках инфраструктуры. Но в крупных экспериментах невозможно избежать такой гетерогенности используемых средств.
Таким образом, разработка программных компонентов в существующей инфраструктуре включает следующие этапы:
1. Анализ существующих компонентов инфраструктуры и определение границ нового разрабатываемого модуля.
2. Определение форматов данных, которые будут использоваться в новом модуле.
Разработка интерфейсов взаимодействия с соседними компонентами.
3. Разработка функциональной составляющей нового модуля.
Следует обратить внимание на взаимодействие основных этапов друг с другом. Требуемый функционал для нового модуля определяет его положение внутри существующей инфраструктуры. Это, в свою очередь, определяет необходимые интерфейсы взаимодействия на границах с соседними модулями. Далее, анализируя форматы данных, необходимо определить наиболее оптимальный формат данных для данного модуля. Реализация алгоритмов модуля происходит согласно выбранным форматам данных, а также базовым технологиям.
Таким образом, можно обобщить задачу как поддержание целостности и прозрачности инфраструктуры обработки и хранения данных эксперимента. Поддержание целостности и прозрачности производится за счет обнаружения и создания недостающих компонентов инфраструктуры, а также раз-
работки программных интерфейсов между существующими компонентами и модулями.
2. Определение программного обеспечения эксперимента как объект
На рис.1 представлена обобщенная схема взаимодействия конечных пользователей с экспериментальной установкой. На рисунке не вынесены в отдельные блоки системы сбора данных и управления детектором. Также конечные пользователи приравнены к конечным приложениям пользователей. Как видно из рисунка, система управления процессом имеет входной поток экспериментальных данных. Данные физических событий представляют собой информацию о датчиках, которые выдали сигнал при прохождении через них элементарной частицы. Данные физических событий обрабатываются системой сбора данных и упаковывается в пакеты данных. Также система сбора данных представляет информацию об условиях, при которых происходил набор экспериментальных данных (выставленные пороги срабатывания, временные задержки срабатывания и т.д.).
Рис. 1. Схема взаимодействия конечных пользователей и экспериментальной установки. 1-поток экспериментальных данных, данных условий и различных метаданных. 2 - двунаправленные линии управления
Одновременно с этим система управления детектором отслеживает показания критических параметров, таких, как показания температурных датчиков и рабочие напряжения установки. Обратная связь с экспериментальной установкой обеспечивает управление детектором: процессы запуска и останова, корректировка напряжений и т.д. [2].
Система управления процессом эксперимента является промежуточной средой между непосредственно экспериментальной установкой и пользователями, экспертами и различными приложениями. Данная организация скрывает от пользователей внутреннюю организацию систем сбора данных и управления детектором. Также при такой реализации обеспечивается безопасность эксплуатации экспериментальной установки за счет автоматизации контроля критических параметров, а также выставления ограничений на действия конечных пользователей.
Система управления процессом эксперимента представляет экспериментальные данные, данные условий, информацию об используемых конфигурациях в адаптированном для программной обработки или наглядном для пользователей виде. Таким образом, пользователю предоставляются экспериментальные данные, возможность управления процессом эксперимента, а также возможность управления системами сбора данных и управления детектором.
На рис.2 представлена развернутая схема взаимодействия пользователей с системами сбора данных и управления детектором на примере эксперимента ATLAS [5] на Большом Адроном Колайдере (БАК) [6].
Данная схема универсальна и может быть отнесена к любому эксперименту в области физики элементарных частиц. Рядовые пользователи, а также большинство экспертов не взаимодействуют напрямую с экспе-
риментальной установкой и ее окружающей электроникой. Вместо этого происходит взаимодействие с системами сбора данных и управления детектором. В эксперименте AT-
LAS такими системами являются соответственно DAQ (Data Acquisition system) и DCS (Detector Control System) [3,7].
Рис. 2. Схема взаимодействия пользователей с системами сбора данных и управления детектором на примере эксперимента ATLAS на Большом Адроном Колайдере (БАК)
Программные приложения взаимодействуют с системами DAQ и DCS преимущественно через соответствующие базы данных. Системе DAQ соответствует база данных условий (Condition Database). Данная база данных включает в себя таблицы, хранящие данные за все время использования, а также буферные таблицы. Буферные таблицы используются для считывания и хранения текущих данных условий, а также для задания новых конфигураций. Системе DCS соответствует база данных конфигураций (Configuration Database). Данная база данных содержит архив всех загруженных конфигураций, а также позволяет хранить, задавать и редактировать наборы изменяемых параметров (рецептов) для задания новых конфигураций. Разработано программное обеспечение, реализующее интерфейс между базами данных условий и конфигураций и позволяющее обмен данными между системами хранения систем DAQ и DCS.
Физические данные, считанные системой DAQ, хранятся в отдельном файловом хранилище. При этом базы данных DAQ и DCS для каждого набора данных хранят ссылку на соответствующий файл данных.
Как правило, рядовому пользователю
нет необходимости взаимодействовать напрямую с системами хранения, в то время как эксперты имеют такую возможность. Интерфейс между системой хранения данных в целом и пользователями представляет программная, эксперимент-ориентированная среда ATHENA. Данная среда скрывает от рядового пользователя внутреннюю систему хранения данных.
Заключение
Данные эксперимента различны по значению и целям использования. На примере эксперимента ATLAS существуют различные системы контроля состояния и управления детектором. К таким системам относятся Система Сбора Данных DAQ и Система Контроля Детектора DCS.
Система DAQ перемещает считанные данные событий в итоговое хранилище. Предоставляет эти данные для мониторинга, а также обеспечивает локальное управление данными. Также система DAQ реализует различные интерфейсы с триггерами срабатывания детектора, вычислительными фермами, системой построения событий и других систем, включая DCS.
Основной задачей системы DCS явля-
ется обеспечение последовательной и безопасной работы детектора ATLAS. Система DCS управляет всеми доступными параметрами детектора, сигнализирует о ненормальном поведении системы оператору и предлагает выполнение необходимых действий. В случае необходимости DCS автоматически выполняет предопределенные действия для стабилизации состояния детектора.
Система DAQ, в первую очередь, работает с непосредственно экспериментальными физическими данными, определенными уникальным номером. В то время как система DCS в основном работает с остальными данными, определенными временными штампами. Эти данные необходимы для понимания поведения детектора и последовательного анализа.
Данные систем должны хранится в соответствующих базах данных. К основным базам данных системы DCS в детекторе TRT эксперимента ATLAS относятся архив системы PVSS (PVSS archive) и база данных конфигураций (Configuration DB). (PVSS является системой контроля руководителя и
Литература
сбора данных SCADA (Supervisory Control And Data Acquisition). PVSS используется для соединения с аппаратными и программными устройствами, сбора данных и управления) [1].
Была поставлена задача разработки базы данных системы DAQ состояний детектора. Данная БД должна хранить параметры детектора TRT, определяемые временными штампами. Для решения поставленной задачи был разработан класс, реализованный в виде разделяемой библиотеки С++. Разработанная библиотека будет представлять собой промежуточное программное обеспечение между нижележащей СУБД Oracle и вышележащими приложениями. Библиотека должна содержать набор методов для создания и заполнения БД, а также набор служебных сервисных методов и методов для выполнения запросов. Задача разработки разделяемой библиотеки - интеграция модуля в существующую инфраструктуру ПО и БД. Подход к разработке, используемые алгоритмы и технологии будут легко переносимы для реализации в других детекторах.
«Открытое образование» на 6-ом месте в рейтинге ваковских журналов.
В прошлом году ВАК рекомендовал (Информационное сообщение №45.1-132 от 14.10.2008) всем научным журналам регулярно предоставлять информацию об опубликованных статьях по установленной форме в систему Российского индекса научного цитирования. И вот в июне (16.06.2009) системой РИНЦ был выполнен перерасчёт Импакт-фактора - индекс цитирования, который учитывает не только количественный показатель цитируемости статей опубликованных в журнале, но и научный статус публикующихся в журнале авторов.
В результате перерасчёта ИФ РИНЦ журнал «Открытое образование» среди российских ваковских журналов оказался на 6-ом месте из 109 журналов в рубрике «Информатика», на 5-ом из 90 журналов в рубрике «Кибернетика», на 5-ом из 210 журналов в рубрике «Педагогика».
Источник. РИНЦ (http://elibrary.ru)
1. ATLAS Computing Technical Design Report, ATLAS TDR-017, CERN-LHCC-2005-022, CERN, Geneva, 20 June 2005, available at http://atlas.web.cern.ch/Atlas/intemal/tdr.html.
2. Механизм «интервалов истины» в базах данных условий и конфигураций физического эксперимента Atlas / Ю.А. Чернышев, Р.Ю. Машинистов, Б. Ди Джироламо // Научн. сессия МИФИ-2008. XII выставка-конференция. Телекоммуникации и новые информационные. Технологии в образовании: Сб. науч. тр: - М.: МИФИ, 2008. - С. 41-43.
3. Разработка системы хранения данных трекового детектора переходного излучения в эксперименте Atlas / Р.Ю. Машинистов, Б. Ди Джироламо, А.С. Романюк // Научн. сессия МИФИ-2007: Сб. научн. тр.: В 17 т. - М.: МИФИ, 2007. - Т. 10. - С. 49-50.
4. Разработка системы визуализации данных трекового детектора переходного излучения в эксперименте Atlas / Р.Ю. Машинистов, А.С. Романюк, С.Ю. Смирнов, В.О. Тихомиров и др // Научн. сессия МИФИ-2007. Научн.-образоват. центр CRDF. V Конференция. Фундаментальные исследования материи в экстремальных состояниях. Физика ядра и элементарных частиц: Сб. науч. тр. - М.: МИФИ, 2007. - С. 88-90.
5. The ATLAS exeriment, http://atlas.web.cern.ch/Atlas/index.html.
6. LHC - The Large Hadron Collider: http://lhc.web.cern.ch.
7. ATLAS DAQ, DAQ, EF, LVL2 and DCS Technical Progress Report, CERN/LHCC 98-16, CERN, Geneva, 30 June 1998, available at http://atlas.web.cern.ch/Atlas/internal/tdr.html.
