CC BY
89
Кореньков В.В.
заместитель директора Лаборатории информационных технологий ОИЯИ, заведующий кафедрой распределённых информационных вычислительных систем Международного университета «Дубна»
Распределенная система для обработки, хранения и анализа экспериментальных данных Большого адронного
коллайдера
Развитие исследований в физике высоких энергий, астрофизике, биологии, науках о Земле и других научных отраслях требует совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки. Для этого необходимы географически распределенные вычислительные системы способные передавать и принимать данные порядка сотен терабайт в сутки, одновременно обрабатывать сотни тысяч задач и долговременно хранить сотни петабайт данных.
Современные грид-инфраструктуры обеспечивают интеграцию аппаратурных и программных ресурсов, находящихся в разных организациях в масштабах стран, регионов, континентов в единую вычислительную среду, позволяющую решать задачи по обработке сверхбольших объемов данных, чего в настоящее время невозможно достичь в локальных вычислительных центрах.
Грид предлагает технологию доступа к общим ресурсам и службам в рамках виртуальных организаций. Виртуальная организация (VO) -совокупность организаций, объединённых для решения проблем в режиме скоординированного распределения своих ресурсов [1].
Наиболее впечатляющие результаты по организации глобальной инфраструктуры распределенных вычислений получены в проекте WLCG (Worldwide LHC Computing Grid или Всемирный грид для Большого адронного коллайдера) в ЦЕРН при обработке данных с экспериментов на LHC (Large Hadron Collider) или БАК (Большой адронный коллайдер) [2,3,4].
На семинаре 4 июля 2012 года, посвященном наблюдению бозона Хигса, директор ЦЕРН Р.Хойер дал высокую оценку грид-технологиям и их значимости для мировой науки. Без организации грид-инфраструктуры на LHC было бы невозможно обрабатывать и хранить колоссальный объем данных, поступающих с коллайдера, и совершать научные открытия. Сегодня уже ни один крупный научный проект не осуществим без использования распределенной инфраструктуры для обработки данных
[15].
В 2004 году начался масштабный европейский проект развертывания грид-систем для научных исследований - EGEE (Enabling Grids for E-science in Europe). Главная цель проекта EGEE - создание грид-инфраструктуры
промышленного уровня, предназначенной для работы пользователей, представляющих самые разные направления деятельности. Эта инфраструктура объединяет существующие национальные, региональные и тематические инициативы в области грид-технологий для интеграции ресурсов, сервисов.
Такая инфраструктура, основанная на Грид-технологиях, упрощает сотрудничество между географически распределёнными сообществами и позволяет им совместно пользоваться компьютерными ресурсами и данными.
Для обеспечения полномасштабного участия России в европейском проекте EGEE был образован консорциум РДИГ (Российский Грид для интенсивных операций с данными - Russian Data Intensive Grid, RDIG), в рамках которого было организовано выполнение работ по этому проекту. Это способствовало созданию и развитию российского сегмента грид-инфраструктуры EGEE, который стал пионерским проектом в развитии грид-технологий в России [5,6].
•V
• •
European Grid Infrastructure
Scheduled = 21539 Running = 25374 Archeology Astronomy Astrophysics Civil Protection Comp. Chemistry Earth Sciences Finance
Cloudscâpe II!
Status Jan 2011 (yearly increase)
• 13800 users: +38%
• 288000 LCPUs (cores):+18.5%
• 117PB disk: +192.5%
• 91.5PB tape:+50 %
• 28 million jobs/month: +86.T0^
• 340 sites: +7.25%
• 56 countries: +7.7% JSPg ' ^VOs:+24%/ im
30 active VOs: constant
I II
bz
High Energy Physics - .J life /Sciences ' K/ltiÎtimedia ^Material Sciences
21:13:50 UTC
GridPR
UK Computing for Particle Physics
Рис. 1. Параметры ресурсов и направления решаемых задач в Европейской
грид-инфраструктуре (EGI) В 2010 году проект EGEE завершился и развитие грид-технологий в Европе продолжается в рамках проекта EGI (Европейская грид инициатива), основой которого является координация и интеграция развития национальных грид-инфраструктур. Во многих развитых странах мира
созданы и эффективно функционируют национальные грид-инфраструктуры (NGI), которые объединяются в глобальные системы распределённых вычислений. На рис. 1 указаны параметры и характеристики ресурсов европейской грид-инфраструктуры (EGI), а также направления решаемых задач. Ресурсы европейской грид-инфраструктуры используются для решения задач биоинформатики и медицины, наук о земле и квантовой химии, нанотехнологий и астрофизики, финансового анализа и мультимедиа.
Эта инфраструктура активно используется для хранения, обработки и анализа данных экспериментов на Большом адронном коллайдере (LHC).
1. Грид-инфраструктура для обработки и хранения данных Большого адронного коллайдера (WLCG)
В 1998 году в рамках проекта MONARC (Models of Networked Analysis at Regional Centres for LHC Experiments) разрабатывалась модель компьютинга для экспериментов на LHC [2]. Под компьютингом понимается применение средств вычислительной техники и систем связи для организации сбора, хранения, обработки информации в научных исследованиях. Задача организации компьютинга была очень сложной, поскольку требовалось:
• обеспечить быстрый доступ к массивам данных колоссального объема;
• обеспечить прозрачный доступ к географически распределенным ресурсам;
• создать протяженную надежную сетевую инфраструктуру в гетерогенной среде.
Была разработана базовая модель компьютинга для экспериментов LHC как иерархическая централизованная структура региональных центров, включающая в себя центры нескольких уровней. Суть распределенной модели компьютинга состоит в том, что весь объем информации с детекторов LHC после обработки в реальном времени и первичной реконструкции (восстановления треков частиц, их импульсов и других характеристик из хаотического набора сигналов от различных регистрирующих систем) должен направляться для дальнейшей обработки и анализа в региональные центры разных уровней (Tier's):
TierO (CERN) => Tierl => Tier2 => Tier3 => компьютеры пользователей Уровни различаются по масштабу ресурсов (сетевые, вычислительные, дисковые, архивные) и по выполняемым функциям:
TierO (ЦЕРН) - первичная реконструкция событий, калибровка, хранение копий полных баз данных
Tier1 - полная реконструкция событий, хранение актуальных баз данных по событиям, создание и хранение наборов анализируемых событий, моделирование, анализ
Tier2 - репликация и хранение наборов анализируемых событий,
моделирование, анализ
В рамках этого проекта были проработаны требования к ресурсам и функции региональных центров уровней ^ег0, ^ег1, ^ег2. Разработанная модель была реализована и успешно функционирует с момента запуска Большого адронного коллайдера в 2009 году. Ежегодно собираются и обрабатываются данные объемом в десятки и даже сотни петабайт.
В настоящее время проект WLCG объединяет более 150 грид-сайтов, более 300000 ЦПУ, более 250 Пбайт систем хранения данных на дисках и ленточных роботах. С начала 2012 года до начала октября на грид-инфраструктуре WLCG было выполнено около 500 миллионов задач обработки и анализа данных с экспериментов LHC, которые использовали более 12 миллиардов часов процессорного времени в единицах HEPspec06. Информация о работе грид-инфраструктуры доступна на ШеЬ-портале [13].
Developed by CESSA 'EGI Vlev
/ norncpu-HEPSPEC06/2012; 1-2012:10 /COUNTRY-VO/ Ihc (x) / GRBAR-UN /
COUNTRY Normalised CPU time (HEPSPEC06) per COUNTRY
United States of America-
United Kingdom.
Germany
Рис. 2. Распределение процессорного времени проекта WLCG по странам за
2012 год с января до начала октября
На рис.2 показано распределение процессорного времени по странам WLCG, в котором: США - 34%, Великобритания - 10%, Германия и Италия -по 9%, Франция - 8%, Швейцария - 6%, Канада- 5%, Испания и Нидерланды по 3%, Россия - 2 %.
На российских грид-сайтах, участвующих в обработке и анализе данных экспериментов на LHC [6,7,13,14] за 2012 год (с января до начала октября) выполнено около 16 миллионов задач, которые использовали более 250 миллионов часов процессорного времени в единицах HEPspec06 (из них в ресурсном центре ОИЯИ около 120 миллионов часов, что составляет 47%). На рис. 2 приведена статистика по российским центрам. 2. Архитектура и схема функционирования грид-сайта ОИЯИ Ресурсный центр Объединенного института ядерных исследований (ОИЯИ) является крупнейшим в России (РДИГ) центром в составе
глобальной грид-инфраструктуры WLCG/EGEE/EGI, который обеспечивает поддержку виртуальных организаций крупнейших международных проектов, в том числе экспериментов на ЬНС [7,12,14].
Рис. 3. Распределение процессорного времени проекта WLCG среди российских ресурсных центров за 2012 год: ОИЯИ (Дубна) - 47%, НИЦ «Курчатовский институт» -18%, ИФВЭ (Протвино) -17%, ПИЯФ (Гатчина)
- 5%, ИТЭФ и ИЯИ (Троицк) - по 4%, НИИЯФ МГУ и ФИАН - по 2%
Ядром этой инфраструктуры является Центральный информационно - вычислительный комплекса (ЦИВК) ОИЯИ, который базируется на распределенной модели хранения и обработки данных. ЦИВК ОИЯИ организован как единый информационно-вычислительный ресурс, предназначенный для обеспечения всех пользователей ОИЯИ (в том числе пользователей параллельных вычислений) и пользователей виртуальных организаций грид-инфраструктуры. В настоящее время вычислительный комплекс ЦИВК состоит из 2582 64-х битных процессоров и системы хранения данных общей емкостью 1800 Тбайт. Вычислительные ресурсы и ресурсы для хранения данных используются как локальными пользователями ОИЯИ, так и пользователями международных проектов распределенных вычислений, в первую очередь экспериментов на Большом адронном коллайдере (ATLAS, CMS, ALICE).
Основной системой хранения больших объемов информации служит аппаратно-программный комплекс dCache. Несколько объединений пользователей нашего центра используют систему доступа к удаленной информации XROOTD. Созданные средства мониторинга помогают решать задачу эффективного использования системы хранения и балансировки нагрузки на дисковые пулы.
Большую роль в эффективности функционирования
вычислительного комплекса играет правильно организованная сетевая инфраструктура, соединяющая управляющие серверы, вычислительную систему и систему хранения информации. В ОИЯИ центральный маршрутизатор сети ресурсного центра соединен с основным граничным маршрутизатором сети ОИЯИ на скорости 10 Гигабит Ethernet. Для обеспечения высокой пропускной способности локальной сети и минимального времени доступа к данным и файлам применяется агрегирование нескольких соединений 1 Гигабит Ethernet в единый виртуальный канал (TRUNK) с увеличенной пропускной способностью от 4 до 8 Гигабит Ethernet.
ПОЛЬЗОВАТЕЛИ WLCG
ЦИВК. Вычислительные ресурсы, доступ и поддержка функционирования Рис. 4. Структурная схема вычислительного комплекса ОИЯИ: вычислительные ресурсы, доступ и поддержка функционирования.
На рис. 4 приведена архитектура основных компонент вычислительного комплекса ОИЯИ и общая схема их взаимодействия. Представлены важнейшие компоненты, обеспечивающие работу локальных пользователей, включая пользователей параллельных вычислений, так и пользователей виртуальных организаций глобальной грид-инфраструктуры. Легко видеть, что все вычислительные узлы доступны и пользователям ОИЯИ, и пользователям грид через единую систему пакетной обработки заданий - batch.
Большое внимание уделяется эффективности функционирования грид-сайта ОИЯИ, включая показатели надежности и доступности, которые в этом году достигли 99%.
Грид-сайт ОИЯИ является ресурсным центром уровня ^ег2 и входит в десятку лучших ресурсных центов этого уровня в мире и делит 3-4 место в Европе. На рис. 5 представлен рейтинг европейских грид-сайтов уровня ^ег2 за период с ноября 2011 года по август 2012 года.
Рейтинг европейских центров 2-го уровня инфраструктуры \ZVLCG за период с ноября 2011 г. по август 2012 г.
РИ-1N 2 РЗ-СС-Т 2
_11N Я- 1_С<3 2
СУ РК О N ЕТ- 1_С<3 2
РН-6И1Р - Орсэ, Франция П1-1№2РЗ-СС-Т2- Лион ФЕБУ-НН - Гамбург лмя-шсг- Дубна, Россия СУРКОИЕТ- 1_СС2 - Краков
Ю5 459 49 2
265 864 924
Нормализованное процессорное время в единицах НЕРБресОб-часов
Рис. 5. Рейтинг европейских грид-сайтов уровня ^г2 инфраструктуры
WLCG
3. Участие ОИЯИ в развитии грид-технологий
Сотрудники ОИЯИ принимают активное участие в развитии систем грид-мониторинга и управления распределенными хранилищами данных. Представлены наиболее значимые проекты в этом направлении.
3.1. Система мониторинга сервиса передачи файлов FTS
Была разработана системы мониторинга сервиса передачи файлов FTS [8]. Интерфейс системы состоит из нескольких модулей. У пользователей есть возможность начать свою работу с системой непосредственно из интересующего его модуля, либо с главной страницы, на которой представлены общие отчеты, позволяющие определить состояние сервиса и возможные источники проблем. Система предоставляет возможности получения широкого спектра отчетов, рейтингов, статистических выкладок и определения коэффициента корреляции для пары ошибок. Практически все отчеты системы мониторинга сервиса передачи данных снабжены перекрестными ссылками, что очень удобно для детализации результатов. В системе реализован механизм оповещения при сбоях, позволяющий администратору сервиса создать свои собственные наборы правил (триггеры), при срабатывании которых будут выполнены определенные действия (отправлены сообщения посредством шеЬ-интерфейса, электронной почты, коротких сообщений sms и т.д.). Триггеры можно создавать для каналов передачи, грид-сайтов, хостов и виртуальных организаций. Реализованы три типа триггеров: (1) при превышении числа ошибок определенного уровня, (2) при изменении уровня ошибок более, чем на заданную величину и (3) при превышении процента неудачных передач определенного уровня. Если пользователь работает с триггерами
типа 1 и 2, то он может указать идентификационный номер определенной ошибки, чтобы отслеживать только ее развитие.
Рис. 6. Модель данных системы мониторинга FTS При работе с каналами, грид-сайтами и хостами, пользователь может указать виртуальную организацию для получения необходимых параметров. Информация о срабатывании триггера может быть получена из специальной таблицы, что существенно упрощает использование механизма оповещений. Благодаря механизму оповещений значительно упрощается работа администраторов сервиса. На рис. 6 представлена модель данных системы мониторинга сервиса FTS
Предоставляется следующая информация о каналах передачи данных сервиса FTS с детализацией по грид-сайтам и виртуальным организациям (выдаваемая информация относится к выбранному пользователем промежутку времени):
• количество передач файлов;
• абсолютное и относительное число успешных и неуспешных передач;
• выявленные причины возникающих ошибок (несколько первых в цепочке) и их количественное соотношение в общем числе ошибок;
• средний размер переданных файлов;
• среднее время передачи;
• средняя скорость передачи данных в канале;
• объем переданных и полученных данных.
3.2. Развитие системы управления распределенными данными эксперимента ATLAS
Система управления распределенными данными DQ2 коллаборации ATLAS отвечает за репликацию, доступ и учет данных на распределенных
грид-сайтах, обеспечивающих обработку данных коллаборации. Она также реализует политику управления данными, определенную в вычислительной модели ATLAS.
В 2010 году возникла необходимость разработать новую архитектуру сервиса удаления данных для обеспечения целостности распределенного хранения информации эксперимента ATLAS. Сервис удаления данных один из основных сервисов DQ2. Этот распределенный сервис взаимодействует с различным промежуточным программным обеспечением грид и DQ2 каталогами для обслуживания запросов на удаление [9]. Кроме того, сервис организует балансировку нагрузки, обеспечивая масштабируемость и отказоустойчивость системы DQ2, корректную обработку исключений, возникающих в процессе работы, стратегию повтора операций в случае возникновения отказов. Разработка включала построение нового интерфейса между компонентами сервиса удаления (основанного на технологии веб-сервисов), создание новой схемы базы данных, перестройку ядра сервиса, разработку интерфейсов с системами массового хранения, и развитие системы мониторинга работы сервиса. Сервис разработан, внедрен и поддерживается сотрудниками ОИЯИ. Данные эксперимента ATLAS распределены на более 100 грид-сайтах с общим объемом дискового пространства более 150 петабайт, в котором хранятся сотни миллионов файлов. Недельный объем удаляемых данных составляет 2 Пб (20 000 000 файлов). Созданный сервис обеспечивает целостность хранения информации в географически распределенной среде.
3.3. Система мониторинга центров уровня Tier3 для анализа данных.
Для анализа данных экспериментов LHC стали использоваться разнообразные вычислительные ресурсы (серверы, кластеры, суперкомпьютеры) центров уровня Tier3, которые находятся вне централизованного управления и планирования и на которые не распространяются какие-либо единые требования, касающиеся технических решений. Для этих центров характерно большое разнообразие систем хранения данных и систем пакетной обработки задач. Было выполнено исследование центров уровня Tier3 для систематизации и обеспечения средств интеграции с центрами уровня Tier2. В результате этого исследования было выявлено около 40 различных вариантов конфигураций программно-аппаратных комплексов Tier3. Необходимо было реализовать все варианты комплексов Tier3 для создания дистрибутивов и внедрения системы локального мониторинга для сбора информации о функционировании каждого Tier3 центра [10,11]. Для этой цели в ОИЯИ было разработана архитектура тестовой инфраструктуры на базе виртуальных кластеров, что позволило промоделировать все возможные на данный момент конфигурации Tier3 центров и выработать рекомендации по системе сбора информации для глобального мониторинга Tierô-центров.
Проект глобального мониторинга ^ег3 центров (ТЗтоп) направлен на разработку программного комплекса для мониторинга ^ег3 сайтов, как с точки зрения локального администратора сайта, так и с точки зрения администратора виртуальной организации АТLАS.
мзс
Рис. 7. Схема функционирования основных вариантов ^г3 центров и их взаимодействие с системой глобального мониторинга Реализация этого проекта имеет огромное значение для координации работ в рамках виртуальной организации, так как обеспечивается глобальный взгляд на вклад ^ег3 сайтов в вычислительный процесс. Схема функционирования основных вариантов ^ег3 центров и их взаимодействие с системой глобального мониторинга представлена на рис. 7.
3.4. Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG.
В рамках совместного проекта РФФИ-ЦЕРН «Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG», разработан прототип универсальной системы мониторинга [14] передачи файлов, способной собирать подробную информацию:
• о каждой передаче файлов (около 1 Петабайта в день);
• независимо от метода осуществления передачи (несколько протоколов и сервисов передачи файлов, FTS, Xrootd);
• уровень ресурсного центра (^егО, ^ег1, ^ег2, ^ег3);
• принадлежности данных определенной виртуальной организации;
• передавать с высокой степенью надежности собранную информацию в центральное хранилище;
• обрабатывать собранные данные для предоставления различным потребителям;
• предоставлять пользовательские и программные интерфейсы для получения данных.
На рис. 8. представлена архитектура универсальной системы мониторинга передачи файлов в грид-среде проекта WLCG. Система позволяет полностью удовлетворить потребности в информации различных типов пользователей и администраторов инфраструктуры WLCG.
Architecture
Рис. 8. Архитектура универсальной системы мониторинга передачи файлов
4. Эволюция модели компьютинга и хранения данных БАК
В созданной иерархической инфраструктуре ресурсных центров разного уровня WLCG для экспериментов на LHC постоянно растут потоки передаваемых данных и количество заданий пользователей, что приводит к замедлению анализа данных. Это приводит к необходимости совершенствования модели компьютинга в соответствии с требованиями со стороны виртуальных организаций и пользователей экспериментов на LHC.
Для обработки данных LHC требуется распределенное управление данными и поддержка очень высоких скоростей передачи огромных массивов данных. В этом направлении постоянно совершенствуются сервисы и программные продукты.
Происходит эволюция инфраструктуры и модели компьютинга
экспериментов на БАК:
• переход от иерархической структуры к сетевой, а в идеале к полносвязной, где возможны связи между центрами всех уровней;
• развитие средств распределенного управления данными, поддержка очень высоких скоростей передачи огромных массивов данных;
• создание мощных и разнообразных центров уровня Tier3 для индивидуального анализа данных;
• развитие и применение средств виртуализации и облачных вычислений (проект «Helix Nebula - научное облако») Изменяется и модель размещения данных - осуществлен переход к
концепции динамического размещения данных и созданию дополнительных их копий и удалению не используемых копий. Эволюция распределенной инфраструктуры и модели компьютинга постоянно развивается в направлении конвергенции технологий.
В развитии модели компьютинга на LHC большую роль играют российские центры, так как в 2011 году было принято решение о проведении подготовительных работ по созданию центра уровня Tier1 в России для обработки, хранения и анализа данных с Большого адронного коллайдера (БАК) на базе НИЦ КИ и ОИЯИ.
В настоящее время в рамках ФЦП Министерства образования и науки РФ финансируется проект «Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере (LHC) уровня Tierl и обеспечения грид-сервисов для распределенного анализа этих данных».
28 сентября 2012 года на заседании Наблюдательного Совета проекта WLCG (грид-инфраструктура для экспериментов LHC) был принят план создания Tier1 в России.
В этом плане предусмотрено три основных этапа.
Первый этап (декабрь 2012 года) - создание прототипа Tier1 в НИЦ КИ и ОИЯИ.
Второй этап (ноябрь 2013 года) - установка оборудования для базового Tier1 центра, его тестирование и доведение до необходимых функциональных характеристик.
Третий этап (ноябрь 2014 года) - дооснащение этого комплекса и ввод в эксплуатацию полномасштабного Tier1 центра в России.
Реализация этого проекта существенно повысит уровень участия России в обработке, хранении и анализе данных Большого адронного коллайдера, а также создаст хорошие условия для создания распределенной инфраструктуры новых мегапроектов.
Работа выполнена при финансовой поддержке Министерства образования и науки РФ.
Литература
1. Ian Foster and Carl Kesselman, "The Grid: Blueprint for a New Computing Infrastructure," Morgan Kaufmann, 1999, http://www.mkp.com/grids
2. L. Robertson, J. Knobloch. LHC Computing Grid Technical Design Report.CERN-LHCC-2005-023.[Электронный ресурс]. 2005. : http://cdsweb.cern.ch/record/840543/files/lhcc-2005-024.pdf
3. Worldwide LHC Computing Grid http://lcg.web.cern.ch
4. Кореньков В., Тихоненко Е. Концепция GRID и компьютерные технологии в эру LHC // Физика элементарных частиц и атомного ядра, т. 32, вып.6, 2001, с.1458-1493.
5. Ильин В., Кореньков В., Солдатов А. Российский сегмент глобальной инфраструктуры LCG, Открытые системы // №1, 2003. С. 56-60.
6. В.Ильин, В.Кореньков. Компьютерная грид-инфраструктура коллаборации RDMS CMS// В глубь материи: физика XXI века глазами создателей экспериментального комплекса на Большом адронном коллайдере в Женеве. М: Этерна, 2009. С. 361-372.
7. V.Korenkov. GRID ACTIVITIES AT THE JOINT INSTITUTE FOR NUCLEAR RESEARCH // in Proc. of the 4th Intern. Conf. «Distributed Computing and Grid-Technologies in Science and Education, GRID-2010», ISBN 978-5-9530-0269-1, Dubna, 2010, p. 142-147.
8. В.Кореньков, А.Ужинский. Система мониторинга сервиса передачи данных (FTS) проекта EGEE/WLCG Вычислительные методы и программирование: Новые вычислительные технологии, том 10, 2009. С.96-100.
9. D.Oleynik, A.Petrosyan, V.Garonne, S.Campana, ATLAS DQ2 Deletion Service, труды конференции CHEP'2012, Нью-Йорк, США, 21-25 мая 2012.
10. Andreeva J., Benjamin D., Campana S., Klimentov A., Korenkov V., Oleynik D., Panitkin S., Petrosyan A. Tier-3 Monitoring Software Suite (T3MON) proposal //ATL-SOFT-PUB-2011-001, CERN, 2011.
11. S. Belov, I. Kadochnikov, V. Korenkov, M. Kutouski1, D. Oleynik, A. Petrosyan on behalf of the ATLAS Collaboration. VM-based infrastructure for simulating different cluster and storage solutions used on ATLAS Tier-3 sites // ATL-SOFT-PROC-2012-057, 2012.
12. В.В.Кореньков, В.В.Мицын, П.В.Дмитриенко Архитектура системы мониторинга центрального информационно-вычислительного комплекса ОИЯИ // Информационные технологии и вычислительные системы, 2012, №3. С. 3-14.
13. Портал функционирования Eвропейской грид-инфраструктуры http://accounting.egi.eu
14. Портал по развитию грид-технологий в ОИЯИ http://grid.jinr.ru/
15. Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC / CMS Collaboration. Phys. Lett. B 716 (2012) 30-61.
