CC BY
58
Вычислительные технологии
Том 17, № 6, 2012
Использование виртуализованной суперкомпьютерной инфраструктуры Новосибирского научного центра для обработки данных экспериментов физики высоких энергий*
С. Д. Белов1, А. С. Зайцев1, В. И. Каплин1, А. А. Король1, К. Ю. СковпЕнь1, А. М. Сухарев1, А. С. Адакин2, В. С. Никульцев2, Д. Л. Чубаров2,4, Н. В. Кучин3, С. В. Ломакин3, В. А. Калюжный4
1 Институт ядерной физики СО РАН, 2Институт вычислительных технологий СО РАН, 3Институт вычислительной математики и математической геофизики СО РАН, Новосибирск, Россия 4Новосибирский государственный университет, Россия e-mail: belov@inp.nsk.su, dchubarov@ict.nsc.ru
При решении задач обработки данных в физике высоких энергий используются кластерные вычисления с пакетной обработкой заданий. В некоторых случаях необходимые для своевременного решения задач вычислительные ресурсы превышают мощности одной кластерной системы. Недостающие ресурсы могут быть привлечены за счёт свободных мощностей других доступных вычислительных кластеров. В работе представлен метод построения виртуального кластера, состоящего из виртуальных машин, размещаемых на свободных узлах нескольких физических кластеров. Метод реализован с использованием сетевой и вычислительной инфраструктуры Новосибирского научного центра для обработки данных нескольких экспериментов в области физики высоких энергий, проводимых в Институте ядерной физики СО РАН.
Ключевые слова: Grid-вычисления, виртуализация, кластерные вычисления.
Введение
В настоящее время эксперименты физики высоких энергий (ФВЭ) являются одним из наиболее интенсивных источников научных данных, для обработки которых используются специализированные вычислительные кластеры. Так, в Институте ядерной физики СО РАН (ИЯФ СО РАН) проводится ряд многолетних экспериментов в области
* Работа выполнена в рамках Интеграционного проекта СО РАН № 39 при финансовой поддержке Министерства образования и науки РФ, РФФИ (грант № 08-07-05031-6), программы "Телекоммуникационные и мультимедийные ресурсы СО РАН", гранта Президента РФ для поддержки ведущих научных школ (№ НШ-6293.2012.9).
физики высоких энергий, и накопленные за это время данные составляют несколько терабайт. Для обработки столь больших объёмов научных данных в ИЯФ был создан специализированный кластер.
В то же время в Новосибирском научном центре (ННЦ) действуют несколько вычислительных кластеров, предоставляющих вычислительные ресурсы организациям Сибирского отделения РАН для решения широкого круга научных задач. Использование ресурсов ряда кластеров одновременно могло бы значительно ускорить обработку данных экспериментов ФВЭ, однако адаптация программ обработки к особенностям каждого кластера в случае задач обработки данных в области физики высоких энергий вызывает большие практические трудности.
Широкое распространение технологий запуска виртуальных машин позволило авторам настоящей статьи разработать методику запуска заданий обработки данных на нескольких кластерах без необходимости адаптации программ. Предлагаемая методика включает выделение ресурсов на кластере, используемом совместно, запуск виртуальных машин на узлах кластера и подключение этих машин к диспетчеру задач обработки данных наравне с узлами специализированного кластера. Таким образом, создаётся динамический виртуальный кластер, который с точки зрения пользователя системы обработки данных не отличается от специализированного кластера.
Для реализации этой методики необходима изолированная сетевая инфраструктура, соединяющая крупнейшие вычислительные кластеры в Новосибирском научном центре. В 2009 г. на базе уже существующих оптических каналов сети передачи данных СО РАН [1] был создан специализированный сегмент сети, позже названной суперкомпьютерной сетью ННЦ (NSC supercomputer network, NSC/SCN). Наличие выделенного сегмента позволило решить проблему распределения IP-адресов для узлов динамического виртуального кластера. Кроме того, в силу изоляции сегмента передача большого объёма данных по сети при запуске виртуального кластера не влияет на работу других пользователей сети.
Один из ключевых принципов при разработке методики запуска динамических виртуальных кластеров состоит в минимизации изменений в конфигурации кластеров, предоставляющих вычислительные ресурсы. Для запуска виртуального кластера не требуются выделение узлов из кластера, установка на них какого-то специализированного программного обеспечения, не входящего в дистрибутив операционной системы, или предоставление пользователям административных привилегий. По окончании работы виртуального кластера узлы могут быть немедленно использованы для решения задач других пользователей.
В настоящее время методика запуска динамических виртуальных кластеров применяется для запуска параллельных вычислительных заданий обработки и моделирования эксперимента КЕДР [2] в ИЯФ. За время отладки методики с её помощью было выполнено около 250 тыс. расчётных заданий. Таким образом, эта методика активно применяется и может быть использована для решения других задач обработки данных, подобных задачам в ФВЭ.
Статья имеет следующую структуру. В разделе 1 определены основные типы задач обработки данных ФВЭ и представлены их характеристики, определяющие потребности в вычислительных ресурсах и ресурсах хранения данных, в разделе 2 представлены характеристики суперкомпьютерной сети ННЦ, в разделе 3 обсуждается общая схема динамического виртуального кластера и особенности её реализации, в разделе 4 приведены основные итоги работы.
1. Задачи обработки данных в физике высоких энергий 1.1. Общие характеристики
Современные эксперименты, проводимые в области ФВЭ, имеют, как правило, сходную структуру. Внутри детектора сталкиваются пучки частиц, и продукты их взаимодействия регистрируются. Данные, поступающие с детектора, представляют собой последовательность событий. Событие содержит всю информацию о сработавших во время очередного столкновения регистрирующих каналах детектора. Упрощённо его можно представить в виде набора пар чисел с, V, где с — номер канала, V — значение измерения в канале. Важной характеристикой данных является независимость отдельных событий. Независимые события могут обрабатываться параллельно на различных вычислительных узлах. Записывая события последовательно в течение некоторого времени при стабильных условиях работы детектора, мы получаем группу событий, называемую заходом. Заход, как правило, является наименьшей единицей данных при распараллеливании обработки.
К типовым задачам обработки данных в ФВЭ относятся:
— фильтрация исходных данных, во время которой из входного потока выделяются события, обладающие определёнными признаками;
— моделирование — генерация искусственных событий в соответствии с физической моделью;
— реконструкция — обработка экспериментальных и смоделированных событий, при которой из данных о срабатываниях каналов детектора восстанавливается информация эксперимента (например, направления вылета, энергии частиц и т.д.);
— анализ — подсчёт числа событий рассматриваемого класса, оценка степени согласия наблюдаемых данных и данных моделирования, получение окончательного результата.
Размер события и полный объём данных, записанный детектором, в значительной степени зависят от условий конкретного эксперимента. Общим положением здесь является следующее: при реконструкции поток выходных данных гораздо меньше потока входных данных, а при моделировании входной поток минимален, но полное количество смоделированных событий должно превышать число реальных событий по крайней мере на порядок. Как правило, обработка и моделирование отдельного события не предъявляют серьёзных требований к ресурсам компьютера и могут быть проведены одним вычислительным ядром (в случае крупных детекторов время обработки отдельного события может занимать несколько десятков минут).
Программное обеспечение, применяемое для решения задач обработки данных в ФВЭ, разнородно. С одной стороны, существуют стандартные библиотеки подпрограмм и программные средства, с другой — для каждого детектора — уникальной экспериментальной установки — разрабатываются свои специализированные программы обработки, которые поддерживаются коллективом физиков, участвующих в эксперименте.
Как правило, чтобы избежать переобучения сотрудников и существенных трудозатрат на адаптацию и повторную валидацию программного обеспечения, после начала эксперимента значительные изменения вычислительной среды не допускаются. В этих условиях привлекательным вариантом создания стабильной вычислительной среды является использование технологии виртуализации.
1.2. Вычислительная среда эксперимента КЕДР
Детектор КЕДР [2, 3] — крупномасштабный эксперимент ФВЭ, проводимый на элек-тронпозитронном коллайдере ВЭПП-4М [4] в ИЯФ СО РАН. К созданию специализированного программного обеспечения для обработки данных детектора приступили в конце 1990-х гг. В настоящее время, претерпев несколько обновлений, вычислительная среда эксперимента зафиксирована на операционной системе Scientific Linux CERN 3 [5] с архитектурой i386. Суммарный объём программного кода для детектора КЕДР составляет около 350 kSLOC по оценке, выполненной с помощью программы SLOCcount [6]. Программы написаны в основном на Fortran (44 %) и C/C++ (53 %). Полные затраты на разработку программного обеспечения оцениваются в более чем 100 человеколет. Суммарный объём экспериментальных данных, записанных детектором КЕДР с 2000 г., по современным меркам ФВЭ сравнительно невелик и составляет 3.6 ТБ. Данные сохраняются в собственном формате.
Обработка указанного эксперимента осуществлялась в пакетном режиме с использованием системы управления заданиями Sun Grid Engine (SGE) на вычислительном кластере производительностью 200 Гфлопс. Для сокращения времени обработки этого и других экспериментов был запущен динамический виртуальный кластер, использующий мощности нескольких вычислительных систем, предоставляющих вычислительные ресурсы для научных исследований.
2. Виртуализованная вычислительная среда NSC/SCN 2.1. Вычислительные ресурсы
Сеть передачи данных СО РАН объединяет несколько вычислительных кластеров суммарной производительностью выше 150 Тфлопс. Несколько кластеров включены в изолированный сегмент сети, построенный на основе технологии 10 Gigabit Ethernet. Эти кластеры предназначены для совместного использования несколькими группами исследователей. Для разделения ресурсов применяется система управления заданиями, предоставляющая пользователям возможность:
— резервировать часть вычислительных ресурсов узла кластера или весь узел целиком;
— запускать пользовательские программы на этих узлах;
— выполнять чтение и запись на сетевую файловую систему, отображающую согласованное состояние файловой системы на каждый из узлов;
Таблица 1. Технические характеристики кластеров в суперкомпьютерной сети ННЦ
Организация Операционная Пиковая Ёмкость
система производительность, Тфлопс системы хранения, ТБ
ИВЦ НГУ SuSE Enterpise Linux 11, x86_64 37 108
ССКЦ Red Hat Enterprise Linux 5.4, x86_64 116 120
ИЯФ СО РАН Scientific Linux 5, x86 64 0.2 96
— передавать данные между узлами, а также устанавливать TCP/IP соединения с компьютерами, не входящими в кластер, в соответствии с ограничениями, заданными администратором.
Каждый из кластеров имеет свои базу пользователей, систему аутентификации, синтаксис команд систем управления заданиям и отличающиеся от других кластеров образы операционных систем. Все поступающие задачи попадают в общую очередь и обрабатываются по мере освобождения ресурсов.
Технические характеристики кластеров в суперкомпьютерной сети ННЦ приведены в табл. 1 (здесь ИВЦ НГУ — Информационно-вычислительный центр НГУ, ССКЦ — Сибирский суперкомпьютерный центр).
2.2. Структура и реализация суперкомпьютерной сети ННЦ
Суперкомпьютерная сеть ННЦ использует технологию 10 Gigabit Ethernet. Как показано на рис. 1, центральный коммутатор сети расположен в Институте вычислительных технологий (ИВТ СО РАН) и соединён с каждым участником двумя парами оптических волокон. Одна пара используется для организации канала связи 10 Gigabit Ethernet. Во второй паре волокон построен канал 1 Gigabit Ethernet, в котором проходят несколько виртуальных сетей, используемых для управления.
Суперкомпьютерная сеть является изолированной приватной сетью, которую не предполагается напрямую соединять с сетями общего назначения организаций-участников. Каждая из площадок, подключённых к сети, оборудована концевым коммутатором, управляемым централизованно.
Для взаимного предоставления вычислительных ресурсов и доступа к системам хранения данных используются следующие подходы и протоколы:
Рис. 1. Структура суперкомпьютерной сети ННЦ. Планируемые группы и связи с ними показаны пунктиром и штрихом. Отмечены точки сбора статистики ЫЯХО
— статическая маршрутизация OSI уровня 3 между приватными подсетями IPv4;
— виртуальные сети IEEE 802.1Q с согласованной между участниками сети схемой нумерации;
— протоколы более высокого уровня для связи систем хранения.
3. Динамический виртуальный кластер
Использование технологий виртуализации на аппаратном уровне [7] упростило многие задачи администрирования вычислительной инфраструктуры. Суть этих технологий состоит в том, что в вычислительной системе создается подсистема, называемая гостевой виртуальной машиной (ВМ). Процессы, выполняющиеся в ВМ, полностью изолированы от процессов исходной вычислительной системы. В частности, в гостевой подсистеме может выполняться своя операционная система, отличная от основной операционной системы. Виртуализация обеспечивается программной компонентой, называемой монитором виртуальных машин. В настоящее время технологии виртуализации на аппаратном уровне поддерживаются всеми распространёнными архитектурами процессоров.
Прежде чем виртуализация на аппаратном уровне стала доступной серверной технологией, понятие динамический виртуальный кластер применялось для обозначения реконфигурируемых по требованию систем с динамической заменой образа операционной системы непосредственно на узле [8]. Преимуществом метода, использующего технологии виртуальных машин, является минимизация вмешательства в функционирование кластера. Выполнение обычных задач может быть продолжено через несколько секунд после завершения работы виртуального кластера. Запуск виртуального кластера не требует участия администратора кластера и может выполняться пользователем, не имеющим административных привилегий.
Поддержка виртуализации на аппаратном уровне позволяет минимизировать потери, связанные с созданием дополнительного уровня абстракции. Эксперименты, выполненные на наборе тестов NAS Benchmarks [9], показали потери в пределах 1 % для задач, не требующих межпроцессорных коммуникаций, и от 1 до 30 % для задач с наиболее интенсивными межпроцессорными коммуникациями [10]. На наших примерах замедление работы отдельных программ обработки в виртуальном кластере по сравнению с их выполнением на аналогичном оборудовании без виртуализации составляло несколько процентов и в худшем случае не превышало 20 %.
Наиболее распространены примеры применения виртуальных машин для решения вычислительных задач и задач обработки данных, реализованные на основе существующей Grid-инфраструктуры или инфраструктур облачных вычислений, таких как Eucalyptus [11] или Amazon EC2 [12]. Задача настоящего исследования отличается тем, что необходимо совместить работу виртуального кластера со штатной обработкой пакетных заданий на кластере, используемом совместно несколькими исследовательскими группами.
Самая близкая к решаемой здесь задача была решена при разработке системы администрирования виртуальными кластерами Usher [13]. В отличие от авторов системы Usher мы стремились к простоте реализации в рамках существующей вычислительной среды, минимизируя изменения в работе кластера, ресурсы которого используются.
3.1. Организация кластера
Динамический виртуальный кластер состоит из управляющего узла, множества виртуальных машин, сетевой системы хранения данных и среды передачи данных между виртуальными машинами с одной стороны и управляющим узлом и системой хранения данных — с другой. Процедура запуска кластера включает следующие этапы:
1) узлы реального кластера выделяются для организации виртуального кластера штатным запросом к системе управления ресурсами кластера;
2) на выделенных узлах реального кластера запускается монитор виртуальных машин;
3) под управлением монитора виртуальных машин запускается набор виртуальных машин, спецификации которых определяются отдельно для каждого типа задач обработки данных;
4) монитор виртуальных машин устанавливает идентификатор сетевого интерфейса (MAC-адрес) в соответствии с номером узла кластера и порядковым номером машины на узле, что позволяет виртуальной машине при запуске выполнить индивидуальную настройку, в частности, своего виртуального сетевого интерфейса;
5) виртуальная машина устанавливает соединение с управляющим узлом виртуального кластера, адрес которого записан в образе виртуальной машины;
6) управляющий узел добавляет виртуальную машину в свой перечень управляемых ресурсов и при наличии задач, ожидающих выполнения, инициирует их исполнение на виртуальной машине.
3.2. Выбор решения и первоначальные проверки
Чтобы получить оптимальную конфигурацию виртуализованной среды, способной обеспечить как высокую эффективность использования физических узлов, так и долговременную стабильность виртуальных машин, были опробованы несколько реализаций мониторов виртуальных машин.
• Решение с использованием VMware Server [14], требующее минимальных изменений на узлах кластера. Было обнаружено, что при определённых условиях взаимодействие VMware Server и параллельной файловой системы Lustre приводит к блокировке виртуальных машин. При отсутствии доступа к исходным кодам VMware Server установить точную причину блокировки не представляется возможным. Это обстоятельство, а также значительные потери в производительности не позволили использовать этот тип монитора для построения виртуального кластера.
• Решение на базе гипервизора XEN [15], требующее использования специально модифицированной версии ядра Linux. Поскольку эта модификация не поддерживается поставщиком оборудования кластера ИВЦ НГУ, от него пришлось отказаться.
• Решение на базе KVM [16], которое показало лучшие производительность и стабильность работы с ВМ под управлением Scientific Linux CERN 3, в силу чего и было выбрано для окончательных проверок и постоянного использования для запуска вычислительных заданий детектора КЕДР.
Далее KVM-решение прошло широкомасштабное тестирование, в котором до 512 двухъядерных ВМ одновременно выполняли до 1024 заданий обработки данных и моделирования эксперимента КЕДР под управлением системы Sun Grid Engine.
1. Постановка расчетных заданий
2. Запрос ресурсов виртуального кластера
3. Постановка заданий на запуск виртуальных машин
4. Запуск виртуальных машин
5. Нотификация
6. Обновление информации о ресурсах
7. Запуск расчетных заданий на виртуальных машинах
Группа № 2
Головной узел виртуального кластера
Управляющие сервисы_
| Система управления заданиями ~|
Пользователь
Рис. 2. Схема интеграции систем управления заданиями на пользовательские группы ИЯФ СО РАН и кластеры ИВЦ НГУ
К настоящему времени все этапы развёртывания основанной на KVM среды виртуализации на вычислительных узлах ИВЦ НГУ автоматизированны и работают в рамках стандартного пользовательского интерфейса системы управления заданиями Altair PBS Professional. Кроме того, был создан механизм обмена информацией между системами управления заданиями эксперимента КЕДР и ИВЦ НГУ, позволяющий полностью автоматизировать управление виртуализованной инфраструктурой.
Общий вид схемы интеграции систем управления пакетной обработкой заданий показан на рис. 2. Специальный сервис периодически проверяет наличие ожидающих выполнения заданий эксперимента КЕДР. При появлении таких заданий он ставит в очередь системы пакетной обработки кластера соответствующее количество так называемых заданий запуска ВМ (1). Каждое задание запуска ВМ полностью занимает один физический узел кластера и запускает несколько ВМ в соответствии с количеством физических процессорных ядер (3). Виртуальные машины загружаются (4), сообщают о своей готовности системе пакетной обработки КЕДР (5), и пользовательские задания начинают выполняться (6). Когда в очереди не остаётся подходящих заданий, инициируется процедура самовыключения ВМ и ресурсы ИВЦ освобождаются для других пользователей.
4. Результаты работы
Вышеописанное решение было протестировано с вычислительной средой детектора КЕДР и используется для регулярного выполнения заданий, обеспечивая до 75 % потребностей эксперимента КЕДР в вычислительных ресурсах, что позволило существенно ускорить анализ физических данных детектора и получение результатов [17- 19].
Кластер А Узлы физического кластера
Головной узел физического кластера Система управления заданиями
Группа № 1
Головной узел виртуального кластера
Управляющие сервисы
^ Система управления заданиями
Пользователь
2
1
Таблица 2. Суммарное использование вычислительных ресурсов ИВЦ пользовательскими группами ИЯФ в период с начала 2011 г. до конца первого квартала 2012 г.
Группа Начало работы Выполнено пользовательских заданий, тыс.
КЕДР Январь 2011 г. 152 (61 %)
СНД Середина 2011 г. 57 (23%)
ATLAS Январь 2012 г. 40 (16%)
Всего 249
Детектор СНД [20, 21] коллайдера ВЭПП-2000 ИЯФ [22, 23] успешно использовал отработанное с детектором КЕДР решение для удовлетворения своих потребностей в вычислительных ресурсах. В начале 2012 г. аналогичные работы начались в ИЯФ в интересах пользовательской группы, участвующей в анализе данных эксперимента ATLAS [24] на Большом адронном коллайдере в рамках ATLAS Exotics Working Group [25], и группы, обслуживающей детектор КМД-3 [26] коллайдера ВЭПП-2000. Суммарное потребление ресурсов этими активно участвующими в проекте группами показано в табл. 2.
Заключение
Создание суперкомпьютерной сети Новосибирского научного центра открывает возможности для организации динамических виртуальных кластеров, использующих ресурсы нескольких физических кластеров для повышения скорости обработки значительных объёмов данных. Такие виртуальные кластеры применяются для запуска большого количества параллельных заданий обработки данных экспериментов в ФВЭ. В ИЯФ СО РАН пользовательская группа, обслуживающая детекторы КЕДР и СНД, а также группа, участвующая в финальном анализе эксперимента ATLAS (БАК, ЦЕРН), используют динамические виртуальные кластеры для запуска своих заданий на постоянной основе.
Тот же подход планируется применить для построения прототипов компьютерных ферм для будущего детектора супер-с-т-фабрики [27], проект которой может быть реализован в ИЯФ в ближайшие 10 лет.
В настоящее время узлы суперкомпьютерной сети NSC/SCN помещаются на площадке диаметром 1.5 км, но в дальнейшем с учётом возрастающих потребностей задач обработки данных её можно расширить до регионального уровня, соединив с другими сибирскими суперкомпьютерами.
Авторами получен опыт создания, тестирования и постоянной эксплуатации основанного на виртуализации решения, подходящего для выполнения вычислительных заданий экспериментов ФВЭ на современных суперкомпьютерах с минимальными дополнительными трудозатратами со стороны пользователей-физиков и администраторов вычислительных центров. Этот опыт может быть интересен при проведении различных экспериментов ФВЭ, а также исследовательских работ других направлений науки, обработка которых требует больших объёмов вычислений.
Авторы выражают благодарность М.Г. Курносову и анонимному рецензенту за ценные замечания, учтённые при подготовке статьи.
Список литературы
[1] Сеть передачи данных Сибирского отделения РАН. Новосибирск, 2005 (Препр. ИВТ СО РАН).
[2] Детектор "КЕДР". http://kedr. inp.nsk.su
[3] Anashin V.V., Aulchenko V.M., Baibusinov B.O. et al. Status of the KEDR detector // Nucl. Instr. and Methods. A. 2002. Vol. 478. P. 420-425.
[4] Коллайдер "ВЭПП-4М" в ИЯФ СО РАН. http://v4.inp.nsk.su
[5] Scientific Linux CERN (SLC). http://linuxsoft.cern.ch
[6] Wheeler D.A. Программа "SLOCCount". http://www.dwheeler.com/sloccount/
[7] Popek G., Goldberg R. Formal requirements for virtualizable third generation architectures // Comm. ACM. 1974. Vol. 17, No. 7. P. 412-421.
[8] Chase J.S., Irwin D.E., Grit L.E. et al. Dynamic virtual clusters in a Grid site manager // 12th IEEE Intern. Symp. on High Performance Distributed Computing (HPDC'03). Seattle, USA. 2003. P. 90-100.
[9] NASA. NAS Parallel Benchmarks. http://www.nas.nasa.gov/Software/NPB/
[10] Huang W., Liu J., Abali B., Panda D.K. A case for high performance computing with virtual machines // 20th Annual Intern. Conf. on Supercomputing. Cairns, Australia, 2006. P. 125-134.
[11] Nurmi D., Wolski R., Grzegorczyk C. et al. The eucalyptus open-source cloud-computing system // 9th IEEE/ACM Intern. Symp. on Cluster Computing and the Grid. Shanghai, China, 2009. P. 124-131.
[12] Amazon Elastic Compute Cloud. 2009.
[13] McNett M., Gupta D., Vahdat A., Voelker G.M. Usher: An extensible framework for managing custers of virtual machines // Large Installation System Administration Conf. Dallas, USA, 2007. P. 1-15.
[14] Платформа VMware Server. http://www.vmware.com/products/server/
[15] Barham P., Dragovic B., Fraser K. et al. Xen and the art of virtualization // 19th ACM Symp. on Operating systems principles. Bolton Landing, USA, 2003. P. 164-177.
[16] Warnke R., Ritzau T. Qemu-kvm & Libvirt. Books on Demand GmbH. Norderstedt 4th Edition, 2010.
[17] Anashin V.V., Aulchenko V.M., Baldin E.M. et al. Measurement of -0(3770) parameters // Phys. Lett. B. 2011. Vol. 711. P. 292-300.
[18] Anashin V.V., Aulchenko V.M., Baldin E.M. et al. Measurement of main parameters of the 0(2S) resonance // Ibid. 2012. Vol. 711. P. 280-291.
[19] Baldin E.M. Recent results from the KEDR detector at the VEPP-4M e+e- collider // XXIst Int. Europ. Conf. on High Energy Physics. Grenoble, 2011. (Proc. of Sci. (EPS-HEP2011) 174.)
[20] Коллаборация СНД. http://wwwsnd.inp.nsk.su
[21] Абрамов Г.Н., Астигеевич П.М., Аульченко В.М. и др. Детектор СНД: Модернизация систем для экспериментов на ВЭПП-2000 и некоторые предварительные результаты экспериментов на ВЭПП-2М. Новосибирск, 2007 (Препр. ИЯФ СО РАН № 2007-20).
[22] Коллайдер "ВЭПП-2000" в ИЯФ СО РАН. http://vepp2k.inp.nsk.su
[23] Berkaev D., Kirpotin A., Koop I. et al. First commissioning results of VEPP-2000 // ICFA. Beam Dyn. Newslett. 2009. Vol. 48. P. 235-242.
[24] ATLAS Collaboration The ATLAS Experiment at the CERN Large Hadron Collider //J. Instrum. 2008. Vol. 3.
[25] Научные результаты рабочей группы ATLAS Exotics. https://twiki.cern.ch/twiki/bin/view/AtlasPublic/ExoticsPublicResults
[26] Fedotovich G.V. CMD-3 detector for VEPP-2000 // Nucl. Phys. Proc. Suppl. 2006. Vol. 162. P. 332-338.
[27] Levichev E. The project of super-ct-factory with crab waist in Novosibirsk // Phys. of Particles and Nuclei Lett. 2008. Vol. 5, No. 7. P. 554-559.
Поступила в 'редакцию 25 мая 2012 г., с доработки — 9 ноября 2012 г.
