CC BY
50
УДК 004.75 DOI 10.18522/2311-3103-2016-11-88100
В.Е. Велихов, А.А. Климентов, Р.Ю. Машинистов, А.А. Пойда, Е.А. Рябинкин
ИНТЕГРАЦИЯ ГЕТЕРОГЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ МОЩНОСТЕЙ НИЦ «КУРЧАТОВСКИЙ ИНСТИТУТ» ДЛЯ ПРОВЕДЕНИЯ МАСШТАБНЫХ НАУЧНЫХ ВЫЧИСЛЕНИЙ
В последнее время в различных областях науки наблюдается значительное увеличение объемов экспериментальных и моделируемых данных за счет создания новых алгоритмов, повышения качества технических средств и т.д. Для обработки данных эксперимента ATLAS во время первой фазы работы Большого Адронного Коллайдера (БАК) в 2010-2013 годах были использованы десятки вычислительных центров и хранилищ муль-ти-петабайтного масштаба (общий объем данных составил 160 Пбайт) по всему миру (в настоящий момент управляемый объем данных эксперимента АТЛАС составляет 250 ПБайт). Недавние достижения технологий в области геномного секвенирования нового поколения (NGS - Next Generation Genome Sequencing) также привели к значительному увеличению объема данных, которые должны быть обработаны, проанализированы, а результаты должны быть доступны удаленным группам биоинформатиков. Это в свою очередь привело к повышению требований к вычислительным платформам обработки данных: потребовалось больше оперативной памяти и более мощные процессоры. Решение данной проблемы требует применения принципиально других подходов к организации вычислений - относительно новых для биоинформатики, но успешно зарекомендовавших себя в других научных областях, в которых проблема BigData возникла уже давно. Авторами статьи было проведено исследование возможности применения методов и подходов, используемых в физике высоких энергий, для объединения гетерогенных вычислительных ресурсов в единую вычислительную платформу. В настоящее время в отдельный класс промежуточного программного обеспечения Грид вынесены системы управления заданиями (WMS-системы). Данные системы упрощают взаимодействие пользователей с вычислительными ресурсами, позволяя отправлять задания, выполнять их на «лучших» ресурсах, получать информацию о статусе выполнения задач и получать выходную информацию. Также WMS-системы обеспечивают прозрачную интеграцию таких ресурсов, как суперкомпьютеры, высокопроизводительные вычислительные кластеры, облачные платформы и т.д. Авторами была разработана полномасштабная система управления данными и заданиями на базе вычислительных мощностей Национального исследовательского центра «Курчатовский институт». В качестве базовой технологии была использована система управления задачами PanDA, разработанная и используемая для эксперимента ATLAS на Большом Адронном Коллайдере (БАК) в Европейском Центре Ядерных Исследований (ЦЕРН). В рамках данной работы был создан портал, объединяющий различные вычислительные ресурсы Курчатовского института: Грид-центр первого уровня (Tier-1), суперкомпьютер и платформу облачных вычислений. В разработанную систему был интегрирован рабочий поток для обработки данных геномного секвенирования с использованием пакета PALEOMIX. В статье представлены результаты использования портала для задач эксперимента ATLAS и задач анализа древней ДНК мамонта. В данной работе показано, что методы и программные средства, используемые в физике высоких энергий вот уже более десяти лет, а также эффективное использование суперкомпьютеров могут быть успешно применены в других областях науки, например биоинформатике.
Распределенные вычисления; суперкомпьютеры; большие данные; системы управления потоком задач.
V.E. Velikhov, A.A. Klimentov, R.Yu. Mashinistov, A.A. Poyda, E.A. Ryabinkin
INTEGRATION OF HETEROGENEOUS COMPUTING RESOURCES AT NRC «KURCHATOV INSTITUTE» FOR LARGE-SCALE SCIENTIFIC COMPUTATIONS
Modern experiments face unprecedented computing challenges. Heterogeneous computer resources are distributed worldwide, thousands of scientists analyse the data remotely, the volume of processed data is beyond the exabyte scale, while data processing requires more than a few billion hours of computing usage per year. The Large Hadron Collider (LHC), operating at the international CERN Laboratory in Geneva, Switzerland, is leading Big Data driven scientific explorations. Experiments at the LHC explore the fundamental nature of matter and the basic forces that shape our universe, and were recently credited for the discovery of a Higgs boson. ATLAS, one of the largest collaborations ever assembled in science, is at the forefront of research at the LHC. To address an unprecedented multi-petabyte data processing challenge, the ATLAS experiment is relying on a heterogeneous distributed computational infrastructure. The ATLAS experiment uses PanDA (Production and Data Analysis) Workload Management System for managing the workflow for all data processing on over 140 data centers. Through PanDA, ATLAS physicists see a single computing facility that enables rapid scientific breakthroughs for the experiment, even though the data centers are physically scattered all over the world. Modern biology also uses complex algorithms and sophisticated software, which is impossible to run without access to significant computing resources. Recent advances of Next Generation Genome Sequencing (NGS) technology led to increasing streams of sequencing data that need to be processed, analysed and made available for bioinformaticians worldwide. Analysis of ancient genomes sequencing data using popular software pipeline PALEOMIX can take a month even running it on the powerful computer resource. PALEOMIX includes typical set of software used to process NGS data including adapter trimming, read filtering, sequence alignment, genotyping and phylogenetic or metagenomic analysis. Sophisticated computing software WMS and efficient usage of the supercomputers can greatly enhance this process. In 2014 authors have started to develop a large scale data- and task- management system for federated heterogeneous resources based on the PanDA workload management system as an underlying technology for ATLAS experiment on Large Hadron Collider and bioinformatics applications. As a part of this work, we have designed, developed and deployed a portal to submit scientific payloads to heterogeneous computing infrastructure. The portal combines Tier-1 Grid center, Supercomputer, and academic cloud at the Kurchatov Institute. The portal is used not only for ATLAS tasks, but also for genome sequencing analysis. In this paper we will describe the adaptation the PALEOMIX pipeline to run it on a distributed computing environment powered by PanDA. We used PanDA to manage computational tasks on a multi-node parallel supercomputer. To run pipeline we split input files into chunks which run separately on different nodes as separate inputs for PALEOMIX and finally merge output file, it is very similar to what it is done by ATLAS to process and simulate data. We dramatically decreased the total walltime because of (re)submission automation and brokering within PanDA, what was earlier demonstrated for the ATLAS applications on the Grid. Software tools developed initially for HEP and Grid can reduce payload execution time for Mammoths DNA samples from weeks to days.
Distributed computing; supercomputers big data; workflow management systems.
Введение. В последнее время в различных областях науки наблюдается значительное увеличение объемов экспериментальных и моделируемых данных за счет создания новых алгоритмов, повышения качества технических средств и т.д. Это в свою очередь влечет появление вычислительноемких задач по обработке и анализу полученных данных для которых необходима интеграция и федерализация вычислительных ресурсов. Например, для обработки данных эксперимента ATLAS [1] во время первой фазы работы Большого Адронного Коллайдера (БАК) [2] в 2010-2013 годах были использованы десятки вычислительных центров и хранилищ мульти-петабайтного масштаба (общий объем данных составил 160 Пбайт) по всему миру.
Другим примером являются задачи анализа данных геномного секвенирова-ния. Входные данные для этих задач могут иметь размер в сотни гигабайт, а сами задачи быть очень ресурсоемкими и работать на одной серверной многоядерной машине несколько месяцев. Поэтому использование метода распределенной параллельной обработки данных существенно сокращает время выполнения таких задач, что было с успехом доказано в представленной в этой статье работе.
В 2014 году авторы начали в Национальном Исследовательском Центре «Курчатовский институт» работу по созданию полномасштабной системы управления данными и заданиями в среде федеративных гетерогенных ресурсов. Был разработан портал, объединяющий различные вычислительные инфраструктуры Курчатовского института: Грид-центр первого уровня (Tier-1), суперкомпьютер и платформу облачных вычислений [3, 4].
В качестве базовой технологии была использована система управления задачами PanDA [5, 6], разработанная и используемая для эксперимента ATLAS, проводимого на БАК. Дополнительно, были реализованы программные модули портала, не входящие в состав PanDA. В частности, это системные модули организации рабочих потоков портала, системы управления и работы с пользователями и т.п.
В настоящее время ведется работа по интеграции в портал предметно-специализированных приложений, необходимых для работы в конкретных научных областях. К настоящему времени мы интегрировали программные пакеты для работы с задачами эксперимента ATLAS, а также программный пакет PALEOMIX [7] для задач обработки данных геномного секвенирования. Результаты работы портала продемонстрировали высокую эффективность использованного подхода для данных областей.
1. Описание разработанного подхода и архитектуры реализующей его программно-аппаратной системы. В качестве основы для разрабатываемой технологии и реализующей его программной системы был выбран подход, используемый в системе управления заданиями PanDA, с 2007 года успешно применяемый для обработки, анализа и моделирования данных эксперимента ATLAS, проводимого на БАК [8]. Программный комплекс PanDA обеспечивает "прозрачность" обработки данных в распределенной вычислительной инфраструктуре. Он предоставляет среду выполнения для широкого диапазона экспериментальных приложений, автоматизирует централизованную обработку данных, обеспечивает анализ данных для десятков групп физиков, поддерживает пользовательский поток операций, обеспечивает единый доступ к распределенным глобальным ресурсам, предоставляет состояние и историю выполняемых операций через интегрированную систему контроля, управляет распределением данных. Программный комплекс PanDA был разработан достаточно гибким для адаптации новых технологий обработки и хранения данных и сетевых технологий. Мы воспользовались опытом разработчиков PanDA и постарались обобщить их подходы с целью разработки подхода и системы, способных объединить различные вычислительные инфраструктуры.
Для выполнения задач в области физики высоких энергий и биоинформатики единый портал предоставляет следующие ресурсы:
♦ Суперкомпьютер НИЦ "Курчатовский Институт". Высокопроизводительный вычислительный кластер второго поколения с пиковой производительностью 122,9 TFLOPS сдан в эксплуатацию с сентября 2011 года. Кластер состоит из 1280 счётных двухпроцессорных (восьми ядерных) узлов (всего 10240 вычислительных ядер), объединенных высокопроизводительной сетью передачи данных и сообщений InfiniBand DDR, имеет суммарную оперативную память 20,5 Тбайт и систему хранения данных объ-
емом 144 Тбайт. На вычислительных узлах кластера установлена операционная система Linux (CentOS). Система хранения данных построена на параллельной файловой системе Lustre 2.0. Для управления распределением ресурсов и выполнением счетных заданий используется менеджер ресурсов SLURM.
♦ Платформа облачных вычислений OpenStack с пиковой производительностью 1,5 TFLOPS. Включает 16 узлов, 256 вычислительных ядер, 512 ГБ оперативной памяти и систему хранения данных объемом 60 Тбайт. Узлы объединены высокопроизводительной сетью передачи данных и сообщений InfiniBand DDR. Для централизации управления задачами используется менеджер ресурсов SLURM.
♦ Крупнейший в России Грид-центр НИЦ КИ 1-го уровня, имеющий более 8000 вычислительных ядер, 6,3 ПБ дискового пространства и 7,4 ПБ в ленточном хранилище. Центр предоставляет вычислительные ресурсы для обработки, моделирования и хранения до 10 % всех данных, получаемых от экспериментов БАК ALICE, ATLAS и LHCb.
Схема разработанного подхода и общая архитектура реализующей его системы представлены на рис. 1.
Computing Storage
Resources Resources
Interface
Рис. 1. Архитектура разработанного портала Основными компонентами системы являются:
♦ Сервер. Сервер принимает от пользователей задачи и управляет их выполнением: сортирует задачи по разным очередям в зависимости от требований, распределяет их на доступные вычислительные ресурсы (при этом сервер отслеживает, чтобы объемы и состав ресурсов удовлетворял требованиям задачи), отслеживает состояние задачи и ее жизненный цикл, осуществляет дополнительные проверки успешности выполнения задачи, поддерживает метаинформацию о всех активных и завершенных задачах и т.п.
♦ Пилотные задания. Пилотные задания осуществляют механизм поздней привязки задачи к среде вычислений. Они запускаются на ресурсах, предназначенных для выполнения пользовательских задач, проверяют их состояние, резервируют, собирают информацию и передают на сервер, который в ответ присылает задачу. Пилотное задание инициирует запуск присланной задачи непосредственно на ресурсах и контролирует процесс ее выполнения.
Система пилотных задач позволяет не только осуществлять позднюю привязку, но и скрыть неоднородность различных вычислительных сред с помощью их унифицированного интерфейса "сервер-пилот". Таким образом, можно интегрировать в единую вычислительную среду различные вычислительные инфраструктуры, например, Грид-инфраструктуру, инфраструктуру облачных вычислений, относительно обособленные машинные кластеры и даже суперкомпьютеры. Еще одной функцией пилотных заданий является подготовка входных данных для задачи и выгрузка результатов. И здесь как и в случае вычислительной среды наблюдается большая неоднородность систем хранения (разные протоколы, разный функционал), которую пилотные задания могут унифицировать для вышестоящих слоев.
♦ Пользовательские API и веб-интерфейс, позволяющие отправлять задачи в систему и выполняющие функции мониторинга.
♦ Общий файловый каталог, позволяющий унифицировать доступ к данным, хранимым на распределенных системах.
Основными нововведениями разработанной схемы по сравнению с классической схемой PanDA заключаются в следующем:
1. Расширен список интегрируемых ресурсов за счет расширения схем работы пилотных заданий.
2. Расширен список интегрируемых источников данных за счет отказа от ATLAS-специфических программных компонент, в частности, файлового каталога и системы управления данными.
3. Расширена область применения системы за счет отказа от сертификатов CERN и расширения клиентских графических приложений для работы с системой.
Преимуществом разрабатываемой системы является отсутствие жесткой привязки к программному обеспечению, специфичному для эксперимента ATLAS. Благодаря изначально заложенным в систему принципам универсальности и расширяемости, мы смогли объединить наиболее общие подходы с целью получения вычислительной системы, способной объединить различные вычислительные инфраструктуры.
2. Задачи моделирования, реконструкции и анализа данных физического эксперимента ATLAS. Крупнейший ускоритель частиц, Большой адронный кол-лайдер (БАК), работает в международной Лаборатории ЦЕРН в Женеве, Швейцария. Эксперименты на БАК исследуют природу материи и фундаментальных сил во Вселенной. Чтобы решить беспрецедентную проблему обработки мультипета-байтных данных, эксперимент ATLAS использует вычислительную инфраструктуру грид, развернутую в рамках проекта Worldwide LHC Computing Grid (WLCG) [9]. Распределенная вычислительная среда WLCG состоит из сотен центров распределенных вычислений и обслуживает более 8000 ученых.
На рис. 2 приведена схема работы портала при выполнении ATLAS задач на ресурсах центра Tier-1 и суперкомпьютера НИЦ «Курчатовский институт» (голубым фоном на рисунке выделены компоненты портала, развернутые в НИЦ "Курчатовский институт").
Задачи поступают с центрального сервера PanDA, размещенного в CERN. Программные модули Pilot Sheduler запускают пилотное задание (Pilot). Узлы суперкомпьютера управляется менеджером ресурсов SLURM, а Грид-центра - менеджером CONDOR-G с которым работает стандартный планировщик запуска пилотных заданий (Pilot Sheduler). Поэтому для запуска Pilot на суперкомпьютере используется связующий компонент "Condor-Slurm connector", разработанный в рамках представленной работы.
Все предметно-специализированные приложения собраны в отдельном хранилище CVMFS, используемом в CERN. Это хранилище удаленно монтируется к вычислительным узлам.
Рис. 2. Схема работы портала при выполнении ATLAS задач на ресурсах центра Tier-1 и суперкомпьютера НИЦ «Курчатовский институт»
Среднегодовая статистика использования суперкомпьютера в составе Tier-1 центра составляет порядка 350 000 выполненных задач моделирования, обработки и анализа данных эксперимента ATLAS. Всего же на ресурсах Курчатовского института выполняется более 3 000 000 задач ATLAS в год.
3. Задачи анализа данных геномного секвенирования. Современная биология использует сложные алгоритмы и сложное программное обеспечение, которое невозможно выполнить, не имея доступа к значительным вычислительным ресурсам. Одним из важных направлений в современной биологии являются исследования данных геномного секвенирования нового поколения (Next Generation Sequencing, NGS) [10]. Последние достижения технологий в данной области привели к увеличению объемов данных, которые должны быть обработаны, проанализированы и быть доступными для биологов по всему миру [11,12].
Одной из актуальных задач в данной области является анализ древней ДНК. Исследователям удалось восстановить ДНК из самых разнообразных типов древнего биологического материала: волос [13, 14], мумифицированных тканей [15], кальцинированных зубов и костей [16-18], а также растительных останков [19, 20]. С появлением новых технических возможностей миллионы и миллиарды последо-
вательностей ДНК могут быть получены из древних биологических образцов, благодаря массивной пропускной способности современных платформ для секвени-рования нового поколения.
В качестве приложения для анализа больших массивов генетических данных, получаемых в ходе геномного секвенирования, был выбран популярный программный конвейер PALEOMIX. Данный конвейер включает в себя ряд программных компонент с открытым исходным кодом, с помощью которых осуществляется быстрая обработка данных NSG.
Работа конвейера была апробирована на задаче анализа данных ДНК мамонта, полученных в лаборатории геномики НБИКС. Было обработано более 350 Гигабайт входных данных, содержащих более 900 миллионов парных чтений. Данные были успешно обработаны конвейером и картированы на геномы современных африканских и азиатских слонов.
Ресурсов одной вычислительной машины, даже сервера, недостаточно для организации быстрой обработки данных конвейером PALEOMIX. Например, время выполнения задачи по анализу древней ДНК мамонта на 80-ядерном сервере с 512 ГБ оперативной памяти - около двух месяцев.
Поэтому мы использовали подход к обработки больших файлов данных, принятый в физике высоких энергий. Исходный файл разрезается на большое число файлов меньшего размера. Каждый из полученных файлов обрабатывается как независимое вычислительное задание на разных узлах суперкомпьютера. Результаты выполнения всех заданий объединяются в один выходной файл. Такой подход позволил существенно уменьшить общее время на обработку данных геномного секвенирования с нескольких недель до нескольких дней.
Для более эффективного взаимодействия пользователей с системой нами был разработан интерфейс, позволяющий загружать входные файлы из различных хранилищ, определять и запускать пользовательские задачи, контролировать процесс и отслеживать статус их выполнения (мониторинг). Данный интерфейс состоит из нескольких программных модулей.
Непосредственное взаимодействие с пользователем берет на себя веб-интерфейс, который предоставляет унифицированную веб-форму для определения новых пользовательских задач. С помощью формы пользователь генерирует описание задачи и отправляет ее на сервер, после чего он может наблюдать за состоянием своей задачи с помощью встроенной в веб-интерфейс системы мониторинга. Портал выполняет аутентификацию с помощью логина и пароля пользователей -сотрудников Курчатовского Института, использующих портал для обработки своих данных. При этом также обеспечивается прозрачность при запуске вычислительных задач. От пользователя скрыты определенные параметры запуска задач и некоторые технические характеристики сервера.
В ряде случаев необходима генерация большого числа вычислительных задач. При этом использование веб-интерфейса может быть неудобным. В таких случаях научные коллективы могут использовать собственные приложения или программные сценарии, позволяющие создавать описания вычислительных задач. Для интеграции с такими средствами был создан API (интерфейс прикладного программирования), позволяющий производить действия, доступные пользователям веб-интерфейса, с помощью HTTP запросов.
Перемещением пользовательских и системных файлов между распределенными вычислительными узлами занимается система транспортировки файлов. Также система поддерживает механизм репликации и обеспечение согласованности реплик. Все файлы, задействованные в работе, их реплики и правила доступа к ним описываются в специальном файловом каталоге. Совместное использование системы транспортировки файлов и файлового каталога обеспечивает возможность быстрого подключения сторонних систем хранения (например, Dropbox, Google Drive и т.д.).
На рис. 3 представлена схема портала. Главными компонентами являются:
♦ GUI - компонента графического пользовательского интерфейса, предоставляющая простой веб-интерфейс для запуска задач на портале.
♦ PanDA Server - локальный сервер PanDA, установленный и настроенный в НИЦ «Курчатовский институт» (в отличие от глобального сервера, установленного в ЦЕРН).
♦ Local Pilot Scheduler - планировщик пилотных заданий, определяющий когда, на какой ресурс и в каких количествах запускать пилотные задания.
♦ Resource gateway - интерактивные узлы, на которых в удаленном режиме запускаются пилотные задания соответствующего ресурса. В биоинформационный портал в НИЦ «Курчатовский институт» было интегрировано два ресурса: суперкомпьютер НИЦ «Курчатовский институт» и платформа облачных вычислений, развернутая в НИЦ «Курчатовский институт». Соответственно, на схеме представлено два интерактивных узла: Supercomputer gateway - для запуска пилотных заданий на суперкомпьютере и Cloud gateway - для запуска пилотных заданий на платформе облачных вычислений.
♦ Resource Balancer - компонента динамической балансировки ресурсов облачной инфраструктуры.
♦ Data Management System - система хранения и управления данными, аналогичная системе RUCIO для задач эксперимента ATLAS.
♦ Data Transfer Node - система транспортировки данных между хранилищем и средой выполнения задач.
Рис. 3. Архитектура биоинформационного портала в НИЦ "Курчатовский институт "
Рабочий поток для обработки данных геномного секвенирования с использованием пакета РАЬЕОМ1Х был встроен в разработанный портал, что позволило:
♦ Запускать задачи РАЬЕОМЖ по анализу данных геномного секвенирования на распределенной гетерогенной вычислительной инфраструктуре. Размер и количество файлов - фрагментов исходных данных - могут быть подобраны таким образом, чтобы с максимальной эффективностью использовать конкретные вычислительные ресурсы. Размер файла напрямую связан с объемом требуемой оперативной памяти и временем обработки.
♦ Использовать для вычисления одной задачи вычислительные ресурсы с различной инфраструктурой. В исходном виде задача не могла быть решена ни на Курчатовском суперкомпьютере, ни на обычном кластере из-за высоких требований к объему оперативной памяти на ядро.
♦ Контролировать и управлять данными и задачами в автоматическом режиме, сведя участие пользователя к минимуму. Использованный подход обеспечивает гибкость и надежность вычислений. Авторизованный конечный пользователь взаимодействует с системой посредством интуитивно-понятного интерфейса.
Разработанная система была успешно применена для вычислительной задачи анализа ДНК мамонта. Результаты показали существенное уменьшение общего времени обработки данных (с двух месяцев до нескольких дней).
Заключение. Данная работа по интеграции в портал задач обработки данных геномного секвенирования показала, что программные средства и методы обработки больших объемов экспериментальных данных, которые были разработаны в области физики высоких энергий для экспериментов на ускорителе БАК, могут быть успешно применены в других областях науки.
Примером этого является выполненная задача анализа данных ДНК мамонта. Предложенная методика наиболее применима в случае, когда задача может быть представлена в следующем виде: набор типовых задач для выбранной предметной области представляется в виде программных сценариев, на вход которым подаются файлы исходных данных; входными данными являются как непосредственно файлы, содержащие данные, которые необходимо обработать, так и файлы конфигураций программного обеспечения; на выходе сценария получаются файлы обработанных данных; большая исходная задача может быть представлена в виде большого числа вычислительных заданий с независимыми входными и выходными данными. При выполнении перечисленных условий задача может быть эффективно решена с применением представленного в статье подхода.
В случае использования суперкомпьютера с общим разделяемым доступом данный подход позволяет в автоматическом режиме обеспечивать оптимальную загрузку доступных вычислительных ресурсов и оперативно освобождать их по истечению допустимого время выполнения задания.
Благодарности. Данная работа выполнена в рамках мега-гранта правительства РФ, контракт № 14.Z50.31.0024, грантов РФФИ № 15-29-07942 офи_м и № 16-37-00249 мол_а. Данная работа была выполнена с использованием высокопроизводительных вычислительных ресурсов федерального центра коллективного пользования в НИЦ "Курчатовский институт". Мы благодарны нашим коллегам из НИЦ "Курчатовский институт" и ЦЕРН за обсуждение результатов работы, особая благодарность группе разработчиков WMS РапЭА и группам МИФИ и биоинформатики НИЦ "Курчатовский институт".
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Aad G. et al. The ATLAS Collaboration, "The ATLAS Experiment at the CERN Large Had-ron Collider // Journal of Instrumentation. - 2008. - Vol. 3. - S08003.
2. Evans L., Bryant P. LHC machine // Journal of Instrumentation. - 2008. - Vol. 3. - S08001.
3. Климентов А.А, Машинистов Р.Ю., Новиков А.М., Пойда А.А., Рябинкин Е.А., Тертыч-ный И.С. Интеграция суперкомпьютера НИЦ «Курчатовский институт» с центром Грид первого уровня // Суперкомпьютерные дни в России: Труды международной конференции (28-29 сентября 2015 г., г. Москва). - М.: Изд-во МГУ, 2015. - С. 700-705.
4. Климентов А.А, Машинистов Р.Ю., Новиков А.М., Пойда А.А., Тертычный И.С. Комплексная система управления данными и задачами в гетерогенной компьютерной среде // Труды международной конференции «Аналитика и управление данными в областях с интенсивным использованием данных» (DAMDID/RCDL'2015) (13-16 октября 2015 г., г. Обнинск) в европейском репозитории трудов конференций CEUR Workshop Proceedings (DAMDID/RCDL). - 2015. - Vol. 1536. - P. 165-172. ISSN: 1613-0073.
5. Maeno T. On behalf of PANDA team and ATLAS collaboration. PanDA: distributed production and distributed analysis system for ATLAS // Journal of Physics: Conference Series. IOP Publishing. - 2008. - Vol. 119, No. 6.
6. Ваняшин А.В., Климентов А.А., Кореньков В.В. За большими данными следит ПАНДА // Суперкомпьютеры. - 2013. - № 3 (15). - С. 56-61.
7. Schubert M et al. Characterization of ancient and modern genomes by SNP detection and phylogenomic and metagenomic analysis using PALEOMIX // Nat Protoc. - 2014. - No. 9 (5).
- P. 1056-82. Doi: 10.1038/nprot.2014.063. Epub 2014 Apr 10. PubMed PMID: 24722405.
8. Климентов А., Кореньков В. Распределённые вычислительные системы и их роль в открытии новой частицы // Суперкомпьютеры. - 2012. - № 3 (11). - С. 7-11.
9. Грид-инфраструктура WLCG. Сайт проекта: http://wlcg.web.cern.ch.
10. Skryabin K.G., Prokhortchouk E.B., Mazur A.M., Boulygina E.S., Tsygankova S.V., Nedoluzhko A. V., Rastorguev S.M., Matveev V.B., Chekanov N.N., Goranskaya D.A., Teslyuk A.B., Gruzdeva N.M., Velikhov V.E., Zaridze D.G., KovalchukM.V. Combining two technologies for full genome sequencing of human // Acta Nat. - 2009. - Vol. 1, No. 3. - P. 102-107.
11. Kawalia A., Motameny S., Wonczak S., Thiele H., Nieroda L., Jabbari K., Borowski S., Sinha V., Gunia W., Lang U., Achter V., Nurnberg P. Leveraging the Power of High Performance Computing for Next Generation Sequencing Data Analysis: Tricks and Twists from a High Throughput Exome Workflow. PLoS One. - 2015. - No. 10 (5). Article No. e0126321. Doi: 10.1371/journal.pone.0126321.
12. Bao R., Huang L., Andrade J., Tan W., Kibbe W.A., Jiang H., Feng G. Review of current methods, applications, and data management for the bioinformatics analysis of whole exome sequencing // Cancer Inform. - 2014. - No. 13 (2). - P. 67-82.
13. Miller W., Drautz D.I., Ratan A., Pusey B., Qi J., Lesk A.M., Tomsho L.P., Packard M.D., Zhao F., Sher A., Tikhonov A., Raney B., Patterson N., Linblad-Toh K., Lander E.S., Knight J.R., Irzyk G.P. Fredrikson K.M., Harkins T.T., Sheridan S., Pringle T., Schuster S.C. Sequencing the nuclear genome of the extinct woolly mammoth // Nature. - 2008. - Vol. 456.
- P. 387-390. Doi: 10.1038/nature07446.
14. Rasmussen M., Li Y., Lindgreen S., Pedersen J.S., Albrechtsen A., Moltke I., Metspalu M., Metspalu E., Kivisild T., Gupta R., et al. Ancient human genome sequence of an extinct Palaeo-Eskimo // Nature. - 2009. - Vol. 463. - P. 757-762. Doi: 10.1038/nature08835.
15. Keller A., Graefen A., Ball M., Matzas M., Boisguerin V., Maixner F., Leidinger P., Backes C., Khairat R., Forster M., et al. New insights into the Tyrolean Iceman's origin and phenotype as inferred by whole-genome sequencing // Nature Communications. - 2011. - No. 3.
16. Allentoft M.E., Collins M., Harker D., Haile J., Oskam C.L., Hale M.L., Campos P.F., Samaniego J.A., Gilbert M.T., Willerslev E., et al. The half-life of DNA in bone: measuring decay kinetics in 158 dated fossils // Proc Biol Sci. - 2012. - Vol. 279. - P. 4724-4733. Doi: 10.1098/rspb.2012.1745.
17. Nedoluzhko A.V., Boulygina E.S., Sokolov A.S., Tsygankova S.V., Gruzdeva N.M., Rezepkin A.D., Prokhortchouk E.B. Analysis of the Mitochondrial Genome of a Novosvobodnaya Culture Representative using Next-Generation Sequencing and Its Relation to the Funnel Beaker Culture // Acta Naturae. - 2014. - No. 6. - P. 31-35.
18. Sokolov A.S., Nedoluzhko A.V., Boulygina E.S., Tsygankova S.V., Gruzdeva N.M., Shishlov A.V., Kolpakova A., Rezepkin A.D., Skryabin K.G., Prokhortchouk E.B. Six complete mitochondrial genomes from Early Bronze Age humans in the North Caucasus // Journal of Archaeological Sciences. - 2016. - No. 73. - P. 138-144. Doi: 10.1016/j.jas.2016.07.017.
19. Martin M.D., Cappellini E., Samaniego J.A., Zepeda M.L., Campos P.F., Seguin-Orlando A., Wales N., Orlando L., Ho S. Y., Dietrich F.S., et al. Reconstructing genome evolution in historic samples of the Irish potato famine pathogen // Nature Communications. - 2013. - No. 4. Doi: 10.1038/ncomms3172.
20. Yoshida K., Schuenemann V.J., Cano L.M., Pais M., Mishra B., Sharma R., Lanz C., Martin F.N., Kamoun S., Krause J., et al. The rise and fall of the Phytophthora infestans lineage that triggered the Irish potato famine // eLife. - 2013. - No. 2.
REFERENCES
1. Aad G. et al. The ATLAS Collaboration, "The ATLAS Experiment at the CERN Large Had-ron Collider, Journal of Instrumentation, 2008, Vol. 3, S08003.
2. Evans L., Bryant P. LHC machine, Journal of Instrumentation, 2008, Vol. 3, S08001.
3. Klimentov A.A, Mashinistov R.Yu, Novikov A.M., Poida A.A., Ryabinkin E.A., Tertychnyi I.S. Integratsiya superkomp'yutera NITs «Kurchatovskiy institut» s tsentrom Grid pervogo urovnya [Integration of supercomputer research center "Kurchatov Institute" with the center Grid of the first level], Superkomp'yuternye dni v Rossii: Trudy mezhdunarodnoy konferentsii (28-29 sentyabrya 2015 g., g. Moskva) [Supercomputer days in Russia: Proceedings of the international conference (28-29 September 2015, Moscow)]. Moscow: Izd-vo MGU, 2015, pp. 700-705.
4. Klimentov A.A, Mashinistov R.Yu., Novikov A.M., Poida A.A., Tertychnyi I.S. Kompleksnaya sistema upravleniya dannymi i zadachami v geterogennoy komp'yuternoy srede [Comprehensive system and data management tasks in heterogeneous computing environment], Trudy mezhdunarodnoy konferentsii «Analitika i upravlenie dannymi v oblastyakh s intensivnym ispol'zovaniem dannykh» (DAMDID/RCDL'2015) (13-16 oktyabrya 2015 g., g. Obninsk) v evropeyskom repozitorii trudov konferentsiy CEUR Workshop Proceedings (DAMDID/RCDL) [Proceedings of the international conference "Analytics and data management in areas with intensive use of data" (DAMDID/RCDL'2015) (13-16 October 2015, Rotterdam) in the European repository of conference proceedings CEUR Workshop Proceedings (DAMDID/RCDL)], 2015, Vol. 1536, pp. 165-172. ISSN: 1613-0073.
5. Maeno T. On behalf of PANDA team and ATLAS collaboration. PanDA: distributed production and distributed analysis system for ATLAS, Journal of Physics: Conference Series. IOP Publishing, 2008, Vol. 119, No. 6.
6. Vanyashin A. V., Klimentov A.A., Koren'kov V.V. Za bol'shimi dannymi sledit PANDA [For big data monitors a PANDA], Superkomp'yutery [Supercomputers], 2013, No. 3 (15), pp. 56-61.
7. Schubert M et al. Characterization of ancient and modern genomes by SNP detection and phylogenomic and metagenomic analysis using PALEOMIX, Nat Protoc., 2014, No. 9 (5), pp. 1056-82. Doi: 10.1038/nprot.2014.063. Epub 2014 Apr 10. PubMed PMID: 24722405.
8. Klimentov A., Koren'kov V. Raspredelennye vychislitel'nye sistemy i ikh rol' v otkrytii novoy chastitsy [Distributed computing systems and their role in the discovery of new particles], Superkomp'yutery [Supercomputers], 2012, No. 3 (11), pp. 7-11.
9. Grid-infrastruktura WLCG [Grid infrastructure WLCG]. Available at: http://wlcg.web.cern.ch.
10. Skryabin K.G., Prokhortchouk E.B., Mazur A.M., Boulygina E.S., Tsygankova S.V., Nedoluzhko A.V., Rastorguev S.M., Matveev V.B., Chekanov N.N., Goranskaya D.A., Teslyuk A.B., Gruzdeva N.M., Velikhov V.E., Zaridze D.G., KovalchukM.V. Combining two technologies for full genome sequencing of human, Acta Nat., 2009, Vol. 1, No. 3, pp. 102-107.
11. Kawalia A., Motameny S., Wonczak S., Thiele H., Nieroda L., Jabbari K., Borowski S., Sinha V., Gunia W., Lang U., Achter V., Nurnberg P. Leveraging the Power of High Performance Computing for Next Generation Sequencing Data Analysis: Tricks and Twists from a High Throughput Exome Workflow. PLoS One, 2015, No. 10 (5). Article No. e0126321. Doi: 10.1371/journal.pone.0126321.
12. Bao R., Huang L., Andrade J., Tan W., Kibbe W.A., Jiang H., Feng G. Review of current methods, applications, and data management for the bioinformatics analysis of whole exome sequencing, Cancer Inform., 2014, No. 13 (2), pp. 67-82.
13. Miller W., Drautz D.I., Ratan A., Pusey B., Qi J., Lesk A.M., Tomsho L.P., Packard M.D., Zhao F., Sher A., Tikhonov A., Raney B., Patterson N., Linblad-Toh K., Lander E.S., Knight J.R., Irzyk G.P. Fredrikson K.M., Harkins T.T., Sheridan S., Pringle T., Schuster S.C. Sequencing the nuclear genome of the extinct woolly mammoth, Nature, 2008, Vol. 456, pp. 387-390. Doi: 10.1038/nature07446.
14. Rasmussen M., Li Y., Lindgreen S., Pedersen J.S., Albrechtsen A., Moltke I., Metspalu M., Metspalu E., Kivisild T., Gupta R., et al. Ancient human genome sequence of an extinct Palaeo-Eskimo, Nature, 2009, Vol. 463, pp. 757-762. Doi: 10.1038/nature08835.
15. Keller A., Graefen A., Ball M., Matzas M., Boisguerin V., Maixner F., Leidinger P., Backes C., Khairat R., Forster M., et al. New insights into the Tyrolean Iceman's origin and phenotype as inferred by whole-genome sequencing, Nature Communications, 2011, No. 3.
16. Allentoft M.E., Collins M., Harker D., Haile J., Oskam C.L., Hale M.L., Campos P.F., Samaniego J.A., Gilbert M.T., Willerslev E., et al. The half-life of DNA in bone: measuring decay kinetics in 158 dated fossils, Proc Biol Sci, 2012, Vol. 279, pp. 4724-4733. Doi: 10.1098/rspb.2012.1745.
17. Nedoluzhko A.V., Boulygina E.S., Sokolov A.S., Tsygankova S.V., Gruzdeva N.M., Rezepkin A.D., Prokhortchouk E.B. Analysis of the Mitochondrial Genome of a Novosvobodnaya Culture Representative using Next-Generation Sequencing and Its Relation to the Funnel Beaker Culture, Acta Naturae, 2014, No. 6, pp. 31-35.
18. Sokolov A.S., Nedoluzhko A.V., Boulygina E.S., Tsygankova S.V., Gruzdeva N.M., Shishlov A.V., Kolpakova A., Rezepkin A.D., Skryabin K.G., Prokhortchouk E.B. Six complete mitochondrial genomes from Early Bronze Age humans in the North Caucasus, Journal of Archaeological Sciences, 2016, No. 73, pp. 138-144. Doi: 10.1016/j.jas.2016.07.017.
19. Martin M.D., Cappellini E., Samaniego J.A., Zepeda M.L., Campos P.F., Seguin-Orlando A., Wales N., Orlando L., Ho S. Y., Dietrich F.S., et al. Reconstructing genome evolution in historic samples of the Irish potato famine pathogen, Nature Communications, 2013, No. 4. Doi: 10.1038/ncomms3172.
20. Yoshida K., Schuenemann V.J., Cano L.M., Pais M., Mishra B., Sharma R., Lanz C., Martin F.N., Kamoun S., Krause J., et al. The rise and fall of the Phytophthora infestans lineage that triggered the Irish potato famine, eLife, 2013, No. 2.
Статью рекомендовал к опубликованию д.ф.-м.н. В.А. Ильин.
Велихов Василий Евгеньевич - Национальный исследовательский центр «Курчатовский институт»; e-mail: Velikhov_VE@nrcki.ru; 123182, Москва, пл. Академика Курчатова, 1; тел.: +74991967369; к.ф.-м.н.; заместитель директора по научной работе и информационным технологиям.
Климентов Алексей Анатольевич - e-mail: alexei.klimentov@gmail.com; тел.: +74991967100, доб. 3408; к.ф.-м.н.; начальник лаборатории.
Машинистов Руслан Юрьевич - e-mail: rmashinistov@gmail.com; тел.: +74991967100, доб. 3203; к.ф.-м.н.; заместитель начальника лаборатории.
Пойда Алексей Анатольевич - e-mail: Poyda_AA@nrcki.ru; тел.: +74991967100, доб. 3311; к.ф.-м.н.; начальник лаборатории.
Рябинкин Евгений Александрович - e-mail: rea@grid.kiae.ru; тел.: +74991967777; начальник отдела.
Velikhov Vasiliy Evgen'evich - National Research Centre "Kurchatov Institute"; e-mail: Velikhov_VE@nrcki.ru; 1, sq. Akademika Kurchatova, Moscow, 123182, Russia; phone: +74991967369; cand. of phis.-math. sc.; deputy director for Science and Information Technologies.
Klimentov Alexey Anatol'evich - e-mail: alexei.klimentov@gmail.com; phone: +74991967100, ext. 3408; cand. of phis.-math. sc.; head of laboratory.
Mashinistov Ruslan Yur'evich - e-mail: rmashinistov@gmail.com; phone: +74991967100, ext. 3203; cand. of phis.-math. sc.; deputy head of laboratory.
Poyda Alexey Anatol'evich - e-mail: Poyda_AA@nrcki.ru; phone: +74991967100, ext. 3311; cand. of phis.-math. sc.; head of laboratory.
Ryabinkin Eygene Alexandrovich - e-mail: rea@grid.kiae.ru; phone: +74991967777; head of department.
УДК 519.87 DOI 10.18522/2311-3103-2016-11-100112
Л.А. Мартынова
ОРГАНИЗАЦИЯ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ В ИМИТАЦИОННОЙ СИСТЕМЕ МОДЕЛИРОВАНИЯ РАБОТЫ АВТОНОМНОГО НЕОБИТАЕМОГО ПОДВОДНОГО АППАРАТА*
Описана реализация распределенных вычислений при разработке комплексной имитационной модели функционирования автономного необитаемого подводного аппарата. Комплексная имитационная модель формируется из имитационных моделей, воспроизводящих функционирование автономного необитаемого подводного аппарата и его отдельных частей в зависимости от окружающей обстановки - морской среды и наличия других объектов. Имитационные модели отличаются друг от друга особенностями воспроизводимых процессов и степенью детализации. Максимальная степень детализации обеспечивается при буквальном воспроизведении алгоритмов обработки информации в бортовом вычислителе. Однако для большинства задач такая степень детализации является избыточной, поэтому более целесообразным является использование имитационных моделей, являющихся результатом агрегирования более детальных моделей. В работе рассмотрены различные задачи, связанные с необходимостью моделирования функционирования автономного необитаемого подводного аппарата, и соответствующие им уровни детализации воспроизводимых процессов. При этом решается задача организации взаимодействия отдельных имитационных моделей в рамках функционирования единой комплексной имитационной модели. Определены требования, которым должна удовлетворять организация взаимодействия между имитационными моделями: независимо, параллельно, синхронно, с универсальным обменом информацией. В качестве решения указанной задачи взаимодействия имитационных моделей предложено использовать распределенные и параллельные вычисления. Для обеспечения их реализации выработаны подходы к их формированию, описаны принципы реализации распределенных вычислений, отмечены положительные стороны их использования. Реализация распределенных и параллельных вычислений привела к ускорению вычислительного процесса за счет параллелизма вычислений, снижению трудозатрат на разработку программ ввиду независимой их разработки, упрощению локализации ошибки, использованию общих баз данных, возможности использования удалено расположенных компьютеров, перераспределению (по возможности) вычислительных ресурсов между компьютерами. Использование распределенных вычислений позволило более эффективно вести отладку отдельных имитационных моделей, существенно сократить время на формирование комплексной имитационной модели, организовать менее затратный вычислительный процесс, оперативно проводить исследования с использованием имитационного моделирования, что, в свою очередь, привело к существенному сокращению машинного времени на проведение численных экспериментов. На конкретных примерах показаны преимущества использования распределенных вычислений при разработке комплексной имитационной модели функционирования автономного необитаемого подводного аппарата.
Параллельные и распределенные вычисления; имитационная система; имитационная модель; агрегирование; декомпозиция.
* Исследование выполнено при поддержке РФФИ в рамках научного проекта № 14-08-01006-а.
