Автоматизация моделирования алгоритмов управления заданиями с учетом энергопотребления вычислительных ресурсов Текст научной статьи по специальности «Компьютерные и информационные науки»

10. Milinovic M. eduroam Policy Service Definition. - GÉANT. 2012. Режим доступа: https://www.eduroam.org/wp-content/uploads/2016/05/GN3 -12-192_eduroam-policy-service-defmition_ver28_26072012.pdf.

Development of the authentication and authorization infrastructure for the identity federation within the eduGAIN and eduroam projects on the basis of the network RUNNet

Abramov Alexey Gennadievich, candidate of science (PhD), deputy director of St.-Petersburg branch of FPAI SIIT&T «Informika»

Vasilyev Ilya Valerievich, lead engineer of St.-Petersburg branch of FPAI SIIT&T «Informika» Porhachev Vasiliy Alexandrovich, lead specialist of St.-Petersburg branch of FPAI SIIT&T «Informika»

The paper reviews the reasons and main goals for the introduction of federal authorization services in the scientific and educational environment. The basic aspects of the architecture of the SAML protocol and the system of functioning of the elements of the Identity federation are provided. The general information about the international projects eduGAIN and eduroam are given. Some issues of the deployment of the Identity Federation infrastructure and eduroam service on the basis of the national scientific and educational network RUNNet are reviewed as well.

Keywords: federal research and education network RUNNet, NREN, authentication, authorization, Identity Federation, AAI, SAML, RUNNetAAI, eduGAIN, eduroam.

УДК 004.4+004.94

АВТОМАТИЗАЦИЯ МОДЕЛИРОВАНИЯ АЛГОРИТМОВ УПРАВЛЕНИЯ ЗАДАНИЯМИ С УЧЕТОМ ЭНЕРГОПОТРЕБЛЕНИЯ ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ

Дядькин Юрий Алексеевич, аспирант e-mail: [email protected] Институт динамики систем и теории управления им. В.М. Матросова СО РАН

http://www.idstu.irk.ru Иркутский государственный университет http://www.isu.ru

Работа посвящена вопросам, связанным с автоматизацией разработки имитационной модели для исследования алгоритмов управления заданиями разных классов с учетом энергопотребления вычислительными ресурсов. Суть и новизна исследования состоит в интеграции каркасного подхода к программированию с методами классификации заданий.

Ключевые слова: управление распределенными вычислениями, энергопотребление,

имитационное моделирование, инструментальные средства

Работа выполнена при частичной финансовой поддержке РФФИ, проекты № 15-29-07955-офи_м и № 16-07-00931-а, а также Совета по грантам Президента Российской Федерации, государственная поддержка ведущих научных школ Российской Федерации (НШ-8081.2016.9), и Программы 1.33П фундаментальных исследований Президиума РАН, проект «Разработка новых подходов к созданию и изучению сложных моделей информационно-вычислительных и динамических систем с приложениями».

Введение

В настоящее время одним из актуальных направлений в области высокопроизводительных вычислений является разработка и применение алгоритмов распределения заданий при решении крупномасштабных задач с целью экономии потребляемой энер-

гии оборудованием, входящем в состав гетерогенной распределенной вычислительной среды (ГРВС) [1]. Оценка качества функционирования таких алгоритмов для сред, организованных на базе различных программно-аппаратных архитектур, является нетривиальной проблемой [2]. Эти алгоритмы достаточно сложны в реализации. Сравнительный анализ эффективности их работы в реальных условиях является чрезвычайно затруднительным, ввиду высоких временных и финансовых затрат, а также постоянной загруженности ресурсов. Рациональным подходом к исследованию алгоритмов распределения заданий в ГРВС является имитационное моделирование.

В статье представлен подход к автоматизации построения имитационных моделей для алгоритмов распределения заданий в ГРВС с учетом энергопотребления. Данный подход базируется на использовании инструментального комплекса SIRIUS II [3-5]. Сравнительный анализ [6] функциональных возможностей этого комплекса с известными средствами имитационного моделирования распределенных вычислений (см., например, [7-9]) показывает, что его основные преимущества заключаются в учете специфики предметных областей моделируемых систем, а также автоматизации построения моделей и их выполнения в ГРВС.

Построение модели

Имитационная модель конструируется на основе концептуализации потоков заданий в ГРВС [10] с применением каркасного подхода и использованием языка General Purpose Simulation System (GPSS) в системе моделирования GPSS World [11]. Она состоит из двух компонентов: каркаса и гнезд. Оба эти компонента описываются на языке GPSS, с тем лишь отличием, что каркас - это неизменяемая часть модели, а гнезда являются вариативной частью, содержимое которых может изменяться. В гнезда модели помещаются сменные модули, содержащие вычислительные знания. Множество таких модулей, каждый из которых имитирует отдельный процесс функционирования ГРВС или задает поведение какого-либо объекта исследуемой системы, представляет собой библиотеку фрагментов имитационной модели, написанных на языке GPSS. Изменяя содержимое гнезд в различных сочетаниях, пользователь получает множество вариантов имитационной модели (исследуемой системы).

Имитационная модель условно состоит из четырех частей: константы (описание необходимых неизменяемых параметров имитационной модели), переменные (описание изменяемых параметров имитационной модели), процедуры (описание пользовательских процедур, например, для вызова внешних функций), время (описание сегмента модельного времени). Каркас модели и его гнезда создаются в модуле «Конструктор имитационной модели» инструментального комплекса (ИК) SIRIUIS II. Комбинируя модули в необходимом порядке, можно получать различные версии имитационных моделей.

Автоматизация проведения дисперсионного анализа

Дисперсионного анализа используется для оценки влияния одной или нескольких независимых входных переменных (факторов) модели на зависимую наблюдаемую переменную. Для автоматизации проведения такого анализа в ГРВС разработан дополнительный компонент «Генератор эксперимента» для ИК SIRIUS II (рис. 2).

Разработчик модели задает значения входных переменных (переменных пользователя) модели. Затем на основе сочетаний этих значений формируется множество вариантов исходных данных и экземпляры модели параллельно прогоняется с каждым из этих вариантов в ГРВС с помощью виртуальных машин. После завершения прогонов всех экземпляров модели производится сбор полученных значений наблюдаемой переменной, автоматически генерируется текст программы для проведения стандартного эксперимента по дисперсионному анализу и выполняется его запуск в системе GPSS Wold.

Прогон имитационной модели может занимать достаточно длительное время, поэтому возникает необходимость в обеспечении надежности выполнения данного процесса, а также его восстановления после возникновения сбоев или отказов. Наиболее

доступным способом восстановления процесса моделирования является применение аппарата контрольных точек, который реализован посредством управления объектом «процесс моделирования» (стандартный ^sim-файл) системы GPSS World. Контрольные точки создаются на занятом узле ГРВС через определенные интервалы времени и, в случае различного рода отказов, процесс моделирования можно продолжить с момента создания последней контрольной точки, а не воспроизводить его заново.

Модель энергопотребления

В данной статье использована модифицированная модель потребления электроэнергии вычислительными ресурсами ГРВС [2]. В модели, представленной формулами (1)-(3), дополнительно учтены классы заданий и их влияние на энергопотребление:

E = ^tEsum (t), (1)

t = 0

Esum (t) = te (t), (2)

i= 1

e (t) = K„ / off x Z + kx <7d (t, n)), (3)

j=i

где ег ) - энергопотребление г -го узла в момент времени t; коп /= 1 (коп/= 0) означает, что узел включен (выключен); т - число процессоров узла; еп°п- энергопотребление процессора г -го узла, если он не используется; к1 - коэффициент изменения энергопотребления при выполнении I -го класса заданий; в™^ (^ п) - энергопотребление ] -го процессора г -го узла, когда он используется; п - число используемых ядер ] -го процессора, [0,к] - расчетный период времени.

Энергопотребление ] -го процессора в момент времени t определяется с помощью линейной интерполяции по заданному набору значений потребляемой электроэнергии для определенных долей от общего числа ядер процессора.

^ Генератор эксперимента

Открыть файл модели..,

Имя файла модели: | 1>\Энергопотребление\Роууег,др5 Факторы

Имя (переменная пользователя) I CountOfNodes

Значение 1 Значение 2

140

Сои ntOf Cores

NumberOfAlgorithm

Результат

Имя сохраняемой ячейки | X$Power

Генерация файлов вариантов модели

Число прогонов модели для перехода в рабочий режим:

Число прогонов модели рабочем режиме:

10000

Сгенерировать файлы вариантов моделей

Открыть файлы отчетов и обработать результат

Исходный текст модели

л

GENERATE ,,1,1

OPEN ("JobFlowOutput.txt"),1

READ 100,1

SAVEVALUE CurrentLine,P100

TERMINATE

GENERATE 1

SAVEVALUE CurrentTime+,1

TEST E (VALUE(WORD(XSCurrentLine,2 )),(XSCur

SPLIT 1, ReadNextLine

ASSIGN 1, (VALUE(WORD(XSCurrentLine ,1>))

ASSIGN 2,(VALUE(WORD(XSCurrentLine ,2)))

ASSIGN 3,(VALUE(WORD(XSCurrentLine ,3)))

ASSIGN 4,(VALUE(WORD(XSCurrentLine r4)))

ASSIGN 5 , (VALUE(WORD(XSCurrentLine ,5)))

ASSIGN 8, P5

SELECT GE 6,1,60,P5,R,Perehod

TRANSFER ,GoToMatrosov

TEST G P8,0,DelTaskl

SELECT SNF 6,1,60,,,MetToUtil

SELECT MAX 6,1,60,,R

ASSIGN 7, R*6

ASSIGN 8-, P7

SPLIT 1,Provl

TRANSFER ,GoToMatrosov

SELECT MIN 6,1,60rrSR

TRANSFER ,GoToMatrosov

READ 100,1

SAVEVALUE CurrentLine,P100

TRANSFER , SameTime

TERMINATE 1 V

< >

Рис. 2. Скриншот «Генератора эксперимента»

Схема сборки имитационной модели для исследования алгоритмов распределения заданий и организации многовариантных расчетов представлена на рис. 3.

Вычислительные эксперименты

Разработанные средства применены для исследования трех алгоритмов распределения заданий: алгоритм, распределяющий задания по узлам ГРВС случайным образом

(А1); алгоритм, распределяющий задания по узлам ГРВС с учетом загрузки узла, когда очередное задание

Модель энергопотребления

Описание ГРВС и потоков заданий

Алгоритмы распределения заданий

Рис. 3. Схема построения и применения имитационной модели

назначается узлу с минимальной загрузкой (A2); алгоритм, распределяющий задания по узлам ГРВС на основе мультиагентного управления вычислениями (A3) [12-14]. Моделируемая ГРВС включает 30 узлов T-Blade V205S (2x16 cores CPU AMD Opteron 6276, 2.3 GHz, 16 MB L3

cache, 64 GB RAM DDR3-1600) и 30 узлов Supermicro SBI-7228R-T2F (2x18 cores CPU Intel Xeon E5-2695, 2.1 GHz, 45MB L3 cache, 128 GB RAM DDR4-2400). Распределяемый поток состоит из 62332 заданий. Результаты экспериментов, приведенные на рис. 4 и 5, показывают существенное снижение энергопотребления при использовании алгоритма A3 по сравнению с алгоритмами A1 и A2. Алгоритм A3 в отличие от двух других алгоритмов учитывает специфические требования разных классов заданий и экспертные знания администраторов узлов относительно их соответствия классам заданий. Это обеспечивает снижение как общего энергопотребления при обработке потока заданий (рис. 4), так и среднее энергопотребление при выполнении одного задания (рис. 5).

и 250000

IA1 А2 ■ A3

IА1

А2 ■ A3

Алгоритм

Рис. 4. Энергопотребление при обработке всего потока заданий

Алгоритм

Рис. 5. Среднее энергопотребление при обработке одного задания

Заключение

В работе представлены высокоуровневые инструментальные средства для автоматизации имитационного моделирования алгоритмов управления заданиями различных классов с учетом энергопотребления вычислительных ресурсов, используемых для выполнения этих заданий.

Авторы считают, что в данной работе новыми являются следующие положения и результаты:

- Разработаны средства автоматизации имитационного моделирования, которые в отличие от известных базируются на интеграции каркасного подхода к программированию с методами классификации заданий, обеспечивающими извлечение знаний об их специфике и условиях выбора вычислительных ресурсов;

- Разработаны новые средства автоматизации распараллеливания факторного эксперимента для GPSS-моделей и реализованы средства поддержки в них аппарата контрольных точек.

Литература

1. Min e: стратегия неоднородной концентрации задач для энергосберегающих компьютерных расписаний / Ф. Армента-Кано и др. // Труды ИСП РАН. 2015. Т. 21. № 6. С. 355-380.

2. Load Balancing at the Edge of Chaos: How Self-Organized Criticality Can Lead to Energy-Efficient Computing / J.L.J. Laredo at al. // IEEE Transactions on Parallel & Distributed Systems. -IEEE Publisher, 2017. N. 28. P. 517-529.

3. Дядькин Ю.А., Фереферов Е.С. Инструментальный комплекс имитационного моделирования разнородной распределенной вычислительной среды // Вычислительные технологии. 2016. Т. 21. № 3. С. 18-32.

4. Феоктистов А.Г., Корсуков А.С., Дядькин Ю.А. Аспекты имитационного моделирования процессов мультиагентного управления распределенными вычислениями // Информационные и математические технологии в науке и управлении. 2016. № 4. С. 118-126.

5. Дядькин Ю.А., Феоктистов А.Г., Корсуков А.С. Инструментальный комплекс имитационного моделирования распределенных вычислений // Новые задачи технических наук и пути их решения: сб. статей Междунар. науч.-практ. конф. - Уфа: АЭТЕРНА, 2016. С. 63-67.

6. Феоктистов А.Г., Корсуков А. С., Дядькин Ю.А. Инструментальные средства имитационного моделирования предметно-ориентированных распределенных вычислительных систем // Системы управления, связи и безопасности. 2016. № 4. С. 30-60.

7. A Toolkit for Modeling and Simulation of Cloud Computing Environments and Evaluation of Resource Provisioning Algorithms / R. Calheiros at al. // Software: Practice and Experience. 2011. V. 41, N. 1. P. 23-50.

8. Chen W., Deelman E. Workflowsim: A Toolkit for Simulating Scientific Workflows in Distributed Environments // Proceedings of the 8th IEEE International Conference on E-Science (e-Science). 2012. P. 1-8.

9. Mehmi S., Verma H. K., Sangal A. L. Simulation modeling of cloud computing for smart grid using CloudSim // Journal of Electrical Systems and Information Technology. 2017. V. 4, N. 1. P. 159-172.

10.Феоктистов А.Г. Методология концептуализации и классификации потоков заданий масштабируемых приложений в разнородной распределенной вычислительной среде // Системы управления, связи и безопасности. 2015. № 4. С. 1-25.

11.Боев В.Д. Моделирование систем. Инструментальные средства GPSS World. -СПб.: БХВ-Петербург, 2004. 368 с.

12.Костромин Р.О. Модели, методы и средства управления вычислениями в интегрированной кластерной системе // Фундаментальные исследования. 2015. № 6-1. C. 35-38.

13.Феоктистов А.Г., Костромин Р.О. Мультиагентный алгоритм перераспределения вычислительных ресурсов для остаточной схемы решения задачи в Grid // Современные наукоемкие технологии. 2016. № 9-2. С. 244-248.

14. Феоктистов А.Г., Костромин Р.О. Разработка и применение проблемно-ориентированных мультиагентных систем управления распределенными вычислениями // Известия ЮФУ. Технические науки. 2016. № 11. С. 65-74.

Automation of job management algorithm modeling taking into account the energy consumption of computational resources

Dyadkin Yuriy Alekseevich, post-graduate student, Matrosov Institute for System Dynamics and Control Theory of SB RAS

We address issues related to an automation of the simulation model development for studing management algorithms of jobs, belonging to different classes, taking into account the energy consumption of computational resources. The study's essence and novelty consists in an integration of the framework-approach to programming with job classification methods.

Keywords: distributed computing management, energy consumption, simulation modeling, toolkits