CC BY
33
УДК 378.1 ♦ ВАК 05.13.14 ♦ РИНЦ 20.00.00
Д.М. Емельянов, П.А. Потехин, В.В. Топорков
НИУ МЭИ, Москва, Россия
Формирование пакетов заданий в грид с учетом предпочтений пользователей
Распределенные вычислительные среды (РВС), такие как грид, характеризуются гетерогенностью, слабой связанностью, динамичностью состава вычислительных узлов. Поэтому задача планирования ресурсов в таких средах является сложной, комплексной задачей. В связи с этим существуют различные подходы к планированию заданий в грид. Некоторые из них используют экономические принципы. Экономические подходы к планированию показали свою эффективность. Одним из экономических подходов к планированию является циклическая схема планирования (ЦСП). Именно ЦСПрас-смотрена в данной работе.
ЦСП предполагает учет интересов пользователей РВС при помощи пользовательского критерия оптимизации, включаемого в ресурсный запрос. Кроме того, ЦСП работает циклично, на каждом этапе планируя определенный пакет заданий. Поэтому предварительным этапом планирования в ЦСП является этап формирования пакета заданий.
Целью данной работы являлось оценить влияние состава пакета заданий по пользовательскому критерию на степень удовлетворения данного критерия. Иными словами, нужно было ответить на вопрос, как с точки зрения данного критерия оптимизации лучше формировать пакет заданий, например, из заданий с одним и тем же пользовательским критерием, или, наоборот, из заданий с различными критериями. Также ставилась цель отыскать сочетания критериев, которые дали бы лучшие результаты планирования. Для достижения поставленной цели был поставлен эксперимент в среде имитационного моделирования. Эксперимент состоял в планировании пакетов заданий, отличающихся значением пользователь-
ского критерия оптимизации. При этом все остальные параметры ресурсного запроса заданий были одинаковыми, а планирование проводилось на наборе ресурсов с одинаковыми характеристиками. При этом были рассмотрены три стратегии формирования пакета заданий. В первой стратегии пакет состоял из заданий с одним и тем же критерием. Во второй стратегии в пакет попадали задания с различными критериями равновероятно. Третья стратегия аналогична второй, но рассматривались задания только с двумя пользовательскими критериями. Эта третья стратегия была рассмотрена, чтобы найти наиболее выгодные сочетания пар пользовательских критериев.
В результате эксперимента оказалось, что второй подход дал лучшие результаты планирования, что можно объяснить меньшей степенью конкуренции за однотипные ресурсы в случае сочетания различных критериев в ресурсном запросе. Результаты эксперимента для пар критериев сильно зависели от рассматриваемой пары критериев. Наилучшие результаты планирования для этого подхода дали пары с критериями минимизации времени выполнения и стоимости, а также минимизации времени завершения и стоимости. Результаты данной работы входят в курс «Вычислительные системы», преподаваемый на кафедре Вычислительной техники НИУ МЭИ. Дальнейшие исследования будут посвящены поиску оптимального соотношения между пользовательскими критериями в рамках одного пакета.
Ключевые слова: распределенные вычисления, грид, планирование, формирование системы заданий, предпочтения пользователей.
Dmitry M. Yemelyanov, Petr A. Potekhin, Victor V. Toporkov
National Research University "Moscow Power Engineering Institute", Moscow, Russia
Job system generation in grid taking into account user preferences
Distributed computing environments like Grid are characterized by heterogeneity, low cohesion and dynamic structure of computing nodes. This is why the task of resource scheduling in such environments is complex. Different approaches to job scheduling in grid exist. Some of them use economic principles. Economic approaches to scheduling have shown their efficiency. One of such approaches is cyclic scheduling scheme which is considered in this paper.
Cyclic scheduling scheme takes into account the preferences of computing environment users by means of an optimization criterion, which is included in the resource request. Besides, the scheme works cyclically by scheduling a certain job batch at each scheduling step. This is why there is a preliminary scheduling step which is job batch generation. The purpose of this study was to estimate the influence of job batch structure by the user criterion on the degree of its satisfaction. In other words we had to find the best way to form the batch with relation to the user optimization criterion. For example if it is more efficient to form the batch with jobs with the same criterion value or with different criterion values. Also we wanted to find the combination of criterion values which would give the most efficient scheduling results.
To achieve this purpose an experiment in a simulation environment was conducted. The experiment consisted of scheduling of job batches with different values of the user criterion, other parameters of the resource
request and the characteristics of the computing environment being the same. Three job batch generation strategies were considered. In the first strategy the batch consisted of jobs with the same criterion value. In the second strategy the batch consisted of jobs with all the considered criteria equally likely. The third strategy was similar to the second one, but only two certain criteria were considered. The third strategy was considered in order to find the most favorable combinations of criteria couples.
The experiment showed that the second approach showed the best scheduling results. This may be explained by a smaller degree of competition for similar resources in the case of different criteria combination. Experiment results for criteria couples depend on the considered couple. The best scheduling results for this strategy were shown by criteria couples with job runtime and cost minimization criteria and job completion and cost minimization criteria. The results of the study are a part of course "Computing Systems" at the department of Computing engineering at National Research University "Moscow Power Engineering Institute". Further studies will be dedicated to the search of optimal correlation between user criteria in one batch.
Keywords: distributed computing, grid, scheduling, job system generation, user preferences.
1. Введение
Большие распределенные вычислительные среды (РВС), такие как грид [1], характеризуются гетерогенностью, слабой связанностью, динамичностью состава вычислительных узлов. Задания, поступающие от пользователей виртуальной организации (ВО), имеют различные требования к ресурсам. Одни из наиболее эффективных подходов управления ресурсами в таких средах строятся на основе экономических принципов [2]. Использование экономических принципов позволяет найти компромисс между интересами собственников вычислительных ресурсов и пользователей. Важной задачей при планировании является «справедливое» разделение ресурсов РВС, предполагающее, что все участники распределенных вычислений в той или иной степени могут влиять на процесс планирования.
Можно выделить следующие модели управления заданиями в РВС. Децентрализованная диспетчеризация заданий - одна из первых моделей управления заданиями. Все участники вычислений могут выступать одновременно и собственниками и потребителями ресурсов, а планировщики ресурсов, как правило, работают локально на стороне клиента и представляют его интересы. Такая модель реализована, например, в системе ЛррЬе8 [3]. При использовании иерархической диспетчеризации заданий (система Х-Сот [4]) имеется центральный планировщик (метапланировщик), оперирующий с метазаданиями. Сами задания представляются ресурсными запросами пользователей. Данная модель позволяет использовать доступные ресурсы более эффективно, поскольку возможна оптимизация выполнения потока заданий пользователей, а вся информация о состоянии ресурсов хранится в информационной базе метапланиров-щика. Кроме того, в такой модели возможен перезапуск задания в случае сбоя, а также глобальный мониторинг.
Во многих современных РВС используются такие методы и ал-
горитмы планирования, как FCFS (First Come First Served), бэкфил-линг, различные механизмы вычисления приоритетов пользователей и заданий, и разделения ресурсов. Важным аспектом при выполнении потока заданий является преимущественное соблюдение дисциплины очереди, основанной на приоритетах заданий. С другой стороны, использование экономических принципов позволяет осуществить более справедливое разделение ресурсов, учитывая как параметры отдельных заданий, так и оптимизируя выполнение всего потока заданий.
Данная работа посвящена влиянию пользовательских предпочтений на эффективность планирования на этапе формирования системы заданий в циклической схеме планирования.
2. Циклическая схема планирования
Одной из систем планирования, использующих экономические принципы, является циклическая схема планирования (ЦСП) [5], рассматриваемая в данной работе. ЦСП использует иерархическую диспетчеризацию заданий и позволяет реализовать политику планирования потока заданий в ВО с использованием различных критериев, а также с учетом предпочтений отдельных пользователей. Экономические принципы лежат в основе балансировки интересов как пользователей, так и владельцев ресурсов. Администраторы ВО устанавливают политику предоставления ресурсов, которая формализуется соответствующими критериями. При планировании пакета заданий интересы ВО ставятся выше приоритетов отдельных заданий, что позволяет оптимизировать общие параметры выполнения всего потока. Для учета предпочтений пользователей в ресурсном запросе дополнительно вводится возможность задания критерия оптимизации.
Планирование в ЦСП осуществляется циклично, на основе динамически обновляемых расписаний вычислительных узлов. В каждом
цикле планирования решаются следующие задачи: формирование из глобальной очереди заданий потоков, соответствующих доменам РВС, формирование системы (пакетов) заданий в текущем цикле планирования, и выполнение системы заданий в соответствии с политикой ВО. Собственно процесс планирования в ЦСП состоит из двух этапов. На первом этапе происходит поиск альтернативных вариантов выполнения (альтернатив) для каждого задания. Второй этап состоит в выборе комбинации альтернатив в соответствии с критерием оптимизации, принятым в ВО. Примером задачи оптимизации на этом этапе может служить, минимизация суммарного времени выполнения пакета заданий при ограничении на бюджет виртуальной организации.
Ресурсный запрос задания в ЦСП включает следующие характеристики: минимально необходимая для выполнения задания производительность узла, максимальная суммарная стоимость (бюджет) выполнения задания, требуемое число вычислительных узлов, а также время, на которое необходимо зарезервировать ресурсы. Кроме того, в ресурсный запрос вводится пользовательский критерий, например, время или стоимость выполнения.
Каждый вычислительный узел, в свою очередь, характеризуется производительностью (нами рассматривается показатель, выраженный в относительных единицах), удельной стоимостью ресурса за единицу времени и локальным расписанием на протяжении интервала планирования. В рассматриваемой модели ресурсы считаются неотчуждаемыми, т.е. используются совместно с их владельцами. Промежутки времени, в которые вычислительный ресурс свободен для выполнения пользовательских заданий, представляются слотами. Локальное расписание - список слотов.
В результате процедуры планирования для выполнения пользовательского задания выделяется «окно» - набор подходящих слотов. Количество слотов в наборе соответствует количеству задан-
Список Слотов «Окно»
Длина «Окна»
Рис. Формирование окна для пользовательского задания
ных в ресурсном запросе вычислительных узлов. Слоты, выделяемые для выполнения параллельного задания, должны иметь одинаковое время старта, а их длительность зависит от производительности соответствующих ресурсов. Формирование окна из списка слотов демонстрирует рисунок.
3. Стратегии формирования пакетов заданий
Процесс формирования пакета заданий является предварительным этапом в ЦСП и не относится непосредственно к алгоритму планирования. Однако от того, как формируется пакет заданий, т.е. каким образом задания отбираются в пакет в каждом цикле, может существенно зависеть эффективность планирования. Таким образом, формирование системы заданий является важным шагом в ЦСП. В данной работе рассматривается вопрос формирования пакета с точки зрения согласования пользовательских критериев оптимизации из ресурсных запросов. Задачей исследования является выявление таких сочетаний пользовательских критериев в пакете заданий, которые бы обеспечивали наиболее эффективные результаты планирования в ЦСП. С использованием симулятора грид [5] было проведено экспериментальное исследование, состоявшее в моделировании различных подходов к формированию пакета заданий в соответствии со значением пользовательского критерия оптимизации.
При этом были рассмотрены следующие стратегии.
1) Пакет состоит из заданий с одним и тем же критерием (ОК).
2) В пакет попадают задания с различными пользовательскими критериями равновероятно (МК).
3) В пакет попадают задания с двумя пользовательскими критериями с равной вероятностью, т.е. принимаются во внимание пары пользовательских критериев (ПК).
Стратегия МК отражает ситуацию, когда пакет заданий формируется без специальной фильтрации по критерию пользователя. Стратегия ПК, формирующий пакет из заданий с двумя критериями, рассмотрен из тех соображений, что некоторые пользовательские критерии могут особенно хорошо сочетаться друг с другом. Стратегия ОК позволяет оценить, каким образом конкуренция множества заданий за однотипные ресурсы влияет на результаты планирования всего пакета заданий.
При проведении экспериментов рассматриваются следующие задачи с учетом пользовательских критериев.
1) Минимизация времени старта заданий (Тстарт).
2) Минимизация суммарного времени занятия слотов (Тпроц).
3) Минимизация времени выполнения (Твып).
4) Минимизация стоимости выполнения задания (С).
5) Минимизация времени завершения задания (Тзав).
Для каждого из рассматриваемых подходов планирование проводится на аналогичной вычислительной среде с одинаковым составом пакетов заданий, отличающихся только значением пользовательско-
го критерия. За один эксперимент выполнялось 5 процедур планирования для стратегии ОК (по одной для каждого критерия), один цикл планирования для стратегии МК и 10 циклов планирования для стратегии ПК (для всех сочетаний пар критериев). Таким образом, за один эксперимент проводилось 16 циклов планирования. Всего было проведено 3000 экспериментов, сбор статистики осуществлялся только для тех экспериментов, в которых все 16 циклов планирования были успешными, т.е. в каждом из них для всех заданий был найден план выполнения. Отметим, что статистика собиралась по всем основным характеристикам заданий пакета, а для стратегий МК и ПК также был осуществлен сбор статистики для частей пакета с определенным пользовательским критерием.
Вычислительная среда в эксперименте состояла из 24 процессорных узлов с производительностью, равномерно распределенной на отрезке [2, 11]. Длина цикла планирования составляла 600 единиц модельного времени. В каждом эксперименте серии размер пакета выбирался случайным образом на отрезке [1, 30] равновероятно, что позволило рассматривать зависимости без привязки к размеру пакета. При этом нижнее значение отрезка выбрано равным 1, то есть пакет может состоять и из одного задания. Верхнее значение, 30 заданий в пакете, было выбрано потому, что при таком размере пакета для многих заданий при рассматриваемых настройках среды уже не удается найти подходящий план выполнения. Значение максимальной удельной стоимости слота, которую готов принять пользователь, генерируется по нормальному закону распределения с учетом минимально требуемой производительности ресурса. Время резервирования ресурсов для заданий и количество процессорных узлов генерировались на основе равномерного распределения на отрезках [100, 500] и [2, 5] соответственно.
Результаты экспериментов приведены в табл. 1, 2 и 3 соответственно для стратегий ОК, МК и ПК.
Таблица 1
Результаты эксперимента для стратегии ОК
Тстарт Тпроц Твып С Тзав
Вр. старта 146,7 152,9 159,4 154,7 144,0
Вр. выполнения 46,5 47,3 36,3 51,7 39,5
Вр. завершения 193,2 200,1 195,6 206,3 183,5
Проц. время 133,8 135,9 119,9 144,5 125,2
Стоимость 1139,0 1089,6 1139,9 1067,1 1146,2
Таблица 2
Результаты эксперимента для стратегии МК
Сум. Тстарт Тпроц Твып С Тзав
Вр. старта 135,4 110,8 225,4 105,9 205,8 75,7
Вр. выполнения 46,2 61,5 42,1 34,2 59,4 41,6
Вр. завершения 181,7 172,3 267,5 140,0 265,2 117,2
Проц. время 136,4 166,0 129,6 112,7 161,0 130,7
Стоимость 1116,9 1209,0 1072,5 1158,1 996,6 1206,8
Таблица 3 Результаты эксперимента для стратегии ПК
Пара Твып, С Пара С, Тзав
Сум. Твып С Сум. С Тзав
Вр.старта 149,9 117,8 186,2 145,3 214,3 82,7
Вр. выполнения 45,2 34,9 56,8 45,2 50,7 40,1
Вр. завершения 195,2 152,8 243,1 190,4 265,0 122,9
Проц. время 135,0 115,5 157,6 134,0 143,4 126,1
Стоимость 1092,9 1183,7 1004,9 1109,9 1024,9 1206,0
Представлены основные характеристики выполнения заданий: время старта, время выполнения, время завершения, общее время занятия слотов («процессорное» время) и стоимость. Лучшие значения каждой характеристики в рамках серии экспериментов выделены жирным шрифтом.
Табл. 1 содержит характеристики заданий по итогам планирования для подхода ОК, при этом каждый столбец соответствует отдельному пакету с соответствующим критерием.
Результаты эксперимента для стратегии МК демонстрирует табл. 2.
В рамках данного подхода производилось планирование одного пакета. Усредненные результаты планирования всего пакета представлены в колонке «Сум.» (суммарно), а последующие колонки соответствуют частям пакета (группам заданий) с соответствующими пользовательскими критериями.
В табл. 3 приведены аналогичные данные для стратегии ПК. Представлены результаты только для двух пар критериев из десяти.
Остальные пары критериев показали значительно худшие результаты планирования.
Как видно из таблиц, лучшее значение всех рассматриваемых характеристик было обеспечено стратегией МК. Этот результат можно объяснить тем, что задания с множеством различных критериев конкурируют за различные группы ресурсов, и, тем самым, имеют возможность выбрать более эффективный наборов слот.
Стратегия ОК, в которой пакет состоял из заданий с одним критерием, уступил стратегии МК от 6,2% до 93,8% в зависимости от рассматриваемого критерия.
Для стратегии ПК результаты сильно зависят от сочетания критериев. Только две пары, представленные в табл. 3, обеспечили результаты планирования сравнимые с МК. Первая из них, Твып и С, уступила подходу МК соответственно 2,2% и 0,8% по времени выполнения и по стоимости заданий. Вторая пара критериев, С и Тзав, уступила 2,8% и 4,8% соответственно по стоимости и времени завершения заданий.
Все остальные пары критериев показали результаты, отстающие от лучших значений более чем на 10% хотя бы по одному критерию.
Отметим, что средний размер пакета для эксперимента составил 12.7 заданий. Это значение ниже среднего (15.5 заданий), так как при сборе статистики учитывались циклы планирования, в которых для всех заданий был выделен подходящий набор слотов. При относительно большем размере пакета конкуренция за ресурсы возрастала, а вероятность успешного планирования была меньше.
Еще один результат экспериментов состоит в том, что наилучшее значение времени старта задания было обеспечено критерием Тзав, а не Тстарт. Аналогично, наилучшее значение суммарного времени занятия слотов обеспечил критерий Твып, а не Тпроц. Это оказывается справедливым для всех трех рассмотренных стратегий.
4. Заключение
В работе рассмотрены вопросы формирования системы заданий при планировании вычислений с учетом интересов пользователей ВО грид. В проведенных экспериментах исследованы зависимости между сочетанием пользовательских критериев в пакете заданий, итоговыми результатами планирования отдельных заданий и пакета в целом.
При проведении экспериментов рассмотрены различные стратегии формирования пакетов. Лучшие значения пользовательских критериев получены в тех случаях, когда пакет формируется из заданий с разными критериями равновероятно. Из этого можно сделать вывод, что для обеспечения наибольшей эффективности планирования пакета заданий и учета предпочтений отдельных пользователей, в пакет следует отбирать задания с различными критериями, по возможности, в равных количествах. В рамках стратегии, рассматривающей пары критериев, наилучшие результаты обеспечили пары Твып, С и Тзав, С. В стратегии с одним критерием в пакете можно выделить критерии Твып и С, кото-
рые показали результаты, уступающие лучшим результатам не более чем на 7,1%.
Эксперименты показали, что лучшее значение времени старта обеспечил критерий Тзав, а лучшее значение времени занятия слотов -критерий Твып. Таким образом, имеет смысл использовать Тзав для минимизации как времени завершения, так и времени старта, а Твып -для минимизации времени выполнения и процессорного времени.
Отметим, что результаты данной работы входят в курс «Вычислительные системы», преподаваемый на кафедре Вычислительной техники НИУ МЭИ.
Дальнейшие исследования будут посвящены поиску оптимального соотношения между пользовательскими критериями в рамках одного пакета.
Данная работа выполнена при содействии Совета по грантам Президента Российской
Федерации для поддержки молодых российских ученых и ведущих научных школ (шифры МК-4148.2015.9, НШ-362.2014.9), РФФИ (проекты 15-07-02259, 15-07-03401), Минобрнауки России, задание № 2014/123 на выполнение государственных работ в сфере научной деятельности в рамках базовой части государственного задания (проект 2268), Российского научного фонда (проект № 15-11-10010).
Литература
1. Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // International Journal of Supercomputer Applications. - 2001. -Vol. 15, N 3. - P. 200-222.
2. Garg S.K., Buyya R., Siegel H.J. Scheduling Parallel Applications on Utility Grids: Time and Cost Trade-off Management // Proc. of the 32nd Australasian Computer Science Conference. - Wellington, 2009. - P. 151-160.
3. Adaptive Computing on the Grid Using AppLeS / F. Berman et al. // IEEE Transactions On Parallel and Distributed Systems. - 2003. - Vol. 14, N 4. - P. 369-382.
4. Эволюция системы метакомпьютинга X-Com / Вл.В. Воеводин и др. // Вестник Нижегородского университета им. Н.И. Лобачевского. - 2009. - № 4. -С. 157-164.
5. Preference-Based Fair Resource Sharing and Scheduling Optimization in Grid VOs / V. Toporkov et al. // Procedia Computer Science. - 2014. - Vol. 29. - P. 831-843.
References
1. Foster I., Kesselman C., Tuecke S. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // International Journal of Supercomputer Applications. - 2001. -Vol. 15, N 3. - P. 200-222.
2. Garg S.K., Buyya R., Siegel H.J. Scheduling Parallel Applications on Utility Grids: Time and Cost Trade-off Management // Proc. of the 32nd Australasian Computer Science Conference. - Wellington, 2009. - P. 151-160.
3. Adaptive Computing on the Grid Using AppLeS / F. Berman et al. // IEEE Transactions On Parallel and Distributed Systems. - 2003. - Vol. 14, N 4. - P. 369-382.
4. Эволюция системы метакомпьютинга X-Com / Вл.В. Воеводин и др. // Вестник Нижегородского университета им. Н.И. Лобачевского. - 2009. - № 4. -С. 157-164.
5. Preference-Based Fair Resource Sharing and Scheduling Optimization in Grid VOs / V. Toporkov et al. // Procedia Computer Science. - 2014. - Vol. 29. - P. 831-843.
Сведения об авторах
Дмитрий Михайлович Емельянов, к.т.н., старший преподаватель кафедры Вычислительной техники Тел.: (903) 200 26 89, E-mail: Yemelyanov.Dmitry@gmail.com Национальный исследовательский университет «МЭИ», Москва, Россия www.mpei.ru
Петр Анатольевич Потехин, аспирант кафедры Вычислительной техники
Тел.: (962) 968 89 19, E-mail: PotekhinPA@gmail.com Национальный исследовательский университет «МЭИ», Москва, Россия www.mpei.ru
Виктор Васильевич Топорков, д.т.н., профессор, заведующий кафедрой Вычислительной техники Тел.: (495) 362 71 45, E-mail: ToporkovVV@mpei.ru Национальный исследовательский университет «МЭИ», Москва, Россия www.mpei.ru
Information about the authors
Dmitry M. Yemelyanov, Candidate of Engineering Science, senior lecturer at Computer Engineering department Tel.: (903) 200 2689, E-mail: Yemelyanov.Dmitry@gmail.com National Research University "Moscow Power Engineering Institute ", Moscow, Russia www.mpei.ru
Petr A. Potekhin, graduate student at Computer Engineering department
Tel.: (962) 968 89 19, E-mail: PotekhinPA@gmail.com National Research University "Moscow Power Engineering Institute", Moscow, Russia www.mpei.ru
Victor V. Toporkov, Doctor of Engineering Science, professor,
head of Computer Engineering department
Tel.: (495) 362 71 45, E-mail: ToporkovVV@mpei.ru
National Research University "Moscow Power Engineering
Institute" Moscow, Russia
www.mpei.ru
