CC BY
39
шения надежности АИС;
структура, состав и программа управления кластером;
реализация кластера высокой доступности в АС «Снабжение» применительно к ОС МСВС и СУБД «Линтер-ВС».
Опытная эксплуатация АС «Снабжение» показала, что предъявленные требования к надежности и другим показателям качества полностью реализованы при оптимальной стоимости ее создания и эксплуатации.
Литература
1. Кластер (группа компьютеров). http://ru.wikipedia.org.
2. Бервено В. С., Резник В. Н., Смагин А. Н. Кластерные технологии: прошлое, настоящее и будущее. - Донецк: ДонНТУ, 2002. http://masters.donntu.edu.ua/publ2002/fvti/berveno.pdf.
3. Зимнович Р. В., Лисов О. И., Марков А. Б. Управление состоянием распределенных технических систем // Оборонный комплекс - научно-техническому прогрессу России, 2006. № 2. С. 66-70.
УДК 681.3.06
ЭКОНОМИЧЕСКАЯ МОДЕЛЬ ПЛАНИРОВАНИЯ И СПРАВЕДЛИВОГО РАЗДЕЛЕНИЯ РЕСУРСОВ В РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЯХ
В. В. Топорков, д. т. н., проф., зав. кафедрой Тел.: (495) 362-71-45, e-mail: ToporkovVV@mpei.ru Д. М. Емельянов, аспирант Тел.: (495) 362-71-45, e-mail:yemelyanov.dmitry@gmail.com Национальный исследовательский университет «МЭИ» http://www.mpei.ru
This paper discloses a model for a job flow scheduling and fair resources sharing in distributed computing that takes into account virtual organization user’s requirements for efficiency and quality of the job execution. The proposed algorithms allow finding effective execution alternatives for each job of the batch by the given criterion. The scheduling scheme for selecting effective combination of the alternatives fulfils virtual organization policies for fair resource sharing.
Предлагается модель планирования потока заданий и справедливого разделения ресурсов в распределенных вычислительных средах, позволяющая учитывать требования пользователей виртуальной организации к эффективности и качеству выполнения своих заданий. В рассматриваемой модели задания группируются в пакеты и направляются в различные домены узлов. Предлагаемые алгоритмы позволяют находить эффективные по заданному критерию альтернативы выполнения для каждого задания, а схема выбора лучшей комбинации альтернатив действует в рамках политик, определенных в виртуальной организации для справедливого разделения ресурсов.
Ключевые слова: планирование, выделение ресурсов, экономические модели, виртуальная организация, слот, ресурсный запрос.
Keywords: scheduling, resource co-allocation, economic models, virtual organization, slot, resource request.
Работа выполнена при частичном содействии Совета по грантам Президента РФ для поддержки ведущих научных школ (грант НШ-316.2012.9), РФФИ (проект № 12-0700042), Министерства образования и науки РФ (ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы, государственные контракты № 16.740.11.0038 и № 16.740.11.0516).
При организации и администрировании распределенных вычислительных сред одной
из главных задач является эффективное планирование и выделение ресурсов. Как правило, эта задача осложняется неоднородностью и динамичностью состава вычислительных узлов, а также противоречивыми требованиями пользователей и владельцев ресурсов к качеству распределения. Весьма эффективными здесь оказываются так называемые экономические модели планирования, включая приложения в грид, мультиагентных системах и облачных вычислениях [1]. В настоящей работе предлагается алгоритм, применяемый в рамках модели, в основу которой заложена иерархическая схема управления потоками заданий [1-3]. В отличие от известных, рассматриваемая модель предполагает группирование заданий в пакеты в соответствии с их свойствами и потребностями в ресурсах, а также цикличное планирование системы заданий на основе динамично обновляемых критериев и ограничений. Доступные ресурсы представляются списком слотов - временных интервалов доступности вычислительных узлов на определенных условиях оплаты. В каждом цикле планирования локальные расписания обновляются и осуществляется решение двух задач. Во-первых, отбираются подходящие (по ресурсу, цене, времени) наборы слотов - альтернативы выполнения для каждого задания пакета. Во-вторых, выбирается комбинация альтернатив, эффективная или оптимальная с точки зрения прохождения всего пакета заданий в текущем цикле планирования. Линейные по сложности алгоритмы отбора слотов предложены в [2, 3]. В [4] описана общая схема выбора лучшей комбинации альтернатив. В [5] при выборе плана выполнения осуществляется оптимизация по заданному в ресурсном запросе критерию. Однако при поиске отдельных альтернатив не учитывается ограничение на общую стоимость, а критерий используется только на этапе выбора лучшей альтернативы для выполнения задания.
В данной работе предлагается общая схема алгоритма поиска «окна» на множест-
ве слотов, оптимального по заданному критерию с учетом дополнительных ограничений. Положим, согласно ресурсному запросу, требуется найти «окно» из п слотов, имеющих одинаковое время старта. При этом длина каждого из п слотов определяется производительностью того ресурса, на котором он выделен. В результате мы получим «окно» с неровным правым краем (см. рисунок). В ресурсном запросе указывается требуемое время выделения ресурсов, необходимые характеристики узлов, а также ограничение на максимальную стоимость выделения всего «окна». Его стоимость считается равной сумме стоимостей использования всех образующих его слотов. Задается критерий, по которому будет выбираться наиболее подходящее для конкретного задания «окно», например стоимость, время выполнения или потребление электроэнергии.
Поиск «окна» осуществляется на списке Список Слотов "Окно"
I)
Длина "Окна”
)
I________
Iржж......
Рисунок. «Окно» с неровным правым краем на множестве слотов
всех доступных слотов, упорядоченных по неубыванию времени старта. Это условие необходимо для поочередного просмотра всего списка слотов и построения алгоритмов линейной сложности [2, 3] . Схема поиска «окна», удовлетворяющего требованиям и эффективного по заданному крите-
рию, может быть представлена следующим образом.
1. Из упорядоченного списка слотов выбирается очередной подходящий слот и добавляется в список слотов «окна».
2. Время старта «окна» полагается равным времени старта последнего из добавленных слотов.
3. Происходит проверка, хватает ли длины слотов, находящихся в «окне» для выполнения части задания, с учетом нового, более позднего времени старта. Слоты, время действия которых истекает, удаляются из «окна» и исключаются из дальнейшего рассмотрения.
4. Если количество слотов т > п, то далее требуется выбрать п слотов, эффективных по заданному критерию [1], но в то же время удовлетворяющих ограничению на суммарную стоимость. Предположим было выбрано «окно» Ж со значением целевого критерия сгЖ. Задача выбора эффективного «окна», состоящего из п слотов в случае, если т > п, будет описана ниже.
5. Значение целевого критерия сгЖ найденного «окна» Ж сравнивается со значением сг' - текущим лучшим значением целевого критерия для всех найденных ранее «окон». В случае, если сгЖ< сг' (при решении задачи минимизации), окно Ж объявляется новым кандидатом, а сгЖ становится новым лучшим значением критерия: сг' = сгЖ.
6. Алгоритм заканчивает работу после рассмотрения последнего слота. Результатом является «окно»-кандидат с наилучшим значением целевого критерия, оно объявляется эффективным по заданному критерию.
Описанный алгоритм можно сравнить с алгоритмом поиска экстремума в одномерном массиве значений. Расширенное окно размером т «движется» по упорядоченному списку слотов. На каждом шаге любая комбинация из п входящих в него слотов (если п < т) представляет собой «окно», достаточное для выполнения задания. Из множества вариантов выбирается «окно», эффективное по заданному критерию, и сравнивается с результатами поиска на предыдущих шагах. К концу списка будет выбрано единственное решение с наилучшим значением целевого критерия.
Рассмотрим задачу выбора окна из п слотов с общей стоимостью не более Я на списке из т > п слотов (для случая т = п выбор тривиален). Текущее расширенное «окно» состоит из т слотов. Стоимость использования каждого из слотов с учетом их необходимой длины: сь с2, ..., ст. Предположим, что слоты имеют характеристику гг-, суммарное значение которой, согласно целевому критерию, необходимо минимизировать в итоговом «окне».
Тогда задачу можно сформулировать следующим образом:
а^\ + а2.г2 + ... + а^т ^ шт
при ограничениях
а1с1 + а2с2 + ... + атст < Я,
а! + а2 + ... + ат = п,
аг е{0, 1}, г = 1, ..., т.
Для выбора эффективной комбинации альтернатив для выполнения пакета заданий предлагается схема BatchSlicing (BS - модификация и обобщение схемы ЛЫетаИуеЯо1у-ег (ЛЯ) [1]. ВЯ предполагает разделение исходного пакета заданий на множество подпа-кетов и планирование каждого подпакета в отдельности на заданном интервале планирования с помощью алгоритма ЛЯ. Согласно принятой в ЛЯ схеме поиска множества альтернатив выполнения [1], при планировании всего пакета сразу число найденных альтернатив может быть относительно невысоким (вплоть до одной альтернативы на задание при ограниченном количестве доступных ресурсов), что отразится на этапе выбора лучшей комбинации альтернатив и на эффективности планирования всего пакета. «Разрезание» пакета позволит в ущерб концепции эффективности планирования всего пакета заданий увеличить число находимых альтернатив для более приоритетных заданий и разнообразить выбор на втором этапе планирования, тем самым повысив эффективность распределения. Стоит отметить, что число подпакетов, на которые «разрезается» пакет заданий, определяет соотношение индивидуальных требований пользователей и общих политик планирования пакета заданий. С помощью комбинирования оптимизационных критериев, администраторы и пользователи виртуальной организации могут составлять стратегии поиска альтернативных наборов слотов для каждого из заданий пакета.
Для демонстрации идеи проведен эксперимент, моделирующий более 4000 независимых циклов планирования. На каждом цикле планирования поиск альтернатив для одного из заданий пакета осуществляется с учетом одного из следующих критериев: стоимости (МпСо^), времени завершения (MinFinish), времени выполнения (MinTime) и раннего времени старта (АМР) [2, 3]. Результаты планирования задания представлены в табл. 1. Среднее число слотов для выполнения задания составляет 3.9 при общем количестве доступных ресурсов, равном 15.
Таблица 1
Характеристики AMP MinCost MinFinish MinRuntime
Среднее время выполнения 61.2 74.4 45.2 41.1
Среднее процессорное время 174 198.4 150.6 142.6
Средняя стоимость 693.9 570.7 706.5 722.8
Среднее время старта 250.4 290.1 231.4 234.7
Среднее время завершения 311.6 364.5 276.6 275.8
Результаты планирования всего пакета заданий представлены в табл. 2. В значениях характеристик приведены величины, усредненные для каждого задания пакета. Из анализа данных, представленных в табл. 1 и 2, следует, что использование критериев на
этапе поиска альтернатив позволяет заметно повысить эффективность выполнения заданий (преимущество над алгоритмом AMP [2, 3] составляет от 7% до 33%) при небольших (до 2%) отклонениях в результатах планирования пакета заданий в целом.
Таблица 2
Характеристики AMP MinCost MinFinish MinRuntime
Среднее число альтернатив 6.7 6.7 6.7 6.7
Среднее время выполнения 62.4 62.5 61.8 61.6
Среднее процессорное время 177.5 177.7 177.1 177.2
Средняя стоимость 705.8 705.7 706.5 707.9
Среднее время старта 231.5 227.5 230.7 229.2
Среднее время завершения 293.8 290 292.5 290.8
Авторы считают, что в данной работе новыми являются следующие результаты. Предложена модель планирования потока заданий и справедливого разделения ресурсов в распределенных вычислительных средах, позволяющая учитывать требования пользователей виртуальной организации к эффективности и качеству выполнения своих заданий. Представлена и обоснована общая схема алгоритма поиска альтернативных наборов слотов, эффективных по заданному крите-
рию. Предложена модификация Ва^ЯИсег схемы ЛЬегпаНуеЯоЬег [1], позволяющая увеличивать число альтернатив выполнения для каждого задания. Рассматриваемая модель, использующая оба предложенных подхода, с помощью комбинирования оптимизационных критериев позволяет повысить эффективность выполнения отдельных пользовательских заданий при соблюдении политик, принятых в виртуальной организации.
Литература
1. Топорков В. В. Управление заданиями в распределенных средах с неотчуждаемыми ресурсами // Известия РАН. Сер. Теория и системы управления, 2011. № 2. С. 62-78.
2. Toporkov V., Toporkova A., Bobchenkov A., Yemelyanov D. Resource Selection Algorithms for Economic Scheduling in Distributed Systems // Procedia Computer Science. - Elsevier, 2011. Vol. 4. P. 22672276.
3. Toporkov V., Bobchenkov A., Toporkova A., Tselishchev A., Yemelyanov D. Slot Selection and Coallocation for Economic Scheduling in Distributed Computing // Proc. of the 11th Intern. Conf. on Parallel Computing Technologies. - Berlin, Heidelberg: Springer-Verlag, 2011. LNCS. Vol. 6873. P. 368-383.
4. Toporkov V. Application-level and job-flow scheduling: an approach for achieving quality of service in distributed computing // Proc. of PaCT-2009. - Heidelberg: Springer, 2009. LNCS. Vol. 5698. P. 350-359.
5. Ernemann C., Hamscher V., Yahyapour R. Economic scheduling in grid computing // Proc. of JSSPP 2002 / Eds. D. G. Feitelson, L. Rudolph, U. Schwiegelshohn. - Heidelberg: Springer, 2002. LNCS. Vol. 2537. P. 128-152.
6. Топорков В. В. Декомпозиционные схемы синтеза стратегий планирования в масштабируемых системах // Известия РАН. Сер. Теория и системы управления, 2006. № 1. С. 82-93.
7. Toporkov V. V., Tselishchev A. S. Safety scheduling strategies in distributed computing // International Journal of Critical Computer-Based Systems, 2010. Vol. 1. No. 1/2/3. P. 41-58.
