CC BY
28
УДК 681.3.06
СТРАТЕГИИ ОРГАНИЗАЦИИ И ПОДДЕРЖКИ МАСШТАБНЫХ ВЫЧИСЛЕНИЙ В РАСПРЕДЕЛЕННЫХ СРЕДАХ
В. В. Топорков, д. т. н., профессор, зав. кафедрой Тел.: (495) 362 7145, e-mail: ToporkovVV@mpei.ru Д. М. Емельянов, аспирант Тел. 8(495)3627145, e-mail:yemelyanov.dmitry@gmail.com А. В. Бобченков, аспирант Тел. (495)362 7145, e-mail: groddenator@gmail.com Московский энергетический институт (технический университет)
http://www.mpei.ru А. С. Топоркова, к. т. н., доцент Тел. (495)9596826, e-mail: annastan@mail.ru Московский государственный институт электроники и математики
http://www.miem.edu.ru
Existing approaches towards resource co-allocation and multiprocessor job scheduling in economic models of distributed computing are based on search of time-slots in resource occupancy schedules. The sought time-slots must meet requirements of necessary span, computational resource properties and cost. Usually such scheduling methods consider only one convenient variant of timeslot set. This paper describes a scheduling scheme that features multi-variant search. Several optional resource configurations for each job provides the opportunity to perform an optimization of execution of the whole batch of jobs and to increase overall efficiency of scheduling.
Предлагается модель обработки заданий в распределенных средах с неотчуждаемыми ресурсами, реализующая принцип так называемого справедливого разделения ресурсов между независимыми пользователями и собственниками вычислительных узлов. Рассматриваются задачи поиска оптимальной и эффективной комбинаций доступных ресурсов на основе динамично обновляемых расписаний - списков слотов, каждому из которых сопоставлены временной отрезок для выполнения составной части задания и тот или иной тип ресурса.
Ключевые слова: планирование, согласованное выделение ресурсов, слот, ресурсный запрос, задание, пакет, задача.
Keywords: scheduling, resource co-allocation, slot, resource request, job, batch, task.
Работа выполнена при частичном содействии Совета по грантам Президента РФ для поддержки ведущих научных школ (грант НШ-7239.2010.9), РФФИ (проект № 09-0100095), Минобрнауки России (АВЦП «Развитие научного потенциала высшей школы» (проекты № 2.1.2/6718,
2.1.2/13283) и ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (государственные контракты № П2227, № 16.740.11.0038)).
Вопросы управления заданиями являются одними из наиболее сложных в организации распределенной обработки данных в условиях неотчуждаемости ресурсов, используемых совместно с их владельцами. Необходимо учитывать неоднородность, динамичность состава, различную административную принадлежность обрабатывающих узлов и масштабность распределенной среды. Весьма эффективными здесь оказываются так называемые экономические модели планирования, включая приложения в грид [1], мультиагентных системах [2] и облачных вычислениях [3]. При этом возникает серьезная проблема ценообразования в зависимости от уровня качества обслуживания [3]. В работе [4] дается обзор различных подходов к ее решению, а также к формированию различных стратегий планирования при наличии ограничений на время и бюджет выполнения задания. В [5] рассматриваются эвристические алгоритмы подбора ресурсов на основе задаваемых пользователем функций полезности. Среди различных подходов к организации вычислений в распределенных средах можно выявить две устойчивых тенденции [6-9]. Одна из
них основывается на использовании доступных ресурсов, когда роль посредников между пользователями и вычислительными узлами выполняют агенты приложений - брокеры. Другая тенденция связана с образованием виртуальных организаций (ВО) и ориентирована, прежде всего, на грид-системы [6, 8, 9]. При образовании ВО [6] осуществляется оптимизация планирования на уровне потоков заданий. Соответствующие функции реализуются иерархической структурой, состоящей из метапланировщика и подчиненных ему менеджеров заданий [6-10]. Нужно подчеркнуть, что оба подхода предполагают планирование приложений на основе динамично меняющейся информации о глобальной среде и позволяют реализовать различные сценарии управления ресурсами. Все это заставляет говорить не просто об алгоритме, а о стратегии планирования [11, 12], т.е. комбинации различных методов внешнего и локального планирования, размещения данных и т.д.
В настоящей работе предлагается и обосновывается модель для управления выполнением независимых заданий в рамках ВО на основе экономических принципов, причем планирование заданий выполняется циклично на альтернативных наборах предварительно отобранных ресурсов. В отличие от известных [6, 7], рассматриваемая модель предполагает группирование заданий в пакеты в соответствии с их свойствами и потребностями в ресурсах, а также цикличное планирование системы заданий на основе динамично обновляемых стратегий и ограничений. План выполнения системы заданий оптимизируется по совокупности критериев в соответствии с политикой предоставления и потребления ресурсов, принятой в виртуальной организации. Доступные ресурсы представляются совокупностью слотов, каждому из которых соответствуют временной отрезок для выполнения составной части задания и тот или иной тип ресурса. Наборы доступных слотов динамично обновляются на основе информации, поступающей от локальных менеджеров ресурсов вышестоящим менеджерам [10]. Предлагаемая модель строится на иерархической (древовидной) структуре управления заданиями в виртуальной организации. Преимущества таких структур хорошо известны [6-9, 14]. В таких структурах задания группируются в пакеты и направляются в различные домены узлов [8, 9]. Однако при этом допускается миграция: задания, для которых, например, не удается найти подходящих слотов в текущем цикле планирования, могут направляться в другие домены узлов. Планирование выполнения системы независимых заданий, сгруппированных в N пакетов по схожести ресурсных требований [14], осуществляется циклично. В каждом цикле планирования локальные расписания обновляются, и при этом требуется решение двух задач. Во-первых, нужно отобрать подходящие (по ресурсу, цене с1, времени ) слоты для каждого задания пакета. Во-вторых, необходимо найти комбинацию слотов, эффективную или оптимальную с точки зрения прохождения всей системы заданий в текущем цикле планирования. В [15] предложен линейный по сложности алгоритм отбора слотов. Проход по списку слотов при планировании . -го задания осуществляется без пересмотра результатов назначения слотов заданиям 1, ..., . -1. Сначала делается попытка найти набор подходящих слотов для всех заданий пакета. Если для какого-либо из заданий, подходящего набора слотов не существует, то его планирование переносится в следующий цикл и задание занимает место в начале очереди соответствующего цикла планирования. После просмотра слотов для всех п заданий пакета отыскиваются альтернативные наборы слотов, поскольку при отборе слотов для . -го задания не весь исходный список может быть просмотрен. Эта процедура итеративно реализуется для всех заданий, планирование которых не перенесено в следующий цикл. Характер организации распределенных сред с неотчуждаемыми ресурсами требует разработки многокритериальных моделей управления заданиями. Эти модели должны учитывать как интересы пользователей, так и собственников ресурсов, адекватно отражать политику предоставления ресурсов в той или иной виртуальной организации. Мы рассматриваем два типа критериев: стоимостные и временные показатели эффективности прохождения системы заданий на допустимой комбинации 5 =(,..., JN) подходящих наборов слотов I., к = 1,N .
Пусть /кк (якк) - функция, определяющая эффективность выполнения к -го задания в к -м пакете на наборе я.к слотов при допустимых затратах, задаваемых функцией gjk (я.к). Например, /кк (як) = скк (5к) - цена использования набора я.к при затратах времени gJk (якк) = tкk (якк). Затраты являются допустимыми, если gJk (я к) < О.к < О *, где О к - уровень суммарных затрат на выполнение определенной части заданий в к -м пакете (например, заданий к,к +1,...,п либо зада-
ний к,к -а О * - заданное ограничение для всей системы заданий (в частности, ограничение на суммарное время Т * занятия слотов или фиксированный бюджет В *).
Формальная постановка задачи выбора оптимальной комбинации слотов 5 = (,...,,?м) состоит в следующем:
р (si,..., ^ ) = I I /кк (к) ^ ех^ (1)
1=1 к=1
при условии
N п,
N п1 ( \ N п 0 / \
£2Жк(к) О* =£££“*(к), (2)
1=1 к=1 1=1 к=1
где g 0 (ук) - функция уровня ресурсных затрат на выполнение к -го пакета.
В задаче (1)-(2) уровень g0Jk (у.к) формируется динамично, в каждом цикле планирования, в зависимости от отобранных наборов подходящих слотов. Пример функции уровня ресурсных
затрат:
1 (к )=£ , (3)
V 11к
где 11к - число допустимых (альтернативных) наборов слотов для выполнения к -го задания.
Тогда с учетом (3) ограничение на суммарное время занятия слотов в текущем цикле планирования может иметь вид:
т*=11[У], (4)
1=1 к=1
где [■] означает ближайшее не меньшее, чем 1 (ук), целое число.
В соответствии с (4), Т * представляет сумму усредненных значений длительности слотов по всем альтернативным наборам в системе из N заданий.
В общем случае в рассматриваемой модели необходимо использовать вектор V(У) критериев, формирующий бинарное отношение Я сравнительной эффективности наборов подходящих слотов семейства S. Мы будем использовать понятие модели выбора (^, Я) и говорить об Я -оптимальной стратегии выполнения системы заданий [11], где Я формируется вектором V (у) = ( (уV- ¥ы (у)) частных критериев Рт(у), т = 1,...,М . Известно, что системы пакетной обработки заданий (локальные планировщики) строятся на «понимании» команд языков ресурсных запросов [10]. Это означает, что из Я -оптимальной стратегии должна быть выбрана одна допустимая комбинация У подходящих слотов. В этом случае эффективность той или иной комбинации у слотов будем представлять скалярной функцией полезности [5, 6]:
М /_Ч . . I WmFm ( )
и (У) = ^----------------------------------------------------------------, (5)
I М
4—1 т
/=1
где мт - вес частного критерия Fm (у), являющегося элементом вектора V(У), например, одним из рассмотренных в [15].
Формальная постановка задачи выбора наиболее эффективной комбинации слотов заключается в построении Я -оптимальной стратегии, где Я формируется вектором V(У) критериев, и отборе наилучшего компромиссного решения путем нахождения экстремума (например, минимума) функции полезности (5).
Авторы считают, что в данной работе новыми являются следующие результаты. Предложена модель управления потоками заданий в виртуальной организации распределенной вычислительной среды на основе экономических стратегий выделения и администрирования неотчуждаемых ресурсов. Рассмотрены механизмы управления выполнением заданий с помощью обновляемых локальных расписаний вычислительных узлов - списков слотов. Формирование стратегий планирования осуществляется на основе вектора критериев, включающего временные и стоимостные показатели прохождения потоков заданий и отражающего интересы пользователей, собственников ресурсов и особенности политики администрирования, принятой в виртуальной
организации. Обоснована возможность декомпозиции задач поиска оптимальной и эффективной комбинации слотов для выполнения системы заданий.
Литература
1. Garg S. K., Buyya R., Siegel H. J. Scheduling parallel applications on utility Grids: time and cost trade-off management // Proc. of ACSC 2009, Wellington, New Zealand. 2009. P. 151-159.
2. Bredin J., Kotz D., Rus D. Economic markets as a means of open mobile-agent systems // Proc. of the workshop «Mobile agents in the context of competition and cooperation (mac3)». 1999. P. 43-49.
3. Ailamaki A., Dash D., Kantere V. Economic aspects of cloud computing // Flash Informatique. Special HPC. 2009. 27 October. P. 45-47.
4. Buyya R., Abramson D., Giddy J. Economic models for resource management and scheduling in grid computing // J. of Concurrency and Computation: Practice and Experience. 2002. V. 14. № 5. P. 1507-1542.
5. Ernemann C., Hamscher V., Yahyapour R. Economic scheduling in grid computing // Proc. of JSSPP 2002 / Eds. D.G. Feitelson, L. Rudolph, U. Schwiegelshohn. Springer, Heidelberg. LNCS. 2002. V. 2537. P. 128152.
6. Kurowski K., Nabrzyski J., Oleksiak A., Weglarz J. Multicriteria aspects of Grid resource management // Grid resource management. State of the art and future trends / Eds. J. Nabrzyski, J.M. Schopf, and J. Weglarz. Kluwer Acad. Publ., 2003. P. 271-293.
7. Коваленко В. Н., Коваленко Е. И., Корягин Д. А., Семячкин Д. А. Управление параллельными заданиями в гриде с неотчуждаемыми ресурсами // Препринт № 63. - М.: ИПМ РАН им. М.В. Келдыша, 2007. -28 с.
8. Toporkov V. Application-level and job-flow scheduling: an approach for achieving quality of service in distributed computing // Proc. of PaCT-2009, Springer, Heidelberg. LNCS. 2009. V. 5698. P. 350- 359.
9. Toporkov V. V. Job and application-level scheduling in distributed computing // Ubiquitous Computing and Communication J. Applied Computing. 2009. V. 4. № 3. P. 559-570.
10. Топорков В. В. Модели распределенных вычислений. - М.: ФИЗМАТЛИТ, 2004. -320 с.
11. Топорков В. В. Декомпозиционные схемы синтеза стратегий планирования в масштабируемых системах // Изв. РАН. ТиСУ. 2006. № 1. С. 82-93.
12. Toporkov V. V., Tselishchev A. S. Safety scheduling strategies in distributed computing // Int. J. of Critical Computer-Based Systems. 2010. V. 1. № 1/2/3. P. 41-58.
13. Воеводин Вл. В. Решение больших задач в распределенных вычислительных средах // АиТ. 2007. № 5. С. 32-45.
14. Топорков В. В. Потоковые и жадные алгоритмы согласованного выделения ресурсов в распределенных системах // Изв. РАН. ТиСУ. 2007. № 2. С. 109-119.
15. Toporkov V. V., Toporkova A., Tselishchev A., Yemelyanov D., Bobchenkov A. Economic models of scheduling in distributed systems // Monographs of System Dependability: Dependability of Networks. Vol. 2 / Eds. T. Walkowiak, J. Mazurkiewicz, J. Sugier, and W. Zamojski. Wroclaw: Oficyna Wydawnicza Politechnki Wroclawskiej, 2010. P. 143-154.
УДК 681.306.001.2
ПРОЦЕССОР-УСКОРИТЕЛЬ АВТОМАТИЧЕСКОЙ ТРАССИРОВКИ СОЕДИНЕНИЙ МЕЖДУ ЭЛЕМЕНТАМИ НА ПЛОСКОСТИ
Е. И. Артамонов, д. т. н., профессор Тел.: 334-91-29, e-mail: eiart@ipu.rssi.ru И. В. Коновалов, аспирант Тел.: 334-91-29, e-mail: Ivan-k85@mail.ru Т. А. Ничипирович, научный сотрудник Тел.: 334-91-29, e-mail:eiart1@yandex.ru Е. В. Тишкевич, аспирант Тел. 334-91-29, e-mail: eiart@ipu.ru,
Институт проблем управления им. В. А. Трапезникова РАН http://lab18.ipu.rssi.ru
This paper examines the features of building processor-accelerators intended for the solving of problems of automatic routing of connections between elements on a plan. The comparative charac-
