CC BY
23
Сведения об авторах
— НИИ Наукоемких компьютерных технологий Санкт-Петербургского государственного университета информационных технологий, механики и оптики; младший научный сотрудник;
E-mail: denis.nasonov@gmail.com
— канд. техн. наук; НИИ Наукоемких компьютерных технологий Санкт-Петербургского государственного университета информационных технологий, механики и оптики; старший научный сотрудник; E-mail: Sergey.v.ivanov@rambler.ru
— д-р техн. наук, профессор; НИИ Наукоемких компьютерных технологий Санкт-Петербургского государственного университета информационных технологий, механики и оптики; директор; E-mail: avb_mail@mail.ru
Поступила в редакцию 15.05.11 г.
УДК 681.3.069, 681.324
К. В. Князьков
ОСОБЕННОСТИ РАБОТЫ С ПОТОКАМИ ЗАДАЧ ДЛИТЕЛЬНОГО ИСПОЛНЕНИЯ В РАМКАХ КОНЦЕПЦИИ iPSE
Рассмотрены особенности применения модели потоков заданий длительного исполнения для повышения эффективности вычислительных экспериментов с динамически изменяющимися параметрами в распределенной среде.
Ключевые слова: потоки заданий, задания длительного исполнения, методы коммуникаций, динамическое управление исполнением, усвоение данных.
Перспективы развития технологий решения мультидисциплинарных задач компьютерного моделирования в распределенных средах определяются возможностями абстрактного описания структуры композитных приложений в форме, не зависящей от низкоуровневой вычислительной архитектуры. Для этого применяется формализм потоков заданий (workflow, WF), описывающий сценарий вычислительного эксперимента в виде направленного ациклического графа, узлами которого являются задания, а ребра представляют зависимости (по данным и по управлению) между заданиями. В большинстве случаев система исполнения WF основывается на модели запуска в пакетном режиме, в соответствии с которой WF и его задания после запуска переходят в режим непрерывного исполнения без возможности их модификации и взаимодействия с ними [1]. Однако существует ряд задач, которые сложно адаптировать к пакетному режиму работы без снижения эффективности использования ресурсов. В основном они характеризуются непрерывным поступлением данных в распределенную среду через внешние источники, при котором условия эксперимента могут динамически изменяться в ходе функционирования WF без его перезапуска (см., например, [2]). В настоящей работе рассматриваются возможности использования расширенной модели WF длительного исполнения (long running WF, LRWF) для динамического управления процессом вычислений в облачной среде на основе многофункциональной инструментально-технологической платформы (МИТП) CLAVIRE (CLoud Applications VIRtual Environment), разрабатываемой в рамках концепции iPSE [3].
Модель LRWF имеет следующие характерные особенности:
Денис Александрович Насонов
Сергей Владимирович Иванов
Александр Валерьевич Бухановский
Рекомендована НИИ НКТ
98
К. В. Князьков
— поддержка задании длительного исполнения, время жизни которых ограничено не условиями расчетов внутри WF, а временем работы самой распределенной среды;
— поддержка коммуникации между заданиями одного WF во время исполнения;
— возможность изменения WF во время исполнения за счет сценария WF, а также за счет внешнего управления.
На рисунке приведены схемы WF для задачи поддержки принятия решений в области предотвращения наводненческой ситуации [4] c периодическим усвоением данных наблюдений. Слева (а) представлена схема WF пакетного исполнения, справа (б) — WF длительного исполнения. Рассмотрим подробно второй вариант (серые блоки на рисунке обозначают задания длительного исполнения). Задание Init отвечает за передачу в модель начальных условий; Updater отвечает за получение извне актуальных данных и передачу их в блок ассимиляции; Assimilation подготавливает данные для усвоения в вычислительной модели; Model — процесс моделирования динамики уровня и течений, результатом которого является прогноз; Visualization призван визуализировать актуальное состояние модели. Группа заданий Analysis—Model—Decision начинает свою работу по условию генерации сигнала, который может быть сформирован в задании Model вследствие изменения контрольного параметра расчета (достижения прогнозируемым уровнем значения, критического для наступления наводнения). Сценарий работы при этом следующий: запускается задача анализа (Analysis) текущей ситуации по данным модели, определяются варианты воздействий на моделируемую систему (которые могут нормализовать ситуацию), далее производится запуск нескольких заданий просчета модели путем варьирования параметров и в итоге вызывается модуль оценки и отображения возможных решений (Decision). Из схемы видно, что первым запустится задание длительного исполнения Model.
а)
Данные х» ркчстл
а t\
б)
Visualization
№
Model 4—
Ana ysis
1 i
Model
Dec sion
Visualization
Init
A limitation a........ Updater
Model
Visualization
Analysis
Model
Decision .........
Visual izalicm
Уыиинк в#01ЯО«ПНИ
Ком чуникициинния швисииш ть * tman и тн чт-пч уп/н/лнгиию
Щ Чаччс ишичт- «и Оонаыч
Модель LRWF позволяет не только упростить представление WF для задач с динамически изменяемыми условиями расчета, но и более эффективно использовать имеющееся оборудование за счет сокращения накладных расходов при запуске однотипных задач в
различных WF. Такой подход дает возможность производить автоматическую репликацию и балансировку нагрузки на ресурсы на уровне системы исполнения.
Для оценки эффективности модели LRWF в терминах временных издержек расчета в распределенной среде в качестве примера рассмотрим сценарий, когда существуют источник последовательно поступающих данных и задание обработки этих данных, которое сохраняет результаты обработки в хранилище (при этом данные должны быть обработаны строго последовательно). Данные поступают частями объемом Ь, с постоянным периодом времени I (что соответствует задаче усвоения, см. рисунок) непрерывно; общее время передачи данных источником — Т. В этом случае мера эффективности LRWF (по сравнению с пакетным WF)
определяется нижнеи оценкой временных изде
5 =
I -1
bt
ржек:
I + ь),
где Тр — время на подготовку к запуску одного задания (выбор ресурса, работа адаптеров ресурсов и пакетов), Tf — время на завершение задания (обработка результатов, очистка служебных ресурсов и пр.). Параметры в соотношении определяются по результатам измерения времени работы МИТП CLAVIRE. Так, для задачи предотвращения наводненческой ситуации в среднем 5 = 50—80 с, что ощутимо влияет на реактивность распределенной среды в целом.
Модель LRWF, помимо повышения эффективности, в ряде аспектов упрощает технологическую реализацию основных положений концепции iPSE. В частности, она позволяет модифицировать описание прикладных пакетов на языке EasyPackage за счет формализации методов коммуникации [5]. Возможности по управлению заданиями определяются в терминах сигналов и слотов (модель издатель—подписчик) путем описания поддерживаемых слотов и их соотношения с механизмами управления пакетом. В свою очередь, это расширяет язык EasyFlow за счет добавления команд генерации сигнала с параметрами и возможностей: объявления коммуникационной зависимости и обработчиков слотов, параметризации зависимости по управлению. Вместе с тем использование модели LRWF существенно усложняет процедуру планирования, поскольку в этом случае производительность сильно зависит от характеристик каналов связи и способов передачи данных.
Для проведения экспериментальных исследований применимости модели LRWF реализован прототип альтернативной системы исполнения для МИТП CLAVIRE (язык программирования — Erlang, платформа — OTP). Экспериментальные исследования в целом подтвердили качественные оценки эффективности модели и целесообразность ее практического применения.
Работа выполнена в рамках проектов по реализации Постановлений № 218 и 220 Правительства Российской Федерации при поддержке ФЦП „Научные и научно-педагогические кадры инновационной России на 2009—2013 гг.".
СПИСОК ЛИТЕРАТУРЫ
1. Deelman E., Gannon D., Shields M., Taylor I. Workflows and e-science: An overview of workflow system features and capabilities // Future Generation Computer Systems. 2009. Vol. 25, N 5. P. 528—540.
2. Lawenda M., Okon M., Oleksiak A., Ludwiczak B., Piontek T., Pukacki J., Meyer N., Nabrzyski J., Stroinski M. Running Interactive Jobs in the Grid Environment // Parallel Proc. and Appl. Math. Lecture Notes in Computer Sci. 2006. Vol. 3911/2006. P. 758—765.
3. Бухановский А. В., Ковальчук С. В., Марьин С. В. Интеллектуальные высокопроизводительные программные комплексы моделирования сложных систем: концепция, архитектура и примеры реализации // Изв. вузов. Приборостроение. 2009. Т. 52, № 10. C. 5—24.
4. Бухановский А. В., Житников А. Н., Петросян С. Г., Слоот П. М. А. Высокопроизводительные технологии экстренных вычислений для предотвращения угрозы наводнений // Там же. 2011. Т. 54, № 10. C. 14—20.
100
А. В. Сысоев
5. Князьков К. В., Ларченко А. В. Предметно-ориентированные технологии разработки приложений в распределенных средах // Там же. С. 36—43.
Константин Валерьевич Князьков
Сведения об авторе НИИ Наукоемких компьютерных технологий Санкт-Петербургского государственного университета информационных технологий, механики и оптики; младший научный сотрудник; E-mail: constantinvk@gmail.com
Рекомендована НИИ НКТ
Поступила в редакцию 15.05.11 г.
УДК 519.853.4
А. В. Сысоев
О ПОСТРОЕНИИ СЕМЕЙСТВА МНОЖЕСТВЕННЫХ РАЗВЕРТОК НА ОСНОВЕ КРИВЫХ ПЕАНО ДЛЯ ПАРАЛЛЕЛЬНОГО РЕШЕНИЯ ЗАДАЧ ГЛОБАЛЬНО-ОПТИМАЛЬНОГО ПОИСКА
Предложена схема построения модифицированной множественной развертки на основе кривых Пеано. Схема позволяет многократно увеличить число используемых процессоров для параллельного решения задач глобально-оптимального поиска.
Ключевые слова: кривые Пеано, множественная развертка, параллельные вычисления, задачи глобальной оптимизации, модифицированная множественная развертка.
Отображения, называемые кривыми (развертками) Пеано, сопоставляют любой липши-цевой в гиперкубе Р = {у е : - 2-1 < у < 2-1, 1 < г < N} функции ф(у) одномерную функцию ф( у( х)), удовлетворяющую на отрезке [0, 1] равномерному условию Гельдера с показателем 1/N.
Алгоритм вычисления кривой Пеано с любой заданной точностью подробно описан, например, в работе [1]. Требуемая точность указывается целым числом М(номерразбиения), которое определяет допустимую максимальную погрешность оценки каждой координаты кривой у(х) для любого заданного значения аргумента х, равную 2-(М+1). Значения точек кривой сопоставляют равномерной с шагом 2-лМ сетке на отрезке [0, 1] равномерную с шагом 2-М сетку в гиперкубе Р.
Редукция многомерных задач глобальной оптимизации к одномерным с помощью разверток сохраняет непрерывность и равномерную ограниченность разностей при ограниченной вариации аргумента, однако теряет часть информации о близости точек в многомерном пространстве, поскольку у точки х на отрезке [0, 1] имеются две соседние точки, тогда как у соответствующей ей точки у(х) е Р — соседние по 2N направлениям.
Возможен следующий способ учета этой информации [2]. Вводится гиперкуб
Р0 ={у е ^ : - 2-1 < у < 3 • 2-1, 1 < I < ^ (1)
с длиной ребра, равной двум, и семейство гиперкубов
Р ={у е ^ : - 2-1 < у + 2-/ < 3 • 2-1, 1 < I < ^ ,1 < / < Ц (2)
где гиперкуб Р/+1 получается путем сдвига гиперкуба Р1 вдоль главной диагонали на шаг -2-/ по каждой координате, и для каждого гиперкуба Р/, 0 < / < Ц, вводится своя развертка у/(х)
