CC BY
28
УДК 004.4'22, 681.324
ИНСТРУМЕНТАЛЬНАЯ ОБОЛОЧКА ПРОЕКТИРОВАНИЯ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ПРИЛОЖЕНИЙ В СРЕДЕ ГРИД. ЧАСТЬ III: ПРИОБРЕТЕНИЕ И ФОРМАЛИЗАЦИЯ ЗНАНИЙ А.В. Дунаев, А.В. Ларченко, А.В. Бухановский
Обсуждается проблема приобретения, представления и формализации знаний о производительности вычислительных сервисов в среде Грид. Рассмотрена иерархия аналитических моделей, описывающих время работы в форме детерминированной функции случайных аргументов - параметров среды Грид. Предложен способ косвенного приобретения знаний с использованием индуктивной программы имитационного моделирования параллельных вычислительных процессов в Грид. Представлен способ определения вероятностных характеристик параллельного ускорения на основе знаний о вероятностном распределении времени работы приложения.
Ключевые слова: Грид, проектирование, интеллектуальная система, высокопроизводительные вычисления.
Введение
Интеллектуальные технологии проектирования высокопроизводительных композитных приложений в среде Грид [1-3] основываются на знаниях о параллельной производительности прикладных Грид-сервисов (ПГС) как предметно-ориентированных вычислительных компонентов, зарегистрированных в Грид и доступных другим приложениям и сервисам. Эти знания включают в себя метазнания (информацию о структуре закономерностей, условия применимости, решающие знания), а также собственно предметные знания, или факты, в форме конкретных моделей производительности, таблиц и аппроксимаций, связывающих время выполнения задачи с характеристиками входных и выходных данных и параметрами вычислительной среды.
Приобретение таких знаний (как процесс их передачи от эксперта или извлечения из других источников в базу знаний интеллектуальной системы [4]) в Грид имеет существенное отличие по сравнению с монопольными вычислительными средами. Оно состоит в том, что отдельные ПГС разрабатываются и поддерживаются специалистами в различных предметных областях, принадлежащими к различным научным школам. Как следствие, разработчик ПГС является единственным (и узкоспециализированным) экспертом в области функционирования этого ПГС; при этом уровень представления экспертных знаний существенно варьируется в зависимости от квалификации разработчика в области высокопроизводительных вычислений. Таким образом, задача обоснования архитектуры композитного приложения, требующая использования нескольких ПГС, приводит к необходимости объединения знаний, полученных в неоднородной группе экспертов, что делает затруднительным применение традиционных методов инженерии знаний [5, 6].
Процесс приобретения знаний о производительности приложений в Грид дополнительно осложняется коммунальным характером вычислительной архитектуры, что значит, что физическая инфраструктура может использоваться другими программными средствами (пользователями) одновременно с таковыми в Грид. Как следствие, такие характеристики, как количество и производительность вычислительных узлов, структура и пропускная способность коммуникаций случайным образом меняются во времени [7]. Потому экспертные знания, отражающие специфику вычислительного алгоритма ПГС, искажаются при его исполнении в Грид. Для приобретения таких знаний в условиях неопределенности необходимо использовать косвенные методы, основанные на обработке данных экспериментальных измерений производительности ПГС. Получать такие данные можно путем накопления результатов измерений по предыдущим запускам ПГС, а для редких (ненаблюдаемых) ситуаций - посредством индуктивных
программ имитационного моделирования вычислительных процессов в Грид. Данная статья посвящена вопросам формализации и приобретения знаний о производительности приложений в Грид в условиях неопределенности, обусловленной стохастическим характером вычислительной среды.
Аналитические модели параллельной производительности в Грид
Аналитические модели в форме зависимости Т = / (2, П) времени выполнения Тп от характеристик задачи 2 и параметров вычислительной системы П используются для исследования характеристик параллельных алгоритмов для традиционных (например, кластерных) архитектур [8, 9]. Учет стохастичности набора параметров П позволяет интерпретировать ТП в форме детерминированной функции случайных аргументов и использовать для ее описания и анализа соответствующие методы теории вероятностей [10].
Одной из наиболее простых моделей производительности вычислений в Грид является сетевой закон Амдала, где коэффициент деградации вычислений т - случайная величина:
Тр = То (1 + т • р). (1)
р Р
Здесь Тр - время вычислений на р вычислителях (целевых системах), Т0 - время вычислений на ПГС на пользовательской системе (вне Грид). Модель (1) требует однородности целевых систем и коммуникаций между ними. Ее характерной особенностью является гомоскедастичность, выраженная в том, что в зависимости от р изменяется
только математическое ожидание М[Т ], а дисперсия времени выполнения остается постоянной.
Построение более сложных моделей параллельной производительности требует конкретизации структуры параллельного алгоритма и входных данных. Это позволяет выразить время выполнения задачи через удельные времена выполнения коммуникационной операции и вычислительной операции . Например, для параллельного алгоритма, распределяющего массив из N данных между р вычислителями с целью расчета М величин на каждом и последующего их сбора на одном узле, модель времени выполнения принимает вид
Тр = ( + рМ) + \, (2)
р
где - случайная величина. Модель (2) описывает однородную вычислительную систему, в которой характеризует усредненную пропускную способность коммуникационной среды, которая случайным образом изменяется от запуска к запуску приложения одинаково для всех коммуникационных каналов. В отличие от (1), эта модель является гетероскедастической: с увеличением р дисперсия времени вычислений возрастает.
Выражение (2) является оценкой снизу для времени выполнения приложения, поскольку не учитывает коммуникационного дисбаланса, обусловленного тем, что пропускные способности коммуникационных каналов в Грид могут меняться асинхронно, т.е. ^) = + п , где пг- - гауссов случайный шум с заданными математическим ожиданием тп и среднеквадратичным отклонением ал. С учетом этого факта время работы приложения определяется как Тр = шах[Т ], где Т - время работы с каждым вычислителем.
¿=1, р
Оно также является гауссовой случайной величиной со средним значением тт и среднеквадратичным отклонением ат:
тт =
(+
Л
—+м р
N р
+ *с — , °т =
С N ^
(4)
— + м
V Р У
соответственно. Тогда закон распределения величины Тр (как максимума случайной выборки) асимптотически (при значительных р ) становится предельным распределением I типа (Гумбеля, или Фишера-Типпета) [11]
Ртс (х) = ехр[- ехр[- ар(X - Ър)]| , (5)
где коэффициенты
аР =
>/21п( Р)
Ър =
л/21п( Р)
- 1п(1п( р)) + 1п(4п)
^21п( р)
ат + тт
(6)
зависят от количества рабочих узлов р .
Рис. 1. Сопоставление аналитических моделей параллельной
производительности в Грид: 1 - сетевой закон Амдала (1); 2 - параметрическая модель (2); 3 - модель на основе теории экстремальных значений (5); 4 - экспериментальное распределение для настройки параметров моделей
На рис. 1 приведены результаты сопоставления аналитических моделей производительности (1), (2) и (5), построенных по результатам измерений производительности
тестового приложения на экспериментальном стенде на основе системы PEG1 [2]. Для корректности сопоставления при идентификации параметров всех трех моделей использовались только данные измерений T0 и T1.
Из рис. 1 следует, что мера различия моделей возрастает с увеличением количества вычислителей. Учет специфических факторов Грид в моделях приводит к увеличению оценки среднего времени работы приложения. При переходе от модели (2) к модели (5) изменяется тип распределения - оно становится асимметричным. При этом размах распределения (5) в целом меньше, чем распределения (2), поскольку учет коммуникационного дисбаланса позволяет уточнить оценку времени работы за счет выделения систематической составляющей - разности математических ожиданий оценок (2) и (5).
Модель (5) с коэффициентами (6) применима для описания вычислительных архитектур со стохастической изменчивостью производительности вычислителей и постоянной пропускной способностью коммуникаций [7]. Для более сложных случаев, когда стохастическое поведение свойственно одновременно и производительности узлов, и пропускной способности коммуникационной сети, класс экстремального распределения (5), по-видимому, сохраняется. Однако его коэффициенты уже не могут быть заданы в аналитическом виде. Потому для исследования таких систем необходимо применять методы имитационного моделирования.
Имитационное моделирование выполнения приложений в Грид
Для исследования производительности параллельных приложений в Грид-системах со сложной топологией, напрямую не описываемой аналитическими моделями, разработана система имитационного моделирования вычислительных процессов в Грид. Разработанная модель комбинирует элементы процессного и транзактного блочного имитационного моделирования и реализует средний уровень детализации процессов в Грид-среде [12], учитывая влияние большого числа факторов, ни один из которых не имеет лидирующего значения. Система имитационного моделирования позволяет задавать произвольные сетевые топологии, производительность и загруженность для вычислительных узлов, пропускную способность и загруженность для сетевых каналов, законы распределения для шума загруженностей вычислительных узлов и сетевых каналов. При этом на ее основе могут быть реализованы различные методы параллельной декомпозиции и связывания компонентов исследуемого приложения.
Для описания вычислительной задачи применяется специальная нотация, которая позволяет описывать любые программы со статической схемой выполнения. В описании используются 4 базовых элемента: send, calc, thread и threadGroup. Первые два задают элементарные операции передачи и обработки данных, а последние позволяют организовывать последовательные и параллельные потоки.
На рис. 2 приведена общая функциональная схема разработанной системы имитационного моделирования. Систему можно разделить на 2 слабо связанных блока - Балансировщик и Ядро. На вход Балансировщика подаются файл конфигурации среды Грид, объем входных и выходных данных, а также первоначальное описание вычислительной задачи, которое не указывает, на каких элементах Грид и какие именно действия должны быть выполнены. Помимо этого, пользователь задает метод балансировки и декомпозиции данных, который должен быть применен при уточнении описания вычислительной задачи и проецировании ее на элементы Грид. Далее уточненная схема вычислительной задачи вместе с конфигурацией среды Грид передается в исполнительный блок ядра системы, который является его организующим элементом. Он интерпретирует схему задачи и, используя блоки Сетевой канал и Вычислительный узел, производит имитацию работы приложения в среде Грид. Блоки Сетевой канал и Вычислительный узел производят учет работы элементов среды Грид, позволяя рассчиты-
вать время работы операций send и calc. Использование блока Линия времени позволяет при моделировании учитывать процессы разделения элементов инфраструктуры (сетевых каналов, вычислительных узлов, серверов Грид) между несколькими независимыми потоками действий и корректировать расчетное общее время работы схемы задачи.
Ч
Параметры среды
Схема работы программы i
Статистика имитации
I
Рис. 2. Функциональная схема системы имитационного моделирования
Результатом моделирования становится полное расписание выполнения схемы вычислительной задачи, которое передается блоку статистической обработки Сборщик статистики. Он производит расчет общего времени работы схемы задачи и дисбаланса времени выполнения параллельных потоков. Этот блок легко поддается расширению функциональности для получения дополнительных сведений о процессе работы задачи.
На рис. 3 представлена принципиальная схема имитационного процесса. Ее можно разделить на две тесно связанные составляющие: блочную схему выполнения процесса моделирования и линии учета времени выполнения.
Первая составляющая описывает элементарные действующие компоненты, такие, как блоки передачи данных, блоки выполнения операций, а также описывает отношения между элементарными компонентами - блоком последовательного объединения и блоком параллельного объединения. В блоке «Схема выполнения параллельного приложения» описывается сам параллельный алгоритм. Например, объединяющий блок Thread #1 устанавливает отношение последовательного выполнения между блоками Send #1, ThreadGroup и Send #4. Блок ThreadGroup устанавливает отношение параллельного выполнения между двумя блоками Thread #2 и Thread #3.
Помимо описания отношений, группирующие блоки Thread и ThreadGroup описывают порядок выполнения. Для приведенной схемы он будет выглядеть так: Send #1, (Send #2, Calc #2, Send #3 | Calc #1, Send #5) выполняются в параллельном режиме, Send #4. Необходимо обратить внимание на обязательный синхронизационный барьер, который всегда присутствует после блока ThreadGroup. Операции, следующие за ThreadGroup, не начнут выполняться, пока не выполнятся все потоки операций, входящие в состав ThreadGroup.
Схема выполнения параллельного приложения
Принципиальная схема учета времени выполнения операции |_
Рис. 3. Принципиальная схема работы программного симулятора
Схема выполнения, помимо задания отношений следования между элементарными блоками, задает характеристики элементарных блоков. К таким характеристикам можно отнести объем вычислений и идентификатор вычислительного узла, на котором будут производиться вычисления - для вычислительной операции calc; объем передаваемых данных и идентификатор сетевого канала, по которому будет производиться передача данных - для операции передачи данных send.
Вторая составляющая процесса имитационного моделирования (на рис. 3 отображена в виде блока «Принципиальная схема учета времени выполнения операций») позволяет производить подсчет времени работы операций, описанных схемой выполнения. Линии учета времени - это структуры, которые закрепляются за всеми элементами топологии, участвующими в процессе симуляции, и хранят данные о своей занятости тем или иным блоком схемы выполнения. На рисунке приведены четыре линии - две, относящиеся к вычислительным узлам, и две, относящиеся к сетевым каналам. На них схематично изображены прямоугольники, отражающие время выполнения того или иного элементарного блока с участием элемента топологии, за которым закреплена данная линия. Такой подход был применен для того, чтобы корректно учитывать взаимовлияние независимых, параллельно выполняющихся элементарных операций друг на друга посредством разделения элемента топологии. Подобные случаи часто встречаются при разделении сетевых каналов несколькими процессами передачи данных. Поэтому для учета влияния требуется во время моделирования производить синхронизацию процессов, выполняющихся параллельно, и вносить корректировки в конечное время выполнения того или иного блока схемы выполнения.
На рис. 4 приведены результаты сопоставления плотностей времени работы вычислительной задачи, рассчитанных на основе имитационной модели и стендовых экспериментов. На стенде Грид-среды вычислялась задача расчета климатических спектров морского волнения [14]. Стенд состоял из 6 целевых систем (вычислительных узлов) различной производительности и программного оснащения (ОС, различные сборки ПГС), 1 выделенного сервера Грид и 1 терминала пользователя, осуществляющего декомпозицию исходных данных, их посылку, получение и композицию результатов вычислений. Для объединения компьютеров была применена активно используемая локальная сеть. Так как большое число различных независимых источников стохастично-сти не позволяет использовать описанные аналитические модели, то единственным
способом моделирования процессов, происходящих при вычислении описанной задачи на стенде, является применение имитационной модели. Для составления файла описания Грид-среды были проведены специализированные тесты по измерению характеристик инфраструктуры стенда. Задача расчета климатических спектров морского волнения была описана в нотации системы имитационного моделирования.
т
1.6 -1.4 -1.2 -1 -0.8 -0.6 -
Эксперимент Имитационная модель
Время вычислений, с
Рис. 4. Сопоставление результатов моделирования с экспериментом
Из рис. 4 видно, что, хотя имитационная модель достаточно точно описывает процесс вычислений на стенде, она имеет заметные отклонения от экспериментальных результатов. Эти отклонения объясняются тем, что имитационная модель имеет средний уровень детализации и не отслеживает влияния таких низкоуровневых эффектов, как:
- работа библиотек шифрации и дешифрации передаваемых между узлами Грид данных;
- задержки при постановке задачи на выполнение;
- задержки при передаче сообщений по протоколу SOAP для обмена данными (в том числе управляющими).
Определение параллельного ускорения в Грид
Аналитические или имитационные модели производительности приложений в Грид позволяют оценить плотность распределения времени работы /Т (х). Помимо времени работы, важной характеристикой масштабируемости приложения является параллельное ускорение Бр. Классическое определение параллельного ускорения в виде
^ = Т0/ Тр (7)
не может быть использовано для непосредственного определения производительности в Грид по экспериментальным данным, поскольку значение Тр может изменяться от
запуска к запуску. Однако, интерпретируя (7) как детерминированную функцию случайной величины Тр, можно выразить плотность распределения параллельного ускорения через /Т (х):
Т
fs (x) = -i f
h. x
(8)
В качестве примера на рис. 5 приведены вероятностные характеристики параллельного ускорения, рассчитанного по методике (7)-(8) для композитного приложения, осуществляющего расчет климатических спектров морского волнения. Подробное опи-
x 10
1.8
0.4
0.2
0^ 0.8
x 10
x
сание приложения и оценки времени его работы на экспериментальном стенде - корпоративной Грид-системе, состоящей из 24 целевых систем на базе процессоров Intel Pentium D и Intel Core 2 Quad под управлением оболочки iPEG - приведены в работе [2]. Для различного количества вычислителей p рассчитывались распределения fT (х) посредством ядерной оценки с гауссовым ядром, по которым на основе (8) вычислялись математическое ожидание и характерные квантили (99%, 10% и 1% обеспеченно-стей).
Видно, что кривые характеристик параллельного ускорения имеют ярко выраженные максимумы (при p = 10-14), которые и определяют оптимальный режим выполнения задачи. При этом стохастическая изменчивость ускорения (выражаемая, например, в размахе распределения) возрастает по мере увеличения количества вычислителей p, достигая максимума в районе максимума математического ожидания ускорения (соответствующего оптимальному в среднем количеству вычислителей). Это связано с тем, что выбор оптимального количества вычислителей p* обусловлен балансом между выигрышем по времени за счет распараллеливания вычислительных операций и влиянием коммуникационных расходов. Как следствие, стохастическая изменчивость характеристик Грид в данном случае приводит к нарушению этого баланса как в одну, так и в другую сторону, что и влияет на степень разброса результатов измерений. По мере дальнейшего увеличения количества вычислителей, p >> p*, размах распределений ускорения уменьшается.
Рис. 5. Параллельное ускорение выполнения иллюстративного композитного приложения по обработке 8 000 спектров морского волнения в Грид: 1 - средние значения (эксперимент); 2 - математическое ожидание;
3 - квантиль 10%; 4 - квантиль 1%; 5 - квантиль 90%;
6 - оптимальное количество вычислителей для заданного уровня ускорения
Из рис. 5 также следует, что максимумы квантильных кривых ускорения смещаются в сторону большего значения р* по мере уменьшения их обеспеченности. Как следствие, для вычислений в Грид понятие оптимального количества процессоров р*, по-видимому, лишено смысла, поскольку является случайной величиной, условное распределение которого /Р (х | £) в общем случае зависит от ускорения £, на достижение которого ориентируется разработчик. Это заставляет перейти от безусловной ха-
рактеристики р* к вероятностной характеристике - усредненному оптимальному количеству вычислителей для заданного уровня ускорения:
Рк
Е Рк 1Л(Рк)(х)йХ
Р(*) = ^^^-. (9)
Е 1 )(х)^
к: Рк *
Величина (9) носит характер условного математического ожидания. По мере повышения уровня * величина Р*(*) также увеличивается; это связано с тем, что потенциально для получения большего ускорения требуется больше вычислителей Р .
С величиной (9) связана вероятность а, определяющая шанс получить ускорение не ниже заданного уровня * при выборе оптимального количества вычислителей: р*( *)
а= | Л (Рк)(. (10)
Таким образом, производительность параллельного приложения в Грид, в отличие, например, от традиционных кластерных систем, характеризуется тройкой взаимосвязанных величин (*, Р*, а) - заданного ускорения, оптимального количества вычислителей для его достижения и соответствующей вероятности а.
Заключение
Экспертные знания разработчиков ПГС, связывающие параллельную производительность со спецификой алгоритма, искажаются при исполнении сервиса в Грид в силу стохастического характера вычислительной среды. Для приобретения таких знаний в условиях неопределенности адаптировано семейство аналитических моделей, позволяющих обобщать данные экспериментальных измерений производительности ПГС, и разработана система имитационного моделирования, выступающая в роли индуктивной программы для интеллектуальных систем семейства PEG [1, 2]. Для интерпретации приобретаемых знаний в терминах параллельного ускорения предложен метод его определения на основе формализма детерминированной функции случайного аргумента.
Работа выполнена в рамках НИР 2007-4-1.4-20-01-025 «Разработка инструментальной оболочки проектирования высокопроизводительных приложений для Грид-архитектур в целях создания прикладных сервисов компьютерного моделирования и обработки данных».
Литература
1. Ларченко А.В., Дунаев А.В., Бухановский А.В. Инструментальная оболочка проектирования высокопроизводительных приложений в Грид. Часть I: Базовые положения // Научно-технический вестник СПбГУ ИТМО: Технологии высокопроизводительных вычислений и компьютерного моделирования. - 2008. - Вып. 54. -С. 29-36.
2. Ларченко А.В., Дунаев А.В., Бухановский А.В. Инструментальная оболочка проектирования высокопроизводительных приложений в Грид. Часть II: Архитектура, реализация и применение // Научно-технический вестник СПбГУ ИТМО: Технологии высокопроизводительных вычислений и компьютерного моделирования. - 2008. - Вып. 54. - С. 37-45.
3. Инструментальная оболочка поддержки принятия решений разработчика высокопроизводительных приложений в Грид / А.В. Дунаев, А.В. Ларченко, А.В. Бухановский // Научно-технические ведомости СПбГПУ. - 2008. - № 5. - С. 98-104.
4. Нечаев Ю.И. Искусственный интеллект: концепции и приложения. - СПб: Изд. СПбГМТУ, 2000. - 294 с.
5. Частиков А.П., Гаврилова Т. А., Белов Д. Л. Разработка экспертных систем. Среда CLIPS. — СПб: БХВ-Петербург, 2003. - 608 с.
6. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. -СПб: Питер, 2000. - 384 с.
7. Дунаев А.В., Ларченко А.В., Бухановский А.В. Моделирование параллельных вычислительных процессов в среде Грид на примере Intel Grid Programming Environment акселераторов // Параллельные вычислительные технологии (ПаВТ 2008): Труды международной научной конференции, Санкт-Петербург, 28 января -1 февраля, 2008. - Челябинск: Изд. ЮУрГУ, 2008. - C. 383-389.
8. Foster I., Kesselman C. The Grid: Blueprint for a New Computing Infrastructure. -Morgan-Kaufman, 1999.
9. Гергель В.П. Теория и практика параллельных вычислений: Учебное пособие. -М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2007.- 423 с.
10. Лившиц Н.А., Пугачев В.Н. Вероятностный анализ систем автоматического управления. - М.: Советское радио, 1963. - Т. 1. - 896 с.
11. Лидбеттер М., Линдгрен Г., Ротсен Х. Экстремумы случайных последовательностей и рядов. - М., Мир, 1989, 392 с.
12. Филиппович А.Ю. Интеграция систем ситуационного, имитационного и экспертного моделирования.- М.: Изд-во «ООО Эликс+», 2003. - 300 с.
13. Кельтон В.Д., Лоу А.М. Имитационное моделирование. Классика CS. - 3-е изд. -СПб: Питер, 2004. - 847 с.
14. Boukhanovsky A.V., Lopatoukhin L.J., Guedes Soares C. Spectral wave climate of the North Sea // Applied Ocean Research. - July 2007. - Vol. 29. - Issue 3. - Р. 146-154.
Дунаев Антон Валентинович
Ларченко Алексей Викторович
Бухановский Александр Валерьевич
Санкт-Петербургский государственный университет информационных технологий, механики и оптики, м.н.с., anton.dunaev@gmail.com Санкт-Петербургский государственный университет информационных технологий, механики и оптики, м.н.с., aleksey.larchenko@gmail.com Санкт-Петербургский государственный университет информационных технологий, механики и оптики, д.т.н., профессор, boukhanovsky@mail.ifmo.ru
