CC BY
132
Мультиагентные методы и инструментальные средства управления
в сервис-ориентированной распределенной вычислительной среде
1 И.В. Бычков <bychkov@icc.ru> 1 ГЛ. Опарин <oparin(a),icc.ru> 1 А.Г. Феоктистов <agf®,icc.ru> 1 В.Г. Богданова <bvg(q),icc.riï> 1 A.A. Пашинин <apcrol(q)smail.ru> 1 Институт динамики систем и теории управления СО РАН, 664033, Россия, г. Иркутск, ул. Лермонтова, д. 134.
Аннотация. В статье обсуждаются вопросы, связанные с обеспечением эффективного масштабирования потоков заданий, порождаемых проблемно-ориентированными распределенными вычислительными системами, в разнородных Grid с гибридными узлами. Рассматриваются мультиагентные методы и инструментальные средства нового поколения, обеспечивающие эффективное управление комбинированными потоками заданий масштабируемых сервис-ориентированных программных комплексов и балансировкой нагрузки вычислительных ресурсов исполнительной среды. Описывается высокоуровневый программный инструментарий для построения сервисов масштабируемых программных комплексов. Отличительной особенностью представленных методов и средств от известных является использование элементов экономической теории регулирования спроса и предложения ресурсов в согласованном мультиагентном управлении вычислениями для кластерной Grid с гибридными узлами, как на уровне Grid, так и на уровне приложений. Функции проблемно-ориентированной вычислительной среды (пользовательского приложения) оформляется в виде Grid-сервисов на основе применения технологии Web Services Resource Framework и шаблонов взаимодействия с локальными менеджерами ресурсов узлов Grid. Для создания программных агентов пользовательского приложения, предоставляющих эти функции, используется инструментальная среда Highperformance computing Service-oriented Multiagent System Framework, разработанная авторами. В качестве примеров организации проблемно-ориентированной вычислительной среды (пользовательского приложения) с помощью рассматриваемых в статье методов и средств приводится ряд научных сервисов для экспериментальной Grid. Анализируются результаты эффективности их функционирования.
Ключевые слова: проблемно-ориентированные распределенные вычисления; мультиагентное управление; сервисы; инструментальные средства.
1. Введение
В настоящее время одним из фундаментальных и практически важных направлений исследований по организации проблемно-ориентированных распределенных вычислительных систем является обеспечение эффективного масштабирования потоков заданий, порождаемых этими системами, в разнородных Grid с гибридными узлами. Задание представляет собой спецификацию процесса решения задач, содержащую информацию о требуемых вычислительных ресурсах, исполняемых прикладных программах, входных/выходных данных, а также другие необходимые сведения. Поток заданий в целом обладает целым рядом свойств, таких как мощность потока, порядок поступления заданий, количество заданий, поступающих в один момент времени, характер взаимодействия заданий, однородность заданий, платформонезависимость приложений для выполнения заданий и другие важные характеристики.
Предполагается, что масштабируемая проблемно-ориентированная распределенная вычислительная система (пользовательское приложение) включает набор прикладных программ для параллельного решения задачи с помощью различных вычислительных единиц (например, ядер) гибридных узлов кластерной Grid и порождает комбинированный поток заданий, объединяющий задания для этих прикладных программ. При этом вычислительная нагрузка, связанная с решением задачи, распределяется между вычислительными единицами гибридных узлов кластерной Grid, а время выполнения заданий комбинированного потока уменьшается обратно пропорционально количеству используемых вычислительных единиц с учетом их производительности в составе конкретного узла Grid. Создание системы управления комбинированными потоками заданий для распределенной вычислительной системы является нетривиальной и весьма актуальной проблемой. Для успешного решения этой проблемы необходимо, чтобы пользовательские приложения такого рода включали возможности, во-первых, мониторинга состояния узлов Grid (их доступности, готовности, надежности, параметров очередей, статусов запущенных заданий и др.) и гибкого управления заданиями (учета требований к вычислительной системе, запуска, рестарта и миграции заданий, поддержки механизмов создания контрольных точек), во-вторых, динамической декомпозиции исходной задачи на подзадачи на основе анализа алгоритмов решения задачи и вычислительных характеристик узлов, назначения этих узлов для решения в них подзадач и последующей генерации потоков заданий для прикладных программ, размещенных в выбранных узлах.
Традиционные метапланировщики Grid, например, GridWay [1], предоставляют средства только для реализации в том или ином виде первой категории вышеперечисленных возможностей для пользовательских приложений. Реализация же второй категории возможностей требует
разработки таких средств управления, которые могли бы получать и применять знания о специфике проблемной области решаемой задачи. Анализ мировых тенденций в области автоматизации решения прикладных задач в параллельных и распределенных вычислительных средах позволяет утверждать, что решение этой проблемы непосредственно связано с интеллектуализацией, так называемого, промежуточного программного обеспечения, позволяющего динамически интегрировать распределенные разнородные ресурсы в виртуальную исполнительную среду и предоставляющего возможности для прозрачного использования этой среды. Широко используемым на практике подходом к интеллектуализации промежуточного программного обеспечения является применение мультиагентных систем (MAC) для управления вычислениями [2]. Повышение качества управленческих решений в MAC зачастую достигается путем использования экономических механизмов регулирования спроса и предложения ресурсов распределенной вычислительной среды [3]. Можно выделить два основных подхода к мультиагентному управлению вычислениями [4]: взаимодействие MAC с локальными менеджерами ресурсов узлов Grid с целью оптимизации использования этих ресурсов и интеграция пользовательского приложения с MAC для выбора ресурсов с целью повышения эффективности решения задач этим приложением. В первом случае, как правило, использование MAC предполагает замену традиционных метапланировщиков, таких как, например, GridWay, специальными агентами управления вычислениями, обеспечивающими более эффективное распределение ресурсов. Однако, вследствие такой замены, каждый пользователь, не зависимо от его желания, становится глобальным пользователем, осуществляющим взаимодействие с ресурсами распределенной вычислительной среды только с помощью MAC. Таким образом, ограничиваются возможности широкого круга локальных пользователей, желающих решать свои задачи в конкретных узлах среды, без использования промежуточного "посредника". Кроме того, при управлении потоками заданий MAC на уровне Grid время выполнения отдельных приложений может увеличиваться, поскольку этим агентам не удается учесть ряд важных особенностей процесса решения задачи и пользовательских предпочтений, касающихся ресурсов. Во втором случае, при наличии большого числа приложений пользователей, использующих различные методы управления вычислениями, эффективность систем управления вычислениями может быть существенно снижена вследствие конкуренции агентов этих приложений за общие разделяемые ресурсы. Эта проблема во многом обуславливается тем, что сегодня нет более или менее известного стандартизированного инструментария, обеспечивающего построение системы управления для произвольной проблемно-ориентированной распределенной вычислительной системы.
В статье предлагаются мультиагентные методы и инструментальные средства организации проблемно-ориентированных вычислительных систем, обеспечивающие интеграцию двух рассмотренных выше подходов к управлению вычислениями в кластерной Grid. Предлагаемые методы и средства реализованы на основе парадигмы сервис-ориентированного программирования в рамках разрабатываемой в Институте динамики систем и теории управления (ИДСТУ) СО РАН САТУРН-технологии [5-7] построения интеллектуальных прикладных вычислительных систем и ее специализированных версий [8-10] для распределенных вычислительных сред.
2. Постановка задачи
Целью данной работы является разработка мультиагентных методов и инструментальных средств нового поколения, обеспечивающих эффективное управление комбинированными потоками заданий масштабируемых сервис-ориентированных программных комплексов и балансировкой нагрузки вычислительных ресурсов исполнительной среды. Эти разработки будут интегрированы в рамках единой технологии поддержки автоматизации процесса решения больших научных задач в современной кластерной Grid, узлы которой (кластеры) могут иметь сложную гибридную структуру. Исследование направлено на разработку высокоуровневых сервис-ориентированных информационно-вычислительных сред для прикладных специалистов, нацеленных на эффективное применение высокопроизводительных ресурсов без погружения в особенности низкоуровневого параллельного и/или распределенного программирования решаемой задачи. В таких средах построение параллельной (распределенной) крупноблочной программы на основе библиотеки специфицированных прикладных модулей и дальнейшее ее исполнение в распределенной среде производится автоматически по целевому содержательному запросу. Для достижения поставленной цели представленного исследования необходимо было решить следующие задачи: создать высокоуровневый программный инструментарий для построения сервисов масштабируемых программных комплексов, обеспечивающий различные способы доступа к сервисам и возможность комплексного использования этих сервисов в процессе решения большой научной задачи в кластерной Grid; реализовать автоматизированную систему конвертации пользовательских запросов к масштабируемым сервис-ориентированным программным комплексам в комбинированные потоки заданий и распределения этих потоков в вычислительной среде; разработать мультиагентные методы и средства управления комбинированными потоками заданий в разнородной кластерной Grid, обеспечивающие реализацию многоуровневого параллелизма алгоритма решения задачи с учетом гибридной структуры узлов исполнительной среды.
В качестве апробации результатов исследования разработан ряд научных сервисов для экспериментальной кластерной Grid ИДСТУ СО РАН, проведены анализ и оценка показателей эффективности их функционирования в этой среде.
3. Методы организации распределенных вычислений
В общем случае пользовательское приложение должно быть представлено библиотекой прикладных программ, включающей, наряду с программами, реализующими алгоритмы решения прикладных задач (далее - решателями), специализированные программные модули, предназначенные для декомпозиции задачи по данным, а так же для ряда препроцессорных и постпроцессорных обработок входных и выходных данных. В частном случае для организации многовариантных расчетов применяются автоматизированные переборные методы формирования вариантов (сочетаний) значений входных переменных решаемой задачи на основе заданных областей допустимых значений переменных и шагов изменения этих значений или используются списки файлов с варианты значений входных переменных, заданные пользователями. Применение таких методов возлагается на систему управления вычислениями.
Управление распределенными вычислениями в кластерной Grid реализуется MAC [10] с заданной организационной структурой. Координация действий агентов осуществляется с помощью общих правил группового поведения. Агенты функционируют в соответствии с заданными ролями, и для каяедой роли определены свои правила поведения в виртуальном сообществе агентов. MAC включает агентов постановки задачи, планирования вычислений, мониторинга и распределения ресурсов, классификации, конкретизации и выполнения заданий, а также управляющего агента. В разных виртуальных сообществах, возникающих в MAC, агенты могут координировать свои действия путем кооперации или соперничества. Агенты, представляющие пользовательское приложение, образуют виртуальное сообщество приложения (ВСП).
Распределение вычислительных ресурсов агентами базируется на использовании модели закрытого аукциона Викри [11]. По окончании торгов на таком аукционе агентами распределения ресурсов достигается согласованное устойчивое состояние, которое в определенной степени является аналогом равновесия по Нэшу в теоретико-игровых моделях [11].
Приложение пользователя оформляется в виде Grid-сервиса. К настоящему времени разработан широкий спектр инструментов для построения подобных сервисов [12]. Используемый в работе метод создания Grid-сервисов приложений базируется на сочетании технологий Web Services Resource Framework (WSRF) [13] и использовании шаблонов [14] взаимодействия с
локальными менеджерами ресурсов узлов Grid. Для создания В СП используется инструментальная среда High-performance computing Service-oriented Multiagent System (HpcSoMaS) Framework, разработанная авторами на основе этих технологий.
4. Архитектура инструментальной среды HpcSoMas Framework
В состав инструментальной среды HpcSoMaS Framework (рис. 1) входят: средства создания агентов на базе нейронных сетей; библиотека разработки сервисов на основе стандарта REST (Representational State Transfer) и протокола SOAP (Simple Object Access Protocol), а так же готовые сервисы, реализующие базовые функции агентов В СП, созданные на основе библиотечных классов и требующие для своего использования только конфигурационную настройку; графические средства проектирования сервисов; документация по используемым форматам файлов конфигурации сервисов. Использование стандарта REST обусловлено его возможностями для представления сервиса в виде клиент-серверного приложения, выполнения нересурсоемких работ в фоновом режиме, запуска потока на каждого клиента, компактностью пакетов запросов и ответов по сравнению с SOAP.
Существуют две категории пользователей рассматриваемой инструментальной среды: системные разработчики, квалификация которых позволяет модифицировать базовые возможности готовых сервисов при создании системной части программных комплексов, и специалисты-предметники, занимающиеся созданием функционального наполнения приложения и использующие специальные инструменты для его представления в виде сервиса. Для первой категории пользователей предоставляется режим работы с библиотекой разработки сервисов, предусматривающий ручное заполнение файлов конфигурации сервисов, доработку и компиляцию исходного программного кода шаблонов сервисов. Для второй категории пользователей предоставляется стандартный набор сервисов, для которых файлы настроек можно создавать и модифицировать, используя утилиты с графическим интерфейсом.
Рис.1. Инструментальная среда создания ВСП агентов.
В ВСП, разрабатываемых с помощью инструментальной среды HpcSoMaS Framework, можно выделить три уровня: уровень пользовательских агентов, представленный клиентами в браузере; уровень агентов-менеджеров, представленный сервисами, реализованными на основе стандарта REST; уровень реактивных агентов выполнения заданий, представленный сервисами, реализованными на основе протокола SOAP. Многоуровневая архитектура создаваемых ВСП позволяет локально заменять отдельные функциональные части этого сообщества и многократно их использовать в разных приложениях. Пользователи могут подключаться к любому из агентов-менеджеров через web-интерфейс пользовательского агента, доступный с компьютеров и мобильных устройств, подключенных к сети Интернет, при наличии учетной записи пользователя на ВК агента.
5. Вычислительный эксперимент
Сервисы пользовательских приложений были созданы для использования в разнородной кластерной Grid ИДСТУ СО РАН, включающей: однородный ВК «Blackford», 20 узлов, 40 CPU Quad-Core Intel Xeon E5345, общее число ядер 160; неоднородный ВК «Академик В.М. Матросов», 110 узлов, 220 CPU AMD Opteron 6276 «Bulldozer», общее число ядер 3520, узел с графическими процессорами NVidia С2070 («Fermi»); неоднородный ВК с GPU NVidia «Tesla», в состав которого входит 4 четырехъядерных процессора Intel Xeon Х5570 («Nehalem») и 8 GPU NVidia «Tesla» C1060 с общим числом потоковых ядер 1920; ВК ПЭВМ, 8 рабочих станций, 1 CPU AMD, общее число ядер 32. На каяедом ВК был установлен HTTP web-сервер, обеспечивающий доступ извне, для REST- и SOAP-сервисов использовался сервер ТошЕЕ, который представляет из себя модифицированный Apache Tomcat с добавленным в него функционалом JavaEE. На рис. 2. приведена схема размещения и функционирования ВСП в кластерной Grid ИДСТУ СО РАН. В качестве первого примера был реализован сервис для решения задачи построения области устойчивости в пространстве двух выбранных параметров К и Т регулятора замкнутой системы управления, описываемой
дифференциальным уравнением = Ах , где элементы матрицы А зависят
dt
от параметров К я Т. Эта задача сводится к решению множества независимых подзадач (проведению многовариантных расчетов) по определению устойчивости матрицы А при изменении значений параметров К и Т в заданных диапазонах Kmm < К < Ктах и 7mm < Т < с шагом АК и АТ соответственно. Путем варьирования значений параметров К и Т строится числовая сетка, на основе которой формируется множество подзадач. Для выполнения задания локальный агент запускает приложение, реализующее схему вычисления собственных значений произвольной плотной матрицы с использованием алгоритмов, представленных в работе [15]. Необходимым условием решения исходной задачи является выполнение задания для решения каяедой подзадачи.
А
Пользователь
{UK- *
С<р1ШСЫ I
Soitp-
OqjiUCU
ВК "Ufacfoni"
web-
---X= _
Агект-
ВиимидсСклцк с СУПЗВК
Решотель
Мониторинг
ВК
ПСПЫОМТСИ
ДеЬйМПО^ИШЛ tUUffill
Рабом с пи.пьнюлЕС-зеГ:
ВК "Аидаок
Матросов"*
web- 11
герфейс J
- -t - ■■
Агент-М«НШф
ВК H&U-№
wit 1 интерфейс J
хснсдхср
ВК ПЭВМ
web-
¡ипгерфеис
- 4 - -
Агент-|КК№р
ReU-tepAItt
Wtb-ттерфеЛс
Рис. 2. Схема размещения и функционирования ВСП в кластерной Grid ПДСТУСО
РАН.
В качестве второго примера реализован сервис для решения SAT-задач (задач выполнимости булевых ограничений) путем проведения многовариантных расчетов на основе декомпозиции исходной задачи с помощью метода расщепления [16]. В этом случае многовариантные расчеты могут выполняться в режиме динамического выбора ресурсов. В вычислительных экспериментах использовались как существующие SAT-решатели с открытой лицензией, так и разработанные авторами решатели [17, 18]. В первом примере сервис приложения предназначен для реализации многовариантных расчетов с использованием статического выбора ресурсов. Очевидно, что для задач такого вида преимущество рассмотренных выше средств мультиагентного управления по сравнению с традиционными менеджерами ресурсов незначительно. Во втором же примере сервис приложения предназначен для реализации многовариантных расчетов в режиме динамического выбора ресурсов. В этом случае, предлагаемые средства мультиагентного управления вычислениями позволяют существенно сократить время решения задачи по сравнению с традиционными менеджерами ресурсов за счет выбора наиболее оптимальных решателей и
наименее загруженных вычислительных ресурсов, соответствующих этим решателям (табл. 1). В таблице приведены результаты решения задачи Эйлера о ходе шахматного коня (незамкнутое движение) под управлением традиционного менеджера ресурсов и под управлением В СП, обеспечивающего возможность динамического перераспределения подзадач при появлении свободных ресурсов. Приводится среднее и минимальное время для серии из 100 запусков задач.
Табл.1. Сравнение времени решения ваизадачи при распределении потока заданий традиционным менеджером ресурсов (МР) и ВСП.
Среднее время решения sat-задачи, с. Минимальное время решение sat-задачи, с.
КНФ Число переменных/ дизъюнктов MP ВСП MP ВСП
knight8 4096/491024 183.0 132.0 61.0 0.6
knight9 6561/1007603 499.0 359.0 282.0 199.0
knight 10 10000/1913276 3599.0 2464.0 651.0 276.0
Третий сервис предназначен для организации многовариантных расчетов при исследовании систем массового обслуживания в среде имитационного моделирования GPSS World [19]. Необходимость проведения таких исследований периодически возникает, например, в региональных складских логистических комплексах. В числе решаемых задач: моделирование погрузочно-разгрузочных работ, моделирование технического обслуживания спецтехники и автотранспорта, построение расписаний обслуживания плановых клиентов с учетом потоков случайных заявок на обслуживание, разработка моделей обслуживания клиентов с различными уровнями обслуживания, прогнозирование процессов сдачи складских объектов в аренду, анализ фондоемкости торгово-складских услуг. Решение перечисленных выше задач требует проведения многовариантных расчетов. Учитывая стохастичность моделируемых процессов, для каждого варианта нужно выполнить достаточно большое число прогонов с тем, чтобы добиться требуемой степени достоверности результатов. Дальнейшее развитие сервиса предполагает расширение его функций функциями планирования вычислительного эксперимента, анализа и интерпретации результатов моделирования.
6. Имитационное моделирование функционирования Grid
С целью более полного исследования рассмотренных выше методов и инструментальных средств проведено имитационное моделирование функционирования Grid с помощью системы GPSS World. Моделируемая система включала 10 кластеров с числом ядер от 6000 до 14000 единиц и 300 пользователей. Общее число ядер составляло 100000 единиц. Число доступных ядер в экспериментах изменялось от 80000 до 100000. Выбранная конфигурация моделируемой вычислительной среды по своим параметрам достаточно адекватно отражает характеристики российских суперкомпьютеров, входящих в официальный список 500 мощнейших компьютеров мира [20]. Кластеры включали гибридные узлы, поддерживающие различные технологии параллельного программирования. При проведении имитационного моделирования предполагалось, что задания пользователей на уровне Grid могут быть выполнены на любом кластере, а для каждого приложения локального пользователя кластеров (ЛПК) имеются уникальные решатели, реализованные с учетом вычислительных особенностей узлов кластеров, в которых эти решатели установлены. При имитации времени выполнения задания на кластерах применялись коэффициенты ускорения счета, значения которых для разных кластеров варьировались от 1 до 1.5 в зависимости от вычислительных характеристик этих кластеров. Моделируемый период времени работы системы - 30 суток. За этот период обработано 12990 потоков заданий как пользователей на ровне Grid, так и локальных пользователей кластеров. Эти потоки включали от 1000 до 10000 процессов для параллельных программ или заданий для многовариантных расчетов. В качестве метапланировщиков Grid использовались GridWay или MAC [10], а распределение ресурсов для приложений локальных пользователей осуществлялось самими пользователями или В СП. Интервал перераспределения ресурсов (RESCHEDULINGINTERVAL) как для GridWay, так и для ВСП был равен 5 мин. Дисциплина обслуживания очередей заданий - FCFS (First Come, First Served) с приоритетами. В качестве основных наблюдаемых переменных имитационной модели использованы следующие показатели: среднее число navg заданий в очереди кластера, среднее время tavg пребывания задания в очереди кластера и средний коэффициент kavg полезного использования узлов кластеров, среднеквадратическое отклонение а коэффициент полезного использования узлов кластеров.
Таблица 2. Результаты моделирования для 100000 доступных ядер.
Показатель Менеджер ресурсов: уровень Grid, уровень приложения
GridWay, ЛПК MAC, ЛПК MAC, ВСП
navg, единиц 520.362 98.071 53.859
¿avgi сек. 701.750 286.184 170.183
k-avg? % 0.690 0.616 0.647
О" 0.005 0.003 0.002
Результаты моделирования (табл. 2), показывают, что применение ВСП совместно с MAC может существенно улучшить выбранные показатели функционирования достаточно большой кластерной Grid по сравнению как с метапланировщиком GridWay, так и с самой MAC. Во многом это обуславливается следующим обстоятельством: когда вместо миграции задания по выполнению программы с одного кластера на другой требуется генерация нового задания для выполнения другой программы, метапланировщики на уровне Grid не могут выполнять подобные действия, так как не обладают всей необходимой информацией о проблемной области решаемой задачи пользователя. При разработке ВСП пользователь имеет возможность снабдить агентов нужными знаниями. Используемый в MAC и ВСП алгоритм распределения ресурсов на основе экономических механизмов регулирования их спроса и предложения позволяет осуществлять положительное влияние на балансировку загрузки ресурсов, о чем свидетельствует уменьшение показателя а. Уменьшение значения среднего коэффициента kavg полезного использования узлов кластеров в третьем и четвертом столбцах табл. 2 по сравнению со значением во втором столбце объясняется сокращением общего времени выполнения всех потоков заданий за счет учета агентами MAC и ВСП коэффициентов ускорения счета на кластерах при распределении в них заданий и тем самым увеличения числа заданий с нулевым временем ожидания в очереди.
7. Заключение
В статье рассмотрены новые мультиагентные методы и инструментальные средства управления комбинированными потоками заданий в разнородной кластерной Grid, обеспечивающие реализацию многоуровневого параллелизма алгоритма решения задачи с учетом гибридной структуры узлов исполнительной среды. Отличительными особенностями этих методов и средств от известных являются: использование элементов экономической теории регулирования спроса и предложения ресурсов в согласованном мультиагентном управлении вычислениями для Grid с гибридными узлами, как на уровне Grid, так и на уровне приложений; реализация агентов ВСП в 76
виде сервисов. Также следует отметить, что при взаимодействии с ресурсами
Grid агенты на обоих уровнях используют команды локальных менеджеров
ресурсов, доступные любому пользователю, запускают задания через общие
очереди кластеров Grid и не влияют на их административные политики.
Список литературы
[1]. Herrera J., Huedo Е., Montero R., Llorente I. Porting of Scientific Applications to Grid Computing on GridWay // Scientific Programming. 2005. Vol. 13. No. 4. P. 317-331.
[2]. Durfee E.H. Distributed Problem Solving and Planning // Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence / Ed. by G. Weiss. MIT Press, 1999. P. 121-164.
[3]. Market-Oriented Grid and Utility Computing / Ed. by R. Buyya, K. Bubendorfer. Wiley & Sons, 2010.643 p.
[4]. Топорков B.B. Модели распределенных вычислений. M.: Физматлит, 2004. 320 с.
[5]. Опарин Г.А. Сатурн - метасистема для построения пакетов прикладных программ //Пакеты прикладных программ. Методы и разработки. Новосибирск: Наука, 1982. С. 130-160.
[6]. Лавров С., Левин Д., Матулис В., Мацкин М., Нариньяни А., Опарин Г., Тыугу Э., Хорошевский В. Технологические системы поддержки разработок искусственного интеллекта // Представление знаний в человеко-машинных и робототехнических системах. М.: ВЦ АН СССР; ВИНИТИ, 1984. Т. В. С. 102-123.
[7]. Опарин Г.А., Феоктистов А.Г., Феоктистов Д.Г., Журавлев А.Е. Инструментальные средства построения и эксплуатации пакетов знаний // Управляющие системы и машины. 1997. № 1-3. С. 138-143.
[8]. Опарин Г.А., Феоктистов А.Г. Инструментальная распределенная вычислительная САТУРН-среда // Программные продукты и системы. 2002. № 2. С. 27-30.
[9]. Васильев С.Н., Опарин Г.А., Феоктистов А.Г., Сидоров НА. Интеллектные технологии и инструментальные средства создания вычислительной инфраструктуры в сети Интернет // Вычислительные технологии. 2006. Т. 11. № S8. С. 34-44.
[10]. Bogdanova V.G., Bychkov I.V., Korsukov A.S., Oparin G.A., Feoktistov A.G. Multiagent Approach to Controlling Distributed Computing in a Cluster Grid System // Journal of Computer and Systems Sciences International. 2014. Vol. 53. No. 5. Pp. 713— 722. DOI: 10.1134/S1064230714040030.
[11]. Николенко С.И. Теория экономических механизмов. М.: Интуит.ру; Бином. Лаборатория знаний, 2009. 207 с.
[12]. Buyya R., Vecchiola С., Selvi S.T. Mastering Cloud Computing. Burlington, Massachusetts, USA: Morgan Kaufmann, 2013. 469 p.
[13]. Czajkowski K., Ferguson D.F., Foster I., Frey J., Graham S., Sedukhin I., Snelling D., Tuecke S., Vambenepe W. The WS-Resource Framework. Version 1.0. http: //www. globus, org/wsrf/spec s/ws-wsrf. pdf.
[14]. Бычков И.В., Опарин Г.А., Феоктистов А.Г., Богданова В.Г., Корсуков А.С. Сервис-ориентированный подход к организации распределенных вычислений с помощью инструментального комплекса DISCENT // Информационные технологии и вычислительные системы. 2014. № 2. С. 7-15.
[15]. Wilkinson J.X., Reinsch С. Handbook for Automatic Computation. Volume II: Linear Algebra. Shpringer-Verlag. 1971. 448 p.
[16]. Oparin G.A., Feoktistov A.G., Bogdanova V.G., Novopashin A.P. The solution of Boolean equations of high dimensionality in the distributed computing environment // Distributed Computing and Grid-Technologies in Science and Education: Book of the Abstr. of the Intern. Conf. Dubna, Russia, June 29 -July 2, 2004. JINR, 2004. D11-2004-82. P. 65.
[17]. Опарин Г.А., Богданова В.Г. РЕБУС - интеллектуальный решатель комбинаторных задач в булевых ограничениях // Вестник НГУ. Серия: Информационные технологии. 2008. Т. 6. Вып. 1. С. 60-68.
[18]. Опарин Г.А., Богданова В.Г. Инструментальные средства автоматизации параллельного решения булевых уравнений на многоядерных процессорах // Программные продукты и системы. 2012. № 1. С. 10-14.
[19]. Боев В.Д. Моделирование систем. Инструментальные средства GPSS World. СПб.: БХВ-Петербург. 2004. 368 с.
[20]. ТОР500 Supercomputing Sites // Prometeus GmbH. Режим доступа: http://www.top500.org (дата обращения 01.12.2014).
Multiagent methods and tools of management in a service-oriented distributed computing environment
11 Bychkov < bychkov@icc.ru > 1 G. Oparin < o par in (cbjcc. ru > 1 A. Feoktistov <agf(q),icc.ru> 1 V.Bogdanova <bvg&,icc.ru> 1 A. Pashinin <apcrol(q)gmail.ru> 1 Institute for System Dynamics and Control Theory of Siberian Branch of Russian Academy of Sciences 134, Lermontova st., Irkutsk, 664033, Russia.
Abstract. The paper discusses the issues related to ensuring the effective scaling of the job flow generated by problem-oriented distributed computing systems in heterogeneous Grid with hybrid nodes. Considers the multiagent methods and tools of the new generation, to ensure effective management of the combined job flow of scalable service-oriented software systems and load balancing for computing resources of runtime environment. Describes a high-level tools for developing services of scalable software systems. A distinctive feature of the presented methods and tools is use of elements of the economic theory (such as elements of regulation of supply and demand of resources) in the coordinated multiagent management of cluster Grid with hybrid nodes, both at the Grid level, and at the application level. The functions of problem-oriented computing environment (user application) is realized in the form of Grid-services using technology Web Services Resource Framework and patterns of interaction with local resource managers of Grid nodes. To create the agent of application is used development environment High-performance computing Service-oriented Multiagent System Framework, developed by the authors. A number of scientific services for experimental Grid are given as examples of organization of the problem-oriented computing environment (user application) using methods and tools considered in this paper. The results of their effective functioning is analyzed.
Keywords: problem-oriented distributed computing; multiagent control; services; tools.
References
[1]. Herrera J., Huedo E., Montero R., Llorente I. Porting of Scientific Applications to Grid Computing on GridWay. Scientific Programming. 2005, vol. 13, no. 4, pp. 317-331.
[21]. Durfee E.H. Distributed Problem Solving and Planning. Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence / Ed. by G. Weiss. MIT Press, 1999, pp. 121-164.
[22]. Market-Oriented Grid and Utility Computing / Ed. by R. Buyya, K. Bubendorfer. Wiley & Sons, 2010.643 p.
[23]. Toporkov V.V. Modeli raspredelennykh vychislenij [Models of distributed computing] M.: Fizmatlit [Fizmatlit], 2004. 320 p. (In Russian).
[24]. Oparin G.A. Saturn - metasistema dlya postroeniya paketov prikladnykh programm [Metasystem for developing applied software packages], Pakety prikladnykh programm. Metody i razrabotki [Applied software packages. Methods and developments], Novosibirsk: Nauka [Science], 1982, pp. 130-160. (In Russian).
[25]. Lavrov S., Levin D., Matsulis V., Matskin M., Narin'yani A., Oparin G., Tyugu Je., Khoroshevskij V. Tekhnologicheskie sistemy podderzhki razrabotok iskusstvennogo intellekta [Technological systems for support of development of artificial intelligence], Predstavlenie znanij v cheloveko-mashinnykh i robototekhnicheskikh sistemakh [Knowledge representation in human-machine and robot-technical systems], M.: VC AN SSSR; VINITI [Moskow, Computing center of USSR Academy of Sciences, Viniti], 1984, vol. B, pp. 102-123. (In Russian).
[26]. Oparin G.A., Feoktistov A.G., Feoktistov D.G., Zhuravlev A.E. Instrumental'nye sredstva postroenija i ekspluatatsii paketov znanij [Tools for developing and operating of knowledge packages], Upravlyajushhie sistemy i mashiny [Control systems and machines], 1997, no 1-3, pp. 138-143. (In Russian).
[27]. Oparin G.A., Feoktistov A.G. Instrumental'naya raspredelennaya vychislitel'naya SATURN-sreda [Distributed computing framework SATURN], Programmnye produkty i sistemy [Software & Systems], 2002, no. 2, pp. 27-30. (In Russian).
[28]. Vassilyev S.N., Oparin G.A., Feoktistov A.G., Sidorov I.A. Intellektnye tekhnologii i instrumental'nye sredstva sozdaniya vychislitel'noj infrastruktury v seti Internet [Intelligent technology and tools for developing of the computational infrastructure in Internet], Vychislitel'nye tehnologii [Computational Technologies], 2006, vol. 11, no S8, pp. 34-44. (In Russian).
[29]. Bogdanova V.G., Bychkov I.V., Korsukov A.S., Oparin G.A., Feoktistov A.G. Multiagent Approach to Controlling Distributed Computing in a Cluster Grid System. Journal of Computer and Systems Sciences International. 2014. Vol. 53. No. 5. Pp. 713— 722. DOI: 10.1134/S1064230714040030.
[30]. Nikolenko S.I. Teoriya ekonomicheskih mekhanizmov [Theory of economic mechanisms] M.: Intuit.ru; Binom. Laboratoriya znanij [Binom. Knowledge lab], 2009. 207 p. (In Russian).
[31]. Buyya R., Vecchiola C., Selvi S.T. Mastering Cloud Computing. Burlington, Massachusetts, USA: Morgan Kaufmann, 2013. 469 p.
[32]. Czajkowski K., Ferguson D.F., Foster I., Frey J., Graham S., Sedukhin I., Snelling D., Tuecke S., Vambenepe W. The WS-Resource Framework. Version 1.0. www. globus, org/wsrf/spec s/ws-wsrf. pdf.
[33]. Bychkov I.V., Oparin G.A., Feoktistov A.G., Bogdanova V.G., Korsukov A.S. Servis-orientirovannyj podkhod k organizatsii raspredelennykh vychislenij s pomoshh'ju instrumental'nogo kompleksa DISCENT [The service-oriented approach to distributed computing on the basis of the toolkit DISCENT], Informatsionnye tekhnologii i vychislitel'nye sistemy [Information technology and computer systems], 2014, no. 2, pp. 7-15. (In Russian).
[34]. Wilkinson J.X., Reinsch C. Handbook for Automatic Computation. Volume II: Linear Algebra. Shpringer-Verlag. 1971. 448 p.
[35]. Oparin G.A., Feoktistov A.G., Bogdanova V.G., Novopashin A.P. The solution of Boolean equations of high dimensionality in the distributed computing environment . Distributed Computing and Grid-Technologies in Science and Education: Book of the Abstr. of the Intern. Conf. Dubna, Russia, June 29 -July 2, 2004. JINR, 2004. D11-2004-82. P. 65.
[36]. Oparin G.A., Bogdanova V.G. REBUS - intellektual'nyj reshatel' kombinatornykh zadach v bulevykh ogranicheniyah [Intelligent solver of combinatorial problems in boolean constraints], Vestnik NGU. Serija: Informatsionnye tekhnologii [Bulletin of NGU. Series: Information technology], 2008, vol. 6, no. 1, pp. 60-68. (In Russian).
[37]. Oparin G.A., Bogdanova V.G. Instrumental'nye sredstva avtomatizatsii parallel'nogo resheniya bulevykh uravnenij na mnogoyadernyh processorakh [Parallel computing toolkit for solving Boolean equations on multi-core processors]. Programmnye produkty i sistemy [Software & Systems], 2012, no. 1, pp. 10-14. (In Russian).
[38]. Boev V.D. Modelirovanie sistem. Instrumental'nye sredstva GPSS World [Simulation systems. GPSS World tools] SPb.: BHV-Peterburg [BHV-Peterburg]. 2004. 368 p. (In Russian).
[39]. TQP500 Supercomputing Site, www.top500.org
