CC BY
59
Литература
1. ГОСТ РВ 51987-2002. Информационная технология. Комплекс стандартов на автоматизированные системы. Требования и показатели качества функционирования информационных систем. Общие положения.
2. Методическое руководство по оценке качества функционирования информационных систем. - М.: Изд-во 3 ЦНИИ МО РФ, 2003. 352 с.
3. Зацаринный А.А., Ионенков Ю.С. Некоторые аспекты оценки эффективности автоматизированных информационных систем на различных стадиях их жизненного цикла // Системы и средства информатики. - М.: ТОРУС ПРЕСС, 2016. Том. 26. № 3. С. 123-136.
4. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Радио и связь, 1993. 278 с.
5. Воронин А.Н. Многокритериальная оценка альтернатив. http://www.foibg.com/ibs_isc/ibs-28/ibs-28-p22.pdf.
Quality assessment of scientific and technical documentation
Yurij Sergeevich Ionenkov, senior scientist, Federal Research Center «Computer and Control» of the Russian Academy of Sciences (FRC CSC RAS)
The article outlines a methodical approach to assessing the quality of technical and scientific documentation using expert methods. The proposed hierarchical structure of indicators of quality, and nomenclature of generalized and partial indicators of quality. The method of evaluating the quality of documents.
Keywords: scientific and technical documents, quality, index, criteria.
УДК 519.71
МУЛЬТИАГЕНТНАЯ СИСТЕМА УПРАВЛЕНИЯ РАСПРЕДЕЛЕННЫМИ ВЫЧИСЛЕНИЯМИ
Костромин Роман Олегович, аспирант e-mail: romang70055@gmail.com
Феоктистов Александр Геннадьевич, канд. техн. наук, доц., ст. науч. сотр.
e-mail: agf65@yandex.ru Институт динамики систем и теории управления им. В.М. Матросова СО РАН
http://www.idstu.irk.ru
В работе рассматриваются вопросы мультиагентного управления вычислениями в гетерогенных распределенных средах. Эффективность управления повышается за счет использования системы классификации заданий и имитационного моделирования для параметрической настройки алгоритмов функционирования агентов.
Ключевые слова: распределенные вычисления, мультиагентные системы, управление вычислениями, параметрическая настройка, имитационное моделирование
Работа выполнена при частичной финансовой поддержке РФФИ, проекты № 15-29-07955-офи_м и № 16-07-00931-а, а также Совета по грантам Президента Российской Федерации, государственная поддержка ведущих научных школ Российской Федерации (НШ-8081.2016.9).
Введение
Характерной особенностью научных и прикладных задач, возникающих в рамках крупномасштабных исследований, является их потребность в использовании высокопроизводительных систем, вычислительных возможностей которых в отдельности зачастую не хватает для эффективного решения таких задач. Интеграция высокопроизво-
дительных систем в единую гетерогенную распределенную вычислительную среду (ГРВС) позволяет обеспечить необходимые условия для решения больших и сложно структурированных задач, в том числе предоставить суммарную производительность среды, недоступную прежде пользователям локальных вычислительных систем [1].
В рамках гомогенной среды, например, на кластере, достаточно эффективное планирование вычислений и распределение ресурсов может быть построено на базе таких систем управления прохождением заданий (СУПЗ), как PBS, SLURM или SGE. Однако они, как правило, изначально не предназначены для работы в ГРВС [2]. В такой среде используются средства управления вычислениями связующего программного обеспечения (пакета Globus Toolkit, системы gLite и других программных комплексов), являющегося достаточно сложным в его настройке и применении конечными пользователями - специалистами в своих предметных областях. Промежуточным уровнем между пользователями и связующим программным обеспечением можно считать системы управления потоками работ - Taverna, Triana, Pegasus и другие системы [3]. Общей проблемой вышеперечисленных систем является недостаточный учет специфики предметной области.
Актуальным подходом к управлению вычислениями в ГРВС является применение мультиагентных систем (МАС) [4-6]. Агент в такой системе является интеллектной (использующей элементы искусственного интеллекта) программной сущностью, наделенной правами и обязанностями по обслуживанию вычислительного процесса и управления им. Агенты могут представлять интересы пользователей и владельцев ресурсов, осуществлять локальные взаимодействия друг с другом, кооперироваться для решения общих задач, конкурировать и сотрудничать в процессе достижения поставленных целей и удовлетворения собственных интересов. Эффективность управления может быть в значительной степени повышена за счет использования элементов экономической теории [7].
В работе представлен подход к управлению распределенными вычислениями в ГРВС на основе комплексного использования предметно-ориентированной мультиа-гентной системы и экономических механизмов регулирования спроса и предложения ресурсов среды. Улучшение эффективности управления достигается за счет применения оригинальной системы классификации заданий, а также имитационного моделирования для параметрической настройки алгоритмов функционирования агентов, распределяющих ресурсы среды.
Мультиагентная система
Иерархическая структура представленной в статье МАС [8] включает несколько уровней функционирования агентов. На каждом уровне могут функционировать агенты, играющие различные роли и выполняющие функции, которые соответствуют этим ролям. Роли агентов (постоянные или временные) возникают в дискретные моменты времени в связи необходимостью организации коллективного взаимодействия. Уровни иерархии агентов отличаются объемом знаний - агенты более высокого уровня владеют более широким спектром информации по сравнению с агентами более низкого уровня и, кроме того, имеют возможность обращаться к агентам любого ниже лежащего уровня с запросом на получение локальных знаний этих агентов.
Схемы баз знаний агентов формируются на основе концептуальной модели ГРВС [9], которая, в отличие от известных вычислительных моделей, включает знания как о среде, так и о предметных областях решаемых задач. Использование концептуальной модели среды позволяет разработчикам приложений представлять и структурировать результаты экспертного анализа их предметных областей. Тем самым обеспечивается предметная ориентация МАС, использующей эти знания. Данные о текущем состоянии ГРВС собираются и обобщаются специализированной системой метамониторинга [10].
Агенты автономны, способны объединяться в виртуальные сообщества, а управление вычислениями основано на их локальных взаимодействиях посредством сотруд-
ничества или конкуренции. При выполнении заданий агенты осуществляют распределение ресурсов на основе экономических механизмов регулирования их спроса и предложения [11]. В процессе вычислений агенты могут перераспределять свою вычислительную нагрузку среди других агентов. Ключевыми этапами управления заданиями является применение системы классификации заданий и параметрической настройки алгоритмов функционирования агентов, основанной на имитационном моделировании.
Для построения концептуальной модели разработан специализированный инструментальный комплекс SIRIUS II [12]. Важной составляющей SIRIUS II является система классификации заданий, обеспечивающая администраторам возможность определять специфические классы заданий и назначать им для выполнения наиболее подходящие ресурсы на основе их экспертных знаний. SIRIUS II обеспечивает также автоматизацию построения и применения имитационных моделей ГРВС на основе ее концептуальной модели. Применение имитационных моделей позволяет прогнозировать развитие состояния ГРВС и настраивать управляющие параметры алгоритмов работы агентов с целью повышения эффективности управления распределенными вычислениями.
Система классификации заданий
Работа системы классификации заданий базируется на использовании концептуальной модели ГРВС и является ее дополнением. В этой системе администратор среды определяет множество возможных характеристик hi, h2, ..., hm заданий (время решения задачи, размеры оперативной и дисковой памяти, число узлов, процессоров и ядер, режимы выполнения и т.д.), а также области их допустимых значений (рис. 1). Затем он формирует классы С1, ci, ... cn заданий, обладающих наборами характеристик из определенного множества. Область допустимых значений характеристики при ее включении в тот или иной класс может быть конкретизирована. В заключение сформированным классам сопоставляются наиболее подходящие ресурсы для выполнения заданий, относящихся к этим классам.
Пользовательские приложения
Поток заданий пользовательских приложении
Мультиагентная система
Имитационная модель ГРВС
Вектор входных переменных модели
Вектор наблюдаемых переменных модели
Агенты параметрической настройки
Вектор управляющих параметров
Агенты распределения ресурсов
Оптимизированный поток заданий
Распределение заданий
Гетерогенная распределенная вычислительная среда
Информация о текущем состоянии среды
Система метамониторинга
Локальные системы мониторинга и контрольно-измерительные приборы, размещенные на кластерах
Рис. 1. Схема классификации заданий Рис. 2. Схема параметрической настройки
При поступлении задания в МАС производится проверка соответствия его характеристик характеристикам имеющихся классов. В результате этой проверки задание классифицируется (определяется его принадлежность классам заданий), а затем конкретизируется путем добавления в его описание директив, определяющих множество допустимых для распределения ресурсов. Агенты, представляющие эти ресурсы, образуют виртуальное сообщество. Классифицированное и конкретизированное задание передается агентам этого сообщества для окончательного распределения ресурсов. Таким образом, классификация заданий позволяет существенно понизить сложность решения задачи определения ресурсов, подходящих для выполнения задания и формирования виртуального сообщества агентов, представляющих эти ресурсы.
Сравнительный анализ средств поддержки классификации заданий в известных системах управления распределенными вычислениями показывает, что рассмотренная система классификации заданий обладает более широкими возможностями по созданию различных классов заданий и их привязке к конкретным ресурсам [13].
Параметрическая настройка
Схема параметрической настройки алгоритмов работы агентов распределения ресурсов представлена на рис. 2. Агенты распределяют ресурсы на основе тендера вычислительных работ (заданий) [11]. Алгоритмы их работы имеют ряд управляющих параметров, обеспечивающих им выбор оптимальной стратегии поведения на торгах. Эти управляющие параметры отражают значения варьируемых входных переменных имитационной модели ГРВС, соответствующих оптимальным значениям ее наблюдаемых переменных, определяемых на основе проведения многовариантных расчетов.
Вычислительные эксперименты
С целью оценки эффективности применения системы классификации заданий и параметрической настройки алгоритмов работы агентов распределения ресурсов была воспроизведена в режиме имитации обработка потока заданий различных приложений, выполнявшихся в течении года на кластере Blackford, являющегося в настоящее время ресурсом Института динамики систем и теории управления им. В.М. Матросова СО РАН (ИДСТУ СО РАН).
Каждое задание этого потока было отнесено к одному из шести классов, отличавшихся следующими основными характеристиками: числом ядер, временем выполнения, размером оперативной памяти и операционной системой. Эти классы были сформированы с учетом вычислительных характеристик двух других кластеров ИДСТУ СО РАН, имевших в рассматриваемый период невысокую вычислительную нагрузку.
В процессе имитационного моделирования задания можно было перемещать с кластера Blacford (Кластер 1) на другие кластера (Кластер 2 и Кластер 3) только в том случае, если перемещаемое задание сохраняло принадлежность определенному для него классу. Распределение задний потока осуществлялось на основе торгов. Результаты
моделирования показали,
юо что применение системы
классификации и параметрическая настройка алгоритмов работы агентов распределения ресурсов позволило существенно улучшить балансировку загрузки процессоров трех кластеров (рис. 3).
Заключение
В работе рассмотрена проблема управления распределенными вычис-
о о. о
я о
Л
с
Оч
В! к I
и а о
75
50
25
Распределение заданий без их классификации и параметрической настройки алгоритмов работы агентов
■ Распределение заданий на основе их классификации и параметрической настройки алгоритмов работы агентов
Кластер 1 Кластер 2 Кластер 3 Рис. 3. Балансировка загрузки процессоров лениями в ГРВС и представлена предметно-ориентированная МАС для управления заданиями в такой среде.
Авторы считают, что в данной работе новыми являются следующие положения и результаты
Разработана система классификации заданий в ГРВС, включающая специализированные модели и методы представления и использования знаний о заданиях и ресурсах среды. Данная система обладает более широкими возможностями классификации заданий по сравнению с известными;
Предложена новая технология параметрической настройки мультиагентных алгоритмов управления гетерогенной распределенной вычислительной средой с целью оптимизации распределения ее ресурсов при выполнении заданий приложений пользователей. В отличие от известных подходов в рамках данной технологии управляющие параметры алгоритмов настраиваются на основе интеграции методов и средств классификации заданий и ресурсов среды, а также ее метамониторинга и имитационного моделирования.
Литература
1. Distributed Computing Environment: Approaches and Applications / Li Zeng et al. // IEEE Int. Conf. on Systems, Man and Cybernetics. - IEEE Publisher, 2007. P. 3240-3244.
2. Yu J., Buyya R. A Taxonomy of Workflow Management Systems for Grid Computing // J. Grid Comput. 2005. Vol. 3, N 3. P. 171-200.
3. Talia D. Workflow Systems for Science: Concepts and Tools // ISRN Softw. Eng. 2013. Vol. 2013. Article ID 404525. 15 p.
4. Amato A., Venticinque S. A Distributed Agent-Based Decision Support for Cloud Brokering // Scalable Comput.: Pract. Exp. 2014. Vol. 15, N 1. P. 65-78.
5. Di Marzo Serugendo G., Gleizes M.-P., Karageorgos A. Self-Organization in Multi-Agent Systems // Knowl. Eng. Rev. 2006. Vol. 20, N 2. P. 165-189.
6. Каляев А.И., Каляев И.А. Метод мультиагентного диспетчирования ресурсов в облачных вычислительных средах // Известия РАН. Теория и системы управления. 2016. № 2. С. 51-63.
7. Топорков В.В., Емельянов Д.М., Топоркова А.С. Метапланирование и управление ресурсами в ГРИД // ИТНОУ. 2017. № 3. С. 72-80.
8. Мультиагентный подход к управлению распределенными вычислениями в кластерной Grid-системе / В.Г. Богданова и др. // Известия РАН. Теория и системы управления. 2014. № 5. С.95-105.
9. Conceptual Model of Problem-Oriented Heterogeneous Distributed Computing Environment with Multi-Agent Management / I. Bychkov et al. // Procedia Comput. Sci. 2017. Vol. 103. P. 162-167.
10.Мультиагентное управление вычислительной системой на основе метамониторинга и имитационного моделирования / И.В. Бычков и др. // Автометрия. 2016. Т. 52. № 2. С. 3-9.
11.Мультиагентный алгоритм распределения вычислительных ресурсов на основе экономического механизма регулирования их спроса и предложения / И.В. Бычков и др. // Вестник компьютерных и информационных технологий. 2014. № 1. С. 39-45.
12.Феоктистов А.Г., Корсуков А.С., Дядькин Ю.А. Аспекты имитационного моделирования процессов мультиагентного управления распределенными вычислениями // Информационные и математические технологии в науке и управлении. 2016. № 4. С. 118-126.
13.Феоктистов А.Г. Методология концептуализации и классификации потоков заданий масштабируемых приложений в разнородной распределенной вычислительной среде // Системы управления, связи и безопасности. 2015. № 4. С. 1-25.
14.ЦКП Иркутский суперкомпьютерный центр СО РАН [Электронный ресурс]. - Режим доступа: http://hpc.icc.ru/ (дата обращения: 13.09.2017).
Multi-agent system for distributed computing management
Kostromin Roman Olegovich, graduate student, Matrosov Institute for System Dynamics and Control Theory of SB RAS
Feoktistov Alexander Gennadievich, Ph.D. of Engineering Sciences, Associate Professor, Senior Research Officer, Matrosov Institute for System Dynamics and Control Theory of SB RAS
We propose an approach to a multi-agent management of computations in heterogeneous distributed environments. A management efficiency is improved through using job classification system and simulation modeling for a parameter adjustment of agent functioning algorithms.
Keywords: distributed computing, multi-agent systems, computations management, parameter adjustment, simulation modeling
