CC BY
8Опарин Г.А., Богданова В.Г., Пашинин A.A. УДК 004.421+004.4'2+004.771
СЕРВИС-ОРИЕНТИРОВАННЫЕ СРЕДСТВА РАСПРЕДЕЛЕННОГО РЕШЕНИЯ ДЕКОМПОЗИРУЕМЫХ ВЫЧИСЛИТЕЛЬНЫХ ЗАДАЧ
Опарин Геннадий Анатольевич
Д.т.н., проф., зам. дир., e-mail: oparin@icc.ru Богданова Вера Геннадьевна К.т.н., доцент, с.н.с., e-mail: bvg@icc.ru Пашинин Антон Алексеевич
М.н.с., e-mail: apcrol@gmail.com Институт динамики систем и теории управления имени В.М. Матросова Сибирского отделения Российской академии наук (ИДСТУ СО РАН), 664033 г. Иркутск ул. Лермонтова, 134
Аннотация. Актуальность применения параллельных технологий в высокопроизводительных вычислениях обусловливает цель исследования, состоящую в разработке инструментальных средств автоматизации создания и поддержки функционирования научных сервис-ориентированных приложений, предназначенных для параллельного решения ресурсоемких вычислительных задач, декомпозируемых на слабосвязанные подзадачи, в распределенной вычислительной среде. Рассматривается пример применения разработанных средств для решения задачи параметрического синтеза стабилизирующей обратной связи для линейного объекта.
Ключевые слова: мультиагентная система, сервис, обратная связь.
Введение. Cложность современных гетерогенных распределенных вычислительных систем (ГРВС) препятствует широкому использованию их возможностей специалистами предметных областей (ПО) и способствует развитию специализированных подходов к разработке распределенных приложений, освобождающих конечного пользователя от необходимости погружаться в детали технической реализации. Такая тенденция актуализирует развитие технологий сервис-ориентированного доступа к ресурсам среды и научным приложениям [14]. Многие из этих приложений реализованы как workflow (WF). По этой причине наблюдается тенденция развития систем управления потоком работ [9, 15, 16]. Несмотря на многообразие подобного инструментария, ряд вопросов по-прежнему остается актуальным. К этим вопросам относится интеграция знание-ориентированного подхода к созданию приложения, децентрализованного управления выполнением сервисов приложения (более предпочтительного в распределенных средах для обеспечения масштабируемости), возможности выбора способов доступа к компонентам приложения, средств описания логики вычислительных схем не программным, а декларативным путем, обработки WF, имеющих как статическую, так и динамическую структуру, в рамках единой инструментальной среды. В статье рассматриваются связанные с этими вопросами аспекты реализации в среде HPCSOMAS Framework [6] сервис-ориентированных приложений, предназначенных для решения задач, отвечающих следующим условиям: высокая
вычислительная сложность, необходимость использования высокопроизводительной техники для их решения, возможность декомпозиции на слабосвязанные в вычислительном отношении подзадачи. В качестве примера приводится описание разработанного с помощью HPCSOMAS Framework сервиса для решения декомпозируемой задачи параметрического синтеза стабилизирующего регулятора для линейного динамического объекта. Следует отметить, что в настоящее время происходит интенсивное развитие и усложнение управляемых динамических систем. Синтез закона управления для подобных объектов часто связан со значительными трудностями вычислительного характера [11]. Несмотря на большое количество существующих методов [13], задача анализа и синтеза различных классов таких систем остается актуальной, так как все еще остаются нерешенными вопросы, связанные с использованием высокопроизводительных ресурсов для решения трудоемких задач рассматриваемой области и организацией управления их параллельным решением в ГРВС.
1. Архитектура hpcsomas-приложения. Методологической основой автоматизации построения сервис-ориентированных приложений на основе пакетов прикладных программ является использование подхода, базирующегося на знаниях. Можно выделить три концептуально обособленных слоя знаний: вычислительных, представленных библиотеками подпрограмм, снабженных спецификациями и реализующих методы решения задач рассматриваемой предметной области; схемных, отражающих набор понятий, необходимых для описания структурных особенностей и характеристик блоков математических моделей и алгоритмов их исследования; продукционных знаний, позволяющих в зависимости от свойств модели осуществить выбор наиболее приемлемых алгоритмов исследования, а также численных значений управляющих параметров этих алгоритмов. над которыми формируются постановки задач [8]. Концептуальная модель предметной области содержит описание взаимодействия следующих объектов: параметров, модулей, операций и продукций. В разрабатываемых приложениях группируются объекты предметной области, соответствующие семейству близких по параметрам и операциям методов исследования. Сервис-ориентированное приложение, разработанное на основе HPCSOMAS Framework, содержит следующие компоненты:
• агенты, управляющие выполнением запроса пользователя;
• пользовательский агент, принимающий запрос и поддерживающий взаимодействие пользователя с системой;
• проблемно-ориентированные вычислительные агенты, реализующие методы исследования математических моделей предметной области;
• расчетные схемы.
1.1. Системные компоненты приложения. Агенты системной части образуют ролевую иерархическую мультиагентную систему (МАС). На первом уровне находится пользовательский агент, предоставляющий средства для постановки задачи, на среднем уровне находится основной агент системы (hpcsomas-агент), устанавливаемый на вычислительный ресурс. Тот hpcsomas-агент, на который поступил запрос пользователя, выступает в роли агента-менеджера. Остальные hpcsomas-агенты выступают в роли локальных агентов, представляющих ресурс. Агент-менеджер совместно с локальными агентами осуществляет децентрализованное управление распределением потока заданий,
возникающих в результате декомпозиции задачи пользователя, на вычислительные ресурсы, представляемые этими агентами. Системные реактивные агенты третьего уровня контролируют права доступа пользователя к вычислительным ресурсам, к данным, организуют выполнение заданий на вычислительных ресурсах в соответствии с планом распределения. В случае обработки задания, полученного в результате декомпозиции, исполнительный агент выступает в роли вычислительного агента. Роль системного агента исполнительный агент получает при выполнении системных заданий. Агенты реализованы в виде web-сервисов.
1.2. Предметно-ориентированные компоненты приложения. Вычислительные агенты представляют вычислительные модули предметной области и реализуются в виде сервисов. Вычислительные сервисы имеют тип «атомарный» и «композитный», состоящий из композиции атомарных и вложенных композитных сервисов. Расчетная схема (по существу, WF), соответствующая композитному сервису, описывает план проведения вычислительного эксперимента для решения конкретной задачи ПО, строится на основе вычислительной модели ПО и задает логику выполнения композиции подзадач, каждой из которых соответствуют вычислительный модуль или вложенная расчетная схема. В [4] приведены шаблоны расчетов, соответствующие типовым подзадачам, возникающим в процессе вычислительных экспериментов. На основе анализа разработки hpcsomas-приложений для решения задач параметрического синтеза стабилизирующей обратной связи для управляемых динамических систем [1, 2, 7, 12], качественного анализа двоичных динамических систем [3], решения нелинейных систем булевых уравнений [7] и имитационного моделирования систем массового обслуживания [5] основой описания расчетных схем были выбраны шаблоны типовых подзадач, которым соответствуют следующие базовые виды расчетов: последовательный, параллельный, альтернативный, статический многовариантный, динамический многовариантный, итеративный и составной, представляющие собой произвольный набор типовых расчетов, включая другие составные расчеты. В [4] отмечается, что такие шаблоны расчетных схем могут быть использованы в качестве элементов декомпозиции сложных вычислительных задач.
2. Декомпозиция вычислительных задач. Анализ разработки на основе представленного подхода сервис-ориентированных приложений для решения упомянутых выше задач позволил выделить ряд общих закономерностей декомпозиции задачи по данным. Назовем множество данных, которое нужно декомпозировать, декомпозируемым множеством. Пусть множество данных представлено диапазонами значений компонент n-мерного вектора v = (vy, v2, ..., vN}, из области допустимых значений компонент
V = {v : v. < v ^ Vi, i = 1, Nj и v , V e R или v , v e B2. Тогда можно выделить режим
формирования декомпозируемого множества (статический или динамический), способ декомпозиции и правила включения значений компонент вектора в декомпозируемое множество.
2.1. Способы декомпозиции. HPCSOMAS Framework автоматизирует следующие способы декомпозиции:
• Декомпозиция числовой расчетной сетки, построенной путем варьирования компонент вектора v в заданных диапазонах. Двумерная и трехмерная декомпозиция разбивает сетку вдоль координатных осей компонент вектора v, n-мерная (сегментарная)
декомпозиция расчетной сетки делит сетку на n сегментов ( n = 2N, где N - количество компонент вектора v). Применяется так же выборочная сегментарная декомпозиция, когда в процесс расчетов для каждой подзадачи вовлекаются не все, а только обладающие заданным свойством точки многомерных сегментов сетки. В процессе декомпозиции в зависимости от количества доступных вычислительных ресурсов подзадачи могут укрупняться или детализироваться.
• Декомпозиция с использованием маски. В том случае, когда параметры, которые будут использоваться в расчетах, нельзя задать регулярным способом, применяется битовая маска, единичные разряды которой задают номера компонент вектора v, значения которых будут использованы для получения декомпозируемого множества. Правило построения этого множества из значений задается параметром сервиса создания вычислительного слоя. Например, можно задать декартово произведение значений компонент, заданных маской.
• Декомпозиция с использованием списка. Такой способ декомпозиции используется, когда данные для подзадач уже подготовлены заранее и представлены списком файлов, архивом или находятся в списочных структурах в оперативной памяти.
• Декомпозиция с использованием набора. Такой способ декомпозиции применяется для задания набора независимых программ, которые могут выполняться параллельно в одном вычислительном слое.
Первые три способа декомпозиции применяются для распараллеливания по данным, последний способ - для обеспечения функционального параллелизма.
2.2. Средства декомпозиции. Декомпозиция используется в шаблонах множественного выбора и многовариантных шаблонах расчетных схем. Для описания логики выполнения расчетной схемы конфигурируемый набор системных сервисов HPCSOMAS Framework дополнен сервисами логики выполнения, реализующими базовые шаблоны. Эти сервисы содержат так же модификаторы, расширяющие набор базовых шаблонов. Сервисы логики выполнения в процессе интерпретации расчетной схемы распределяют подзадачи на вычислительные слои. Слой может содержать параллельно выполняемые элементы. Слои нумеруются в соответствии с подзадачами. Двойная нумерация (<номер слоя>. <номер нового слоя>) позволяет динамически создать новый слой между двумя существующими слоями. Системные сервисы логики выполнения созданы на основе библиотеки классов HPCSOMAS Framework. Разработаны следующие модифицируемые сервисы:
CREATE PLAYER ХХХ - создание вычислительного слоя; DELETE PLAYER - снятие вычислительного слоя;
JOIN - объединение результатов решения элементов параллельного слоя; CONDITION XXX - условие выполнения элемента слоя; REPEAT - повтор слоя;
BRANCH XXX - множественный выбор веток расчетной схемы.
Базовые классы разработаны для разных вариантов декомпозиции исходной задачи на подзадачи. Обозначение «XXX» для каждого способа декомпозиции заменяется значениями модификаторов. При создании вычислительного слоя первый модификатор связан с режимом декомпозиции, второй зависит от способа декомпозиции, третий показывает, все ли элементы вычислительного слоя должны быть выполнены. Сервис создания
вычислительного слоя используется совместно с сервисом условия выполнения элемента слоя. Для сервиса условия модификаторы имеют другой смысл: тип условия, вид операции отношения, синхронизация в случае выполнения всех элементов слоя. Для сервиса множественного выбора отличается в сравнении с сервисом условия только третий модификатор, задающий необходимость слияния результатов. Рассмотренные модификаторы приведены в табл. 1. На основе базовых классов модифицируемых сервисов можно создавать собственные сервисы логики выполнения. Каждый системный сервис логики выполнения имеет параметры. Композитный сервис состоит из последовательности атомарных, композитных и системных сервисов логики выполнения.
Таблица 1. Модификаторы сервисов логики выполнения.
Сервис X X X
CREATE PLAYER Static/Dynamic SjD Grid/Mask/List/Set GjMjLjS All elements/Part A|P
CONDITION Arithmetical/Logical AjL EQ/NE/GT/LT/True EjNjGjLjT Delete Layer/Wait D|W
BRANCH Arithmetical/Logical AjL EQ/NE/GT/LT EjNjGjL Joining results/Not joining J|N
3. Пример. В качестве примера рассматривается задача о статическом регуляторе во выходу для линейной непрерывной динамической системы.
3.1. Постановка задачи. Задача о статическом регуляторе по выходу [12]: для системы
х = Ах + Ви, у = Сх (1)
выяснить, можно ли ее стабилизировать обратной связью вида
и = Ку, (2)
где х е Я"х - состояние объекта; и е Яп" - управление; у е Я"у - измеряемый выход; пх, пи и п - размерности векторов х, и и у. Предполагается, что на матрицу К наложены
интервальные ограничения К < К < К (неравенства понимаются как покомпонентные). КР-сложность данной проблемы в общем случае установлена в [11]. Математическая формулировка задачи (1, 2): существует ли матрица К такая, что при данных матрицах А, В, С матрица замкнутой системы Ас = А + ВКС устойчива? Сервис для решения этой задачи реализует разработанный авторами алгоритм [2, 12]. Введем обозначения:
• N - количество параметров регулятора.
• Р = (Р\, Рг Рл?) - вектор параметров регулятора (элементы матрицы К).
• Р = {рг : р — р — pi, г = 1, N} - область допустимых значений параметров регулятора, где О = рг хр2 х... хрд, - сетка, построенная из областей допустимых значений.
• И - шаг изменения значений параметров;
• 5 = , ,..., ) - множество многомерных сегментов, полученных при декомпозиции G.
• с = (с,е2,...,с я ) - множество векторов с координатами центров сегментов.
• X] = а + J®- , i = 1, nx, J = 1,2 - собственные значения спектра матрицы Ac в точке Cj.
• рМ = {рг^|рг^ = шах(«/ ), I = 1, пх, у = 1,2 ^ } - вектор приоритетов сегментов.
Согласно разработанному алгоритму сначала к сеточному пространству параметров Р применяется сегментарная декомпозиция. Затем в центре каждого сегмента вычисляется спектр матрицы Ас и приоритет сегмента, равный максимальной действительной части собственных чисел спектра матрицы. Сегменты упорядочиваются по возрастанию приоритетов. Дальнейший поиск устойчивой точки осуществляется в каждом сегменте в соответствии с этим порядком. Если находится хотя бы одна устойчивая точка сетки в каком-либо сегменте, то решение задачи завершается с выдачей матрицы К и спектра матрицы Ас.
3.2. Расчетная схема сервиса для решения задачи. На рис. 1 показано применение рассмотренных выше средств декомпозиции задачи по данным для параллельного выполнения декомпозированной задачи о статическом регуляторе в ГРВС. В верхней части рисунка приведена схема вычисления устойчивости в точке 2 сеточного пространства параметров (БШЬРот^. В нижней части рисунка приведена схема алгоритма.
Определение устойчивости в точке z StubPoint
4
Определение устойчивости в центре каждого сегмента
/ Вычисление | центра I сегмента * \Center
CONDITION LEP,
Г/т
CREATE PLAYER SGP CONDITION AEW
Многовариантный статический расчет
ie 1
Спорядочивание сегментов Order J
Последовательный >A расчет
Для каждого сегмента
Определение устойчивости
в каждой точке сегмента
fstubPoinOx
А ^ Ф А CONDITION LEP ИГ
CREATE PLAYER DGP CONDITION AEW
REPEAT CONDITION AEW
Итеративный расчёт с вложенным динамическим многовариантным расчетом
Рис. 1. Расчетная схема задачи о статическом регуляторе
В соответствии с алгоритмом схема StubPoint выполняется сначала для параллельного определения устойчивости в центрах сегментов. Вычислительный слой для параллельного выполнения схемы StubPoint организуется с помощью сервиса CREATE PLAYER SGP. В каждом элементе слоя после схемы StubPoint ставится сервис условия CONDITION LEP, проверяющий выходной параметр stub. Равенство stub = TRUE означает, что матрица обратной связи найдена, в этом случае удаляются все оставшиеся подзадачи. В противном случае осуществляется переход к последовательному расчету Oder, а затем организуется итеративное выполнение (сервисами REPEAT и CONDITION AEW) вложенного динамического многовариантного расчета (границы сеточного пространства пересчитываются для каждой итерации) с вложенной расчетной схемой StubPoint и условием CONDITION LEP). Вычисления с помощью сервиса, реализующего описанную схему, выполнялись с использованием ресурсов Иркутского суперкомпьютерного центра [10]. Решение конкретных задач о статическом регуляторе по выходу приведены в [2, 12].
Заключение. Разработаны новые средства автоматизации параллельного решения декомпозируемых вычислительных задач в ГРВС, предоставляющие возможность декларативного и программного описания и управления WF, имеющих как статическую, так и динамическую структуру. Вычислительные эксперименты показали эффективность разработанного инструментария [2, 3, 7, 12].
Исследование выполнено при поддержке РФФИ, проект № 15-29-07955-офи_м, Программы 1.33П фундаментальных исследований Президиума РАН, проект "Разработка новых подходов к созданию и исследованию моделей сложных информационно-вычислительных и динамических систем с приложениями", и при частичной финансовой поддержке Совета по грантам Президента Российской Федерации для государственной поддержки ведущих научных школ Российской Федерации (НШ-8081.2016.9).
СПИСОК ЛИТЕРАТУРЫ
1. Богданова В.Г., Пашинин А.А. Инструментальные средства автоматизации разработки научных сервисов. Информационные и математические технологии в науке и управлении. 2016. № 4-1. С. 109-117.
2. Бычков И.В., Опарин Г.А., Феоктистов А.Г., Богданова В.Г., Сидоров И.А., Пашинин.А.А. Мультиагентный подход к управлению сервис-ориентированными высокопроизводительными вычислениями // Вестник компьютерных и информационных технологий. 2016. № 9 (147). С. 35-41.
3. Опарин Г.А., Феоктистов А.Г., Богданова В.Г., Горский С.А., Пашинин А.А., Сидоров И.А. Параллельное решение задачи о статическом регуляторе для двоичных динамических систем // Параллельные вычислительные технологии - XI международная конференция, ПаВТ'2017, г. Казань, 3-7 апреля 2017 г. Короткие статьи и описания плакатов. Челябинск: Издательский центр ЮУрГУ, 2017. C.416-426.
4. Прохоров А. А., Назаренко А. М., Давыдов А. В. Шаблоны инженерных и научных расчетов. http://ceur-ws.org/Vol-1787/403-409-paper-70.pdf.
5. Феоктистов А.Г., Богданова В.Г., Пашинин А.А. Сервис для организации многовариантных расчетов при исследовании систем массового обслуживания // Информационные и математические технологии в науке и управлении: Тр. XX Байкальской Всерос. конф. Иркутск: Изд-во ИСЭМ СО РАН. - 2015. - Ч. II. - C. 37-44.
6. Bychkov I. V., Oparin G. A., Feoktistov A. G., Bogdanova V. G., Pashinin A. A. Service-Oriented Multiagent Control of Distributed Computations // Automation and Remote Control, vol. 76, no. 11, 2015, pp. 2000-2010.
7. Bychkov I., Oparin G., Feoktistov A., Bogdanova V., Sidorov I. The Service-Oriented Multiagent Approach to High-Performance Scientific Computing // Proceedings of the Sixth Conference on Numerical Analysis and Applications. June 15-22, 2016, Lozenetz, Bulgaria. LNCS, vol. 10187. P. 256-263.
8. Bychkov Igor, Oparin Gennady, Tchernykh Andrei, Feoktistov Alexander, Bogdanova Vera, Gorsky S. Conceptual Model of Problem-Oriented Heterogeneous Distributed Computing Environment with Multi-Agent Management // Procedia Computer Science. - 2017. - Vol. 103. - P. 162-167
9. Deelman E., Vahi K., Rynge M., Juve G., Mayani R., Ferreira da Silva R. // Pegasus in the Cloud: Science Automation through Workflow Technologies, IEEE Internet Computing, vol. 20, iss. 1, pp. 70-76, 2016.
10. Irkutsk Supercomputer Center of SB RAS. http://hpc.icc.ru/ [online, accessed: 31-Jan-2017].
11. Nemirovskii A. A. Several NP-hard problems arising in robust stability analysis // Mathematics of Control, Signals, and Systems, vol. 6, 1993. pp. 99 - 105.
12. Oparin G., Feoktistov A., Bogdanova V., Sidorov I. Automation of multi-agent control for complex dynamic systems in heterogeneous computational network // AIP Conference Proceedings 1798, 020117 (2017);http://doi.org/10.1063/1.4972709
13. Somov Ye.I., Butyrin S., Oparin G.A., Bogdanova V.G. Methods and Software for Computer-Aided design of the Spacecraft Guidance, Navigation and Control Systems // MESA, vol. 7, no. 4, CSP - Cambridge, UK; I&S - Florida, USA, 2016, pp. 613-624.
14. Sukhoroslov O., Volkov S., Afanasiev A. A Web-Based Platform for Publication and Distributed Execution of Computing Applications // 14th International Symposium on Parallel and Distributed Computing (ISPDC). IEEE, 2015, pp. 175-184.
15. Talia D. Workflow systems for science: concepts and tools. ISRN Software Engineering. Vol. 2013, Article ID 404525, 15 pages. http://dx.doi.org/10.1155/2013/404525
16. Wolstencroft K., Haines R., Fellows D., Williams A., Withers D., Owen S., Goble C. (2013). The Taverna workflow suite: designing and executing workflows of Web Services on the desktop, web or in the cloud. Nucleic Acids Research, 41(Web Server issue), W557-W561. http://doi.org/10.1093/nar/gkt328
UDK 004.421+004.4'2+004.771
SERVICE-ORIENTED TOOLS FOR DISTRIBUTED SOLUTION OF DECOMPOSABLE
COMPUTATIONAL TASKS
Oparin G.A., Bogdanova V.G., Pashinin A.A.
(Matrosov Institute for System Dynamics and Control Theory of Siberian Branch of Russian
Academy of Sciences)
Abstract. Currently, parallel technologies are actively used in high-performance computing. The purpose of the research is developing tools for automating the creation, and controlling scientific service-oriented applications intended for parallel solving resource-intensive computing tasks decomposed into loosely coupled subtasks in the heterogeneous distributed computational environment. An example of using developed tools for solving the problem of parametric synthesis of the stabilizing feedback for a linear object is considered. Keywords: multi-agent system, composite service, feedback.
References
1. Bogdanova V. G.,, Pashinin A.A. Instrumentalnye sredstva avtomatizacii razrabotki-nauchnyh servisov [Automation tools for scientific service developing] // Informacionnye i matematicheskie tekhnologii v nauke I upravlenii, 2016, No 4-1, pp. 109-117 (in Russian)
2. Bychkov I. V., Oparin G. A., Feoktistov A. G., Bogdanova V. G., Sidorov I.A., Pashinin A.A. Multiagentnyj podhod k upravleniyu servis orientirovannymi vysokoproizvoditelnymi vychisleniyami [Multyagent approach to service oriented high performance computing managing] // Vestnik Kompyuternyh I Informacionnyh Tekhnologij 2016, No 9 (147), pp. 3541. (in Russian)
3. Oparin G. A., Feoktistov A. G., Bogdanova V. G., Gorsky S.A., Sidorov I.A., Pashinin A.A. Parallelnoe reshenie zadachi o staticheskom regulyatore dlya dvoichnyh dinamicheskih system parallelnye vychislitelnye tekhnologii [Parallel solution of static regulator problem for dynamical binary systems] // XI international conference, PAVT'2017 (Kazan, 3-7 April 2017) Sourth Ural State University, Chelyabinsk, 2017, pp.416-426. (in Russian)
4. Prohorov A.A., Nazarenko A.M., Davidov A.V. Shablony inzhenernyh i nauchnyh-raschetov [Engineering and scientific calculation templates] url: http://ceur-ws.org/Vol-l7S7/403-409-paper-70.pdf (in Russian)
5. Feoktistov A. G., Bogdanova V. G Pashinin A.A. Servis dlya organizacii mnogovariantnyh raschetov pri issledovanii system massovogo obsluzhivaniya [Service for organization of multivariate calculations for the investiagation of queuing systems] // Proceedings of XX conference Informacionnye I Matematicheskie Tekhnologii Vauke I Upravlenii, Irkutsk: ISEM SB RAS, 2015, p. II, pp. 37-44. (in Russian)
6. Bychkov I. V., Oparin G. A., Feoktistov A. G., Bogdanova V. G., Pashinin A. A. Service-Oriented Multiagent Control of Distributed Computations // Automation and Remote Control, vol. 76, no. 11, 2015, pp. 2000-2010.
7. Bychkov I., Oparin G., Feoktistov A., Bogdanova V., Sidorov I. The Service-Oriented Multiagent Approach to High-Performance Scientific Computing // Proceedings of the Sixth Conference on Numerical Analysis and Applications. June 15-22, 2016, Lozenetz, Bulgaria. LNCS, vol. 101S7. P. 256-263.
S. Bychkov Igor, Oparin Gennady, Tchernykh Andrei, Feoktistov Alexander, Bogdanova Vera, Gorsky S. Conceptual Model of Problem-Oriented Heterogeneous Distributed Computing Environment with Multi-Agent Management // Procedia Computer Science. - 2017. - Vol. 103. - P. 162-167
9. Deelman E., Vahi K., Rynge M., Juve G., Mayani R., Ferreira da Silva R. // Pegasus in the Cloud: Science Automation through Workflow Technologies, IEEE Internet Computing, vol. 20, iss. 1, pp. 70-76, 2016.
10. Irkutsk Supercomputer Center of SB RAS. http://hpc.icc.ru/ [online, accessed: 3l-Jan-20l7].
11. Nemirovskii A. A. Several NP-hard problems arising in robust stability analysis // Mathematics of Control, Signals, and Systems, vol. 6, 1993. pp. 99 - 105.
12. Oparin G., Feoktistov A., Bogdanova V., Sidorov I. Automation of multi-agent control for complex dynamic systems in heterogeneous computational network // AIP Conference Proceedings 179S, 020117 (20l7);http://doi.org/l0.l063/l.4972709
13. Somov Ye.I., Butyrin S., Oparin G.A., Bogdanova V.G. Methods and Software for Computer-Aided design of the Spacecraft Guidance, Navigation and Control Systems // MESA, vol. 7, no. 4, CSP - Cambridge, UK; I&S - Florida, USA, 2016, pp. 613-624.
14. Sukhoroslov O., Volkov S., Afanasiev A. A Web-Based Platform for Publication and Distributed Execution of Computing Applications // 14th International Symposium on Parallel and Distributed Computing (ISPDC). IEEE, 2015, pp. 175-184.
15. Talia D. Workflow systems for science: concepts and tools. ISRN Software Engineering. Vol. 2013, Article ID 404525, 15 pages. http://dx.doi.org/10.1155/2013/404525
16. Wolstencroft K., Haines R., Fellows D., Williams A., Withers D., Owen S., Goble C. (2013). The Taverna workflow suite: designing and executing workflows of Web Services on the desktop, web or in the cloud. Nucleic Acids Research, 41(Web Server issue), W557-W561. http://doi .org/10.1093/nar/gkt328
