CC BY
40
УДК 681.3.06
ИНТЕГРИРОВАННАЯ ИНСТРУМЕНТАЛЬНАЯ СРЕДА ОРГАНИЗАЦИИ ПРОБЛЕМНО-ОРИЕНТИРОВАННЫХ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ
(Работа выполнена при частичной поддержке РФФИ, грант № 10-07-00146)
Г. А. Опарин, д.т.н.., зам. директора по научной работе; А.П. Новопашин, к.т.н., зав. лабораторией; А.Г. Феоктистов, к.т.н., с.н.с. (Институт динамики систем и теории управления Сибирского отделения РАН, ул. Лермонтова, 134, г. Иркутск, 664033, Россия, oparir@icc.ru, apn@icc.ru, agj@icc.ru)
В статье представлен подход к интегрированному использованию инструментальных средств организации распределенных вычислений в рамках единой среды проектирования, создания и применения проблемно-ориентиро-ваннных программных комплексов различного назначения, функционирующих в интегрированной кластерной системе. Рассмотрены характеристики интегрированной кластерной системы и предложена технологическая схема решения вычислительных задач в ней. Перечислены интегрируемые инструментальные средства: среда непроцедурного программирования СиКруС для синтеза параллельных программ с учетом ресурсных ограничений используемой вычислительной системы и продолжительности исполнения прикладных модулей, инструментальные комплексы ORLANDO TOOLS и DISCOMP для разработки пакетов прикладных программ соответственно в однородных и разнородных распределенных вычислительных средах, инструментальный комплекс DISCENT для создания кластерных Grid, инструментальный комплекс СИРИУС для моделирования проблемно-ориентированных комплексов. Интеграция инструментальных средств осуществляется на основе модели кластерной системы, разработанной авторами. Приведены примеры задач, решенных с помощью вышеперечисленных инструментальных средств.
Отличительной особенностью представленного подхода является согласованное применение методологии разработки параллельных и распределенных пакетов прикладных программ, мультиагентных технологий управления вычислительным процессом и комплексного моделирования (концептуального, имитационного и полунатурного) создаваемых проблемно-ориентированных программных комплексов.
Ключевые слова: распределенные вычисления, проблемно-ориентированные программные комплексы, инструментальные средства организации и интеграции.
INTEGRATED TOOLKIT FOR ORGANIZATION OF THE PROBLEM-ORIENTED DISTRIBUTED
COMPUTING
Oparin G.A., Ph.D., Deputy Director on Scientific Work; Novopashin A.P., Ph.D., Head of Laboratory;
Feoktistov A.G., Ph.D., Senior Researcher (Institute of Systems Dynamics and Control Theory of Siberian Branch of Russian Academy of Sciences (IDSTUSB RAS), 134, Lermontova St., Irkutsk, 664033, Russia, oparin@icc.ru, apn@icc.ru, agf@icc.ru)
Abstract. In this paper the approach to integrated use of tools for organization a distributed computing within the single environment for design, create and using problem-oriented software is represented. Problem-oriented software operates in the integrated cluster system. The characteristics of integrated cluster system are considered and the technological scheme of computing problems solving in this system is suggested. The integrable tools are listed: the non-procedural programming environment SyKruS for synthesis of parallel programs taking into account constraints on used resources of computer system and programming modules run-time, the toolkits DISCOMP and ORLANDO TOOLS for development of problem-oriented software in a homogeneous and heterogeneous distributed computing environments respectively, the toolkit DISCENT for cluster Grid development, the toolkit SIRIUS for modeling of problem-oriented software. The integration of tools is based on the cluster system model developed by the authors. The examples of problems solved with the use of above-listed tools are represented.
The distinctive feature of represented approach is coordinated use of methodology of development parallel and distributed software packages, multiagent technology for the computing process management and integrated modeling (conceptual, simulation and seminatural) problem-oriented software.
Keywords: distributed computing, problem oriented software, organization and integration tools.
Современное развитие информационно-вычислительных и сетевых технологий, ПО и аппаратных средств позволяет организовывать сложные географически распределенные вычислительные системы для поддержки проведения массовых ресурсоемких фундаментальных и прикладных исследований. В частности, в научном сообществе ведутся активные работы по созданию и использованию Грид-систем различного назначения [1, 2], среди которых важное место отводится вычислительным Грид-системам.
В данной статье представлен опыт, накопленный в Институте динамики систем и теории управления СО РАН (ИДСТУ СО РАН) в области организации высокопроизводительных параллельных и распределенных вычислений.
Одной из разновидностей Грид-систем является интегрированная кластерная система - распределенная вычислительная среда, предназначенная для решения фундаментальных и прикладных вычислительных задач и характеризующаяся следующими особенностями:
- в качестве узлов системы выступают вычислительные кластеры;
- кластеры организуются на базе как выделенных, так и невыделенных вычислительных машин и, следовательно, существенно различаются по степени надежности своих вычислительных ресурсов;
- на разных уровнях интеграции системы существуют различные категории пользователей, в том числе нуждающиеся в высокоуровневых средствах организации вычислительного процесса решения задачи;
- вычислительные кластеры используются пользователями системы совместно с владельцами этих кластеров;
- задание пользователя представляет собой спецификацию процесса решения задач, содержащую информацию о требуемых вычислительных ресурсах, исполняемых прикладных программах, входных/выходных данных, а также другие необходимые сведения;
- множество заданий пользователей рассматривается с точки зрения теории очередей и представляется в виде совокупности потоков заданий с приоритетами;
- поток заданий характеризуется динамичностью, стохастичностью, неоднородностью, отсутствием обратной связи, неординарностью, стационарностью;
- свободных ресурсов системы недостаточно для одновременного обслуживания всех заданий, находящихся в очередях;
- в рамках системы функционируют распределенные проблемно-ориентированные программные комплексы, размещенные в ее узлах;
- в общем случае в системе имеется программно-аппаратная вычислительная избыточность (программа может быть размещена и выполнена в разных узлах системы, а одни и те же вычисления могут производиться с помощью различных программ);
- в системе нет единой политики администрирования вычислительных кластеров, на кластерах применяются различные принципы и механизмы обработки потоков заданий разных типов.
В настоящее время в ИДСТУ СО РАН в рамках САТУРН-технологии [3] разработаны новые программные инструменты [4, 5] для создания интегрированных кластерных систем:
- среда непроцедурного программирования СиКруС для синтеза параллельных программ на языке Fortran-DVM с учетом ресурсных ограничений используемой вычислительной системы и продолжительности исполнения прикладных модулей;
- инструментальный комплекс ORLANDO для автоматического конструирования асинхрон-
ных параллельных программ в вычислительных кластерах;
- инструментальный комплекс DISCOMP для организации распределенных пакетов прикладных программ в разнородных вычислительных средах;
- инструментальный комплекс DISCENT для организации интегрированных кластерных сред;
- графическая инструментальная среда СИРИУС для моделирования и анализа эффективности функционирования интегрированных кластерных сред;
- мультиагентная среда децентрализованного планирования вычислений и распределения ресурсов, функционирующая на основе вероятностных моделей надежности интегрированной кластерной системы и экономических механизмов регулирования спроса и предложения ресурсов.
Перечисленные инструментальные средства обеспечивают поддержку всех научно-технических процессов, связанных с решением в интегрированной кластерной системе фундаментальных и прикладных задач на основе парадигм параллельного и распределенного программирования.
Технология интеграции инструментальных средств организации проблемно-ориентированных распределенных вычислений базируется на согласованном применении следующих компонентов:
- методы автоматизации процессов концептуализации предметных областей решаемых задач, построения вычислительных моделей, проведения имитационного и полунатурного моделирования вычислительных систем, выполнения параллельных и распределенных вычислений, мониторинга работы вычислительных систем;
- мультиагентные средства управления вычислительными процессами решения прикладных и фундаментальных исследовательских задач, планирования и распределения вычислительных ресурсов;
- инструментальные программные средства создания и применения проблемно-ориентированных программных комплексов различного назначения, в том числе параллельных и распределенных пакетов прикладных программ;
- программно-аппаратные средства (вычислительные кластеры и системное программное обеспечение для их интеграции и управления), в рамках которых осуществляются создание и применение проблемно-ориентированных программных комплексов.
Перечисленные компоненты объединяются в технологическую схему (см. рис.) решения прикладных и фундаментальных исследовательских задач с заданными параметрами уровня их обслуживания (временем, стоимостью и надежностью процесса решения задачи). Объединение компонентов осуществляется на основе оригинальной
АДМИНИСТРАТОРЫ КЛАСТЕРОВ, РАЗРАБОТЧИКИ ПРОБЛЕМНО-ОРИЕНТИРОВАННЫХ ПРОГРАММНЫХ КОМПЛЕКСОВ
"Т" I
I
I
Интегрированная кластерная система
Управление программно-аппаратными средствами интегрированной кластерной системы
Т
Программно-аппаратные средства интегрированной кластерной системы
Управляющий
узел
Вычислительный узел
Вычислительный узел
Вычислительный узел
Классы задач
-4 ! Построение агрегированной концептуальной модели интегрированной кластерной системы
Описание программно-аппаратных средств
интегрированной кластерной системы
4-►
Концептуализация предметной области
Построение вычислительной модели
Построение имитационной модели
Построение полунатурной модели
Мониторинг интегрированной кластерной системы
4« Моделирование работы интегрированной кластерной системы
Модификация агрегированной концептуальной
модели интегрированной кластерной системы
Формулировка постановок задач
Формирова-
ние заданий и определение параметров уровня их обслуживания
4 4 4§! Выполнение параллельных и распределенных вычислений
СПЕЦИАЛИСТЫ-ПРЕДМЕТНИКИ
передача управления между компонентами системы передача данных между компонентами системы
передача управления между пользователями и компонентами системы передача данных между пользователями и компонентами системы инструментальная поддержка процессов в интегрированной кластерной системе
объектной модели [6], которая обеспечивает взаимосвязанное представление проблемно-ориентированного, программно-аппаратного, имитационного и управляющего слоев знаний об интегрированной кластерной системе, а также всестороннее исследование необходимых свойств (эффективность, надежность и др.) проектируемых для этой системы прикладных программных комплексов различного назначения.
Использование в инструментальных средствах единой модели интегрированной кластерной системы позволяет обеспечить комплексирование по данным для всех проблемно-ориентированных программных комплексов, разрабатываемых с помощью этих средств. Это дает возможность использования в процессе создания нового программного комплекса фрагментов описания предметных областей, функциональных модулей,
исходных данных и результатов вычислений, имеющихся в других комплексах. Вследствие этого сокращаются сроки разработки прикладного программного обеспечения и проведения вычислительных экспериментов.
В качестве примеров практического использования представленных в статье инструментальных средств можно привести ряд практически важных задач, решенных в интегрированной кластерной системе ИДСТУ СО РАН, в том числе
- параллельное решение систем булевых уравнений общего вида;
- декомпозиция алгоритма филогенетического классификатора CARMA;
- имитационное и полунатурное моделирование алгоритмов планирования и распределения ресурсов в распределенных вычислительных средах;
- моделирование процессов складской логистики;
- комплексирование по данным разработанных пакетов моделирования складской логистики.
В заключение отметим, что в статье представлен подход к организации проблемно-ориентированных распределенных вычислений, обеспечивающий единую технологическую схему решения широкого спектра задач в интегрированной кластерной системе, а также комплексную инструментальную поддержку всех научно-технических процессов в ней.
Основное отличие представленного подхода от традиционно применяемых к организации разнородных распределенных вычислительных сред подходов в комплексном использовании методов и средств инженерии знаний, методов автоматического построения параллельных распределенных планов решения непроцедурных постановок задач на вычислительной модели предметной области в виде системы булевых уравнений, децентрализованной схемы управления решением поставленной задачи с использованием группы интеллектуальных агентов, концептуального, имитационного и полунатурного моделирования создаваемых проблемно-ориентированных распределенных программных комплексов.
Литература
1. Foster I., Kesselman C., Tuecke S., Intern. Journ. of High Performance Computing Applications, 2001, Vol. 15, no. 3. pp. 200-222.
2. Baker M., Buyya R., Laforenza D., Software: Practice and Experience, 2002, Vol. 32, no. 15, pp. 1437-1466.
3. Опарин Г.А. Сатурн - метасистема для построения пакетов прикладных программ. В кн.: Пакеты прикладных программ. Методы и разработки. Новосибирск: Наука, 1982. С. 130-160.
4. Бычков И.В., Опарин Г.А., Новопашин А.П., Феоктистов А.Г., Корсуков А.С., Сидоров И.А. Высокопроизводительные вычислительные ресурсы ИДСТУ СО РАН: Текущее состояние, возможности и перспективы развития // Вычислительные технологии. 2010. Т. 15. № 3. С. 69-82.
5. Бычков И.В., Опарин Г.А., Феоктистов А.Г., Корсуков А.С. Децентрализованное управление потоками заданий в интегрированной кластерной системе // Вестн. НГУ. Сер.: Информационные технологии. 2011. Т. 9. Вып. 2. С. 42-54.
6. Опарин Г.А., Феоктистов А.Г. Модели и инструментальные средства организации распределенных вычислений // Параллельные вычисления и задачи управления: тр. IV Меж-дунар. конф. М.: Изд-во ИПУ РАН, 2008. C. 1126-1135.
References
1. Foster I., Kesselman C., Tuecke S., Intern. Journ. of High Performance Computing Applications, 2001, Vol. 15, no. 3, pp. 200-222.
2. Baker M., Buyya R., Laforenza D., Software: Practice and Experience, 2002, Vol. 32, no. 15, pp. 1437-1466.
3. Oparin G.A., Pakety prikladnykh programm. Metody i raz-rabotki [Applied software packages. Methods and developments], Novosibirsk, 1982, pp. 130-160.
4. Bychkov I.V., Oparin G.A., Novopashin A.P., Feoktis-tov A.G., Korsukov A.S., Sidorov I.A., Vychislitelnye tekhnologii, 2010, Vol. 15, no. 3, pp. 69-82.
5. Bychkov I.V., Oparin G.A., Feoktistov A.G., Korsu-kov A.S., Vestnik Novosibirskogo Gos. Univ., 2011, Vol. 9, Iss. 2, pp. 42-54.
6. Oparin G.A., Feoktistov A.G., Parallelnye vychisleniya i zadachi upravleniya [Parallel Computing and Control Problems], Proc. IV Intern. Conf., Moscow, IPU RAS, 2008, pp. 1126-1135.
УДК 007:519.816
ИНТЕГРАЦИЯ ТЕХНОЛОГИИ ОЬАР И НЕЧЕТКИХ МНОЖЕСТВ ДЛЯ ОБРАБОТКИ НЕОПРЕДЕЛЕННЫХ И НЕТОЧНЫХ ДАННЫХ В СИСТЕМАХ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ
(Работа выполнена при финансовой поддержке РФФИ, проекты №№ 11-01-00140, 12-07-00508)
А.П. Еремеев, д.т.н., профессор, зав. кафедрой; А.А. Еремеев, аспирант (Национальный исследовательский университет «Московский энергетический институт», ул. Красноказарменная, 14, Е-250, г. Москва, 111250, Россия, eremeev@appmat.ru, YeremeevAA@mpei.ru)
Рассматриваются возможности интеллектуального анализа данных применительно к системам поддержки принятия решений, в том числе и к интеллектуальным системах поддержки принятия решений реального времени (ИСППР РВ), посредством интеграции технологии OLAP (Online Analytical Processing) и нечеткой логики. Данная интеграция позволит реализовать в ИСППР РВ средства для комплексного многомерного анализа больших объемов данных, их динамики и тенденций. Отмечается, что, хотя технология OLAP и не является необходимым атрибутом современных хранилищ данных (Data Warehouses), в настоящее время она активно применяется, в частности, для анализа накопленной в хранилищах данных информации. Используются такие понятия из теории нечетких множеств, как нечеткий срез, нечеткое множество для задания индекса соответствия и др. Даются необходимые формальные определения и приводится соответствующий иллюстративный материал. Работа выполнена с целью использования соответствующих методов и программных средств в ИСППР РВ для анализа плохо определенной (неоднозначной) информации (данных и знаний) и оперирования ею.
Ключевые слова: интеллектуальная система, хранилище данных, технология OLAP, нечеткие множества.
