CC BY
48
Актуальность и шаги создания системы грид-образования
В.А. Сухомлин, А.П. Афанасьев, Л.А. Калиниченко, М.А. Посыпкин, С.А. Ступников, О.В. Сухорослов
Введение
В последние годы быстрое развитие получили технологии организации распределенной обработки информации и высокопроизводительных вычислений. Одним из классов таких технологий являются грид-технологии - инфраструктурные технологии промежуточного слоя, предоставляющие возможность интеграции вычислительных и информационных ресурсов глобальных сетей для решения сверхсложных и ресурсоемких задач вычислительного характера и/или обработки информации. Грид-инфраструктуры являются разновидностью распределенных параллельных систем, определяемых наборами открытых стандартов и протоколов, и служащих для обеспечения доступа к данным, вычислительным мощностям, средам хранения и широкому набору других ресурсов, доступных при помощи Интернета.
Грид-инфраструктуры разнообразны по своему функциональному назначению. Большой класс грид-технологий составляют вычислительные гриды, ориентированные на распределенные вычисления с целью образования «виртуального суперкомпьютера» из большого числа компьютеров, связанных друг с другом посредством сети и работающих совместно при решении сложных задач, требующих значительных вычислительных и информационных ресурсов. В е-Баепсе все более широкое применение находят информационные гриды, обеспечивающие доступ к неоднородным, распределенным репозиториям данных большого объема наряду с разделяемым доступом к другим видам ресурсов, включая вычислительные.
Представленная работа акцентирует внимание на актуальности создания целостной системы подготовки профессиональных кадров в сфере грид-технологий и распределенного компьютинга. В качестве первоочередной задачи коллективом авторов предпринята разработка соответствующей магистерской программы в рамках направления 010300 «Фундаментальная информатика и информационные технологии -ФИИТ». Рассмотрены первые результаты работы в данном направлении.
1. Актуальность и основные шаги создания системы грид-образования
В настоящее время происходит стремительное развитие технологий грид с целью создания согласованной, открытой и стандартизованной технологической среды, обеспечивающей гибкое, безопасное, скоординированное совместное использование вычислительных ресурсов глобальной сети для решения сложных и ресурсоемких задач в важнейших областях современной науки и техники.
Различают следующие классы грид [1-18]: Computational Grid - грид ориентированный на распределенные вычисления, Data Grid - грид ориентированный на обработку больших потоков данных, Informational Grid - грид ориентированный на интеграцию крупных распределенных хранилищ (OGSA-DAI), в подобных архитектурах используется централизованный реестр, хранящий метаданные всех сервисов и распределенных хранилищ, Hybrid Grid - грид сочетающий в себе как Computatuinal/Data Grid так и Informational Grid, Semantic Grid - это любой из описанных типов грид-архитектур в котором описывается семантика ресурсов (интерфейсы, характеристики производительности, особенности безопасности).
Сейчас уже можно утверждать, что освоение грид-инфраструктуры является важным фактором развития ряда наукоемких приложений, для которых требуются высокопроизводительные вычисления и массовая обработка информации. Однако создание распределенных грид-приложений относится к наукоемким задачам и является существенно более сложным процессом по сравнению с созданием обычных последовательных программных систем. В связи с этим весьма актуальным становится задача развертывания системы подготовки высокопрофессиональных кадров в области распределенных вычислений и грид-технологий в рамках существующей системы высшего профессионального образования.
Анализ федеральных государственных образовательных стандартов (ФГОС) нового поколения показал, что наиболее адекватной учебно -методической платформой для построения системы грид-образования являются направления, разработанные факультетов вычислительной математики и кибернетики МГУ имени М.В. Ломоносова:
• 010400 - Прикладная математика и информатика
• 010300 Фундаментальная информатика и информационные технологии - ФИИТ (до 2010 года «Информационные технологии»). Указанные направления позволяют построить полную уровневую
систему подготовки, включающую как уровень бакалавра (в виде профиля), так и уровень магистра (магистерская программа). При этом магистерская подготовка в данном случае имеет более весомое значение,
как с точки зрений конечных целей обучения (подготовка высокопрофессиональных креативных кадров), так и в плане полноты объема знаний для подготовки профессионалов данной направленности. Поэтому в качестве первоочередной задачи авторами ставится цель разработки и внедрения в учебную практику магистерской программы, получившей название «Высокопроизводительные распределенные технологии и ГРИД».
К основным шагам решения этой задачи следует отнести следующее:
• создание учебно-методического обеспечения (спецификаций объема знаний, учебных программ, учебных курсов и практических занятий, УМК и пр.);
• создание учебной грид-инфраструктуры, полигона GRID-EDU;
• развертывание программного обеспечения промежуточного слоя (middleware) и разработка средств унифицированного доступа к грид-сервисам разного класса грид-инфраструктур;
• применение технологий электронного обучения, организация учебных процессов для классической и смешанных форм обучения. Кратко рассмотрим решения, разработанные при реализации указанных выше шагов.
2. Создание учебно-методического обеспечения
В данном проекте первостепенное значение уделяется разработке объема знаний системы грид-образования (Knowledge of Body of Grid-Education - KoB GE). При этом используется подход, аналогичный подходу, применяемому при разработке типовых программ учебных курсов организациями IEEE и ACM [19]. В данном подходе объем знаний определяется в виде иерархической конструкции с тремя уровнями иерархии, включая уровни предметных областей знаний, разделов областей и тем (топиков) разделов. Процесс проектирования объема знаний системы грид-образования носит коллективный характер. Для интенсификации этого процесса планируется использовать процесс консорциумной стандартизации, организованный на основе ресурса it-edu.ru . Ниже представлен состав предметных областей KoB GE: DC1: Архитектура параллельных и распределенных вычислительных систем
DC2: Парадигмы и методы распределенных вычислений и процессов обработки информации
DC3 : Грид-системы и ПО промежуточного слоя DC4: Распределенные объектные технологии DC5: Технологии облачных вычислений DC6: Онтологическое моделирование в грид-среде DC7: Методы обеспечения безопасности грид-систем
DC8: Администрирование грид-систем
DC9: Методы и средства разработки грид-приложений
DC10: Организационно-методическое обеспечение грид-систем
3. Создание полигона GRID-EDU
Важной составляющей учебного процесса в области высокопроизводительных вычислений является набор практических занятий и исследований на современной технологической базе с использованием современных средств разработки программного обеспечения.
Полигон GRID-EDU создается на основе следующих требований:
174. включение в состав полигона высокопроизводительных вычислительных ресурсов и инфраструктурных решений различных типов, в частности, многопроцессорных систем с общей памятью, систем с распределенной памятью, сервисных гридов, грид-систем на базе объединенных в сети персональных компьютеров;
175. функциональная полнота инструментальных средств - на компьютерах полигона GRID-EDU должен присутствовать широкий набор стандартных программных средств построения грид-приложений;
176. предоставление доступа для различных организаций к сервисам и ресурсам грид-инфраструктур при обеспечении надежных средств аутентификации и авторизации, сводящих к минимуму риск несанкционированного проникновения в компьютерные сети организаций. Создание полигона GRID-EDU, удовлетворяющего определенным
выше условиям, ведется посредством интеграции ресурсов организаций, участвующих в рассматриваемом проекте.
4. Базовые грид-технологии для организации учебного процесса
Важным вопросом создания образовательной системы в области грид и распределенного компьютинга является выбор грид-технологий для учебного процесса и оснащение ими грид-полигона. Как следует из вышесказаного, одно из требований к оснащению гридами учебной базы - это обеспечение возможности для учащихся работать с гридами разных классов, в частности, как с вычислительными, так и информационными.
При выборе вычислительных гридов для учебного процесса был проведен анализ наиболее распространенных решений в этой области, который показал, что в настоящее время успешно развиваются два основных подхода к построению вычислительных гридов.
Первый подход, получивший называние сервисного грида (Service Grid), предполагает развертывание распределенной сервис -ориентированной инфраструктуры, обеспечивающей унифицированный удаленный доступ к выделенным ресурсам уровня кластеров или супер-
компьютеров. Поставщиками ресурсов в подобных системах являются достаточно крупные организации, обладающие ресурсами указанного уровня. Как правило, включаемые в сервисный грид ресурсы являются гомогенными, то есть функционируют под управлением одной версии ОС и предоставляют одинаковое окружение для запускаемых заданий. Число пользователей сервисных гридов гораздо больше числа поставщиков ресурсов. При этом каждый пользователь может использовать ресурсы грида для запуска своих приложений. Примерами сервисных гридов являются EGEE, NorduGrid, TeraGrid. Базовым промежуточным ПО подобных систем служат технологии Globus Toolkit, gLite, ARC, UNICORE. Недостатком сервисных гридов является высокая сложность установки и администрирования указанного ПО, что ограничивает круг потенциальных поставщиков ресурсов.
Второй подход, так называемый грид рабочих станций (Desktop Grid), предполагает использование ресурсов большого количества простаивающих персональных компьютеров, подключенных к сети. Поставщиками ресурсов в подобных системах являются рядовые пользователи. Подключаемые в грид ресурсы рабочих станций являются гетерогенными по своей архитектуре и программному обеспечению. При этом данные ресурсы, как правило, доступны не постоянно, а только в моменты их простоя. Поэтому, в отличие от сервисных гридов, состав ресурсов грида рабочих станций является гораздо более динамичным. В подобных системах число поставщиков ресурсов обычно гораздо больше числа пользователей, использующих ресурсы грида для запуска приложений. Примерами технологий для организации грида рабочих станций являются BOINC, Condor, XtremWeb. В отличие от технологий сервисных гридов, данные технологии позволяют легко и быстро подключать к системе новые ресурсы.
На данном этапе разработки магистерской программы для ее реализации выбраны следующие инфраструктурные технологии:
• промежуточное программное обеспечене gLite, которое является наиболее распространенным способом организации грид-вычислений в Европе;
• грид рабочих станций (desktop grids) BOINC (Berkley Open Infrastructure for Network Computing), в качестве вычислительных ресурсов которого планируется использовать мощности компьютерных классов и выделенные ресурсы организации EGEE, подключенные к гри-ду рабочих станций при помощи технологии EDGeS.
Выбор информационных грид-инфрастрктур для их использования в образовательном процессе еще не завершен, в виду их большого многообразия, включающего, как уже отмечалось гриды знаний, онтологические гриды, семантические гриды, и др.
5. Применение технологии электронного обучения
Технологии распределенных и параллельных вычислений являются быстроразвивающейся динамично изменяющейся областью знаний. Поэтому чрезвычайно остро стоит вопрос создания образовательного контента и поддержание его в соответствии с современными технологиями параллельных и распределенных вычислений. Специалистами ИСА РАН, ВМК МГУ, МФТИ и других организаций накоплен значительный опыт преподавания методов и технологий параллельных и распределенных вычислений. Разработаны учебные пособия и слайды презентаций. Размещение этого материала в едином хранилище позволит создать информационный ресурс, полезный как для преподавателей, так и для студентов, обучающихся по тематике распределенных вычислений и грид. С этой целью авторами ведется работа по созданию соответствующего учебно-методического обеспечения на базе ресурса виртуальной кафедры http://vitu.oit.cmc.msu.ru/. В процессе реализации данной магистерской программы планируется широко использовать возможности технологий электронного обеспечения. В процессе реализации данной магистерской программы планируется широко использовать возможности технологий электронного обеспечения.
6. Краткое содержание базового годового курса
Рассмотрим краткое содержание программы базового семестрового курса магистерской программы, разработанного авторским коллективом, который апробируется в настоящее время в рамках учебного процесса на факультете ВМК МГУ имени М.В. Ломоносова. Данный курс называется «Высокопроизводительные распределенные технологии и ГРИД», его программа включает следующие темы:
• Введение в параллельные и распределенные вычисления
• Основные технологии разработки программ для систем с общей и распределенной памятью
• Практикум по параллельным вычислением
• Введение в Грид-технологии
• Основы технологии Десктоп-грид
• Установка и настройка BOINC
• Запуск распределенных приложений в платформе BOINC
• Разработка и сборка приложений для платформы BOINC -I
• Разработка и сборка приложений для платформы BOINC -II
• Введение в технологию MapReduce, реализация на платформе Hadoop
• Разработка и запуск приложений на платформе Hadoop
• Высокоуровневые технологии на базе MapReduce, язык PIG, библиотека Cascading
В заключение следует отметить, что рассмотренный выше проект является открытым. Его реализация в части учебно-методического обеспечения проводится с помощью консорциумного подхода на базе сайта поддержки учебно-методических совета для направлений ПМИ и ФИИТ www.it-edu.ru .
Литература
3. Foster, Ian; Carl Kesselman The Grid: Blueprint for a New Computing Infrastructure. Morgan Kaufmann Publishers. ISBN 1-55860-475-8. 1999
4. Anderson. BOINC: A System for Public-Resource Computing and Storage. In proceedings of the 5th IEEE/ACM International GRID Workshop, Pittsburgh, USA, 2004
5. David P. Anderson, Public Computing: Reconnecting People to Science. Conference on Shared Knowledge and the Web. Residencia de Estudiantes, Madrid, Spain, Nov. 17-19 2003
6. E. Urbach, P. Kacsuk, Z. Farkas, G. Fedak, G. KecskemMi, O. Lodygensky, A. Cs. Marosi, Z. Balaton, Zo№n; G. Caillat, G. Gombбs, A. Kornafeld, J. Kov6cs, H. He, R. Lovas: EDGeS: Bridging
7. EGEE to BOINC and Xtrem Web, Journal of Grid Computing, 2009, Vol 7, No. 3, pages 335 -354.
8. P. Kacsuk, A. Marosi, J. Kovacs, Z. Balaton, G. Gombas, G. Vida, A. Kornafeld. SZTAKI Desktop Grid - a Hierarchical Desktop Grid System, Cracow Grid Workshop, Krakow, 2006
9. BOINC: User manual [HTML] (http://boinc.berkeley.edu/wiki/User_manual)
10. SZTAKI: DC-API manual [HTML] (http://www.desktopgrid.hu/storage/dcdoc/general.html)
11. The Open Grid Services Architecture.
http://www.ggf.org/documents/GFD.30.pdf
12. The Information Grid: A Practical Approach to the Semantic Web, Oracle,
http://www.oracle.com/technology/tech/semantic technologi es/pdf/ informationgrid_oracle.pdf
13. AstroGrid. http://www.astrogrid.org/
14. Information grid, Japan project, http://informationgrid.org/wiki/index.php/Main Page
15. Global Information Grid (GIG), DoD,
http://www.globalsecurity.org/space/systems/gi g.htm
16. Department of Defense Global Information Grid Architectural Vision, June 2007,
17. http://cio-nii.defense.gov/docs/gigarchvision.pdf
18. Nicholas R. Jennings David De Roure and Nigel R. Shadbolt. The Semantic Grid: Past, Present, and Future.
http://eprints.ecs.soton.ac.uk/9976/1/procieee.pdf
19. Kalinichenko L.A., Stupnikov S.A., Martynov D.O. SYNTHESIS: a Language for Canonical Information Modeling and Mediator Definition for Problem Solving in Heterogeneous Information Resource Environments. Moscow: IPI RAN, 2007. -171 p
20. Kalinichenko L.A. Compositional Specification Calculus for Information Systems Development Proceedings of the East-West Conference on Advances in Databases and Information Systems (ADBIS'99), Maribor, Slovenia, September 1999, Springer Verlag, LNCS
21. Computing Curricula 2005. Association for Computing Machinery and Computer Society of IEEE.
