CC BY
54
Corporate cloud of UBr RAS
Grigoryev Alexey Mikhaylovich,
N. N. Krasovskii Institute of Mathematics and Mechanics of Ub RAS
E-mail: alexg@uran.ru Khokhlov Igor Alexandrovich, N. N. Krasovskii Institute of Mathematics and Mechanics of Ub RAS
E-mail: hia@uran.ru Matviychuk Alexander Rostislavovich, N. N. Krasovskii Institute of Mathematics and Mechanics of Ub RAS
E-mail: matv@uran.ru Belousov Alexey Nikolaevich, N. N. Krasovskii Institute of Mathematics and Mechanics of Ub RAS
E-mail: belousov_an@uran.ru
Corporate cloud of UBr RAS
Abstract: The article discusses a number ofissues related to the various aspects ofcorporate cloud UB RAS. Among them are issues such as prerequisite of the cloud creation and its hardware and software components. Special attention is paid to the cloud services as a tool for supporting research activities of institutes of UB RAS.
Keywords: Corporate cloud, scientific researches supporting tool, virtual servers, cloud-based services.
Григорьев Алексей Михайлович, ИММ УрО РАН им. Н. Н. Красовского заведующий отделом вычислительных сетей E-mail: alexg@uran.ru Хохлов Игорь Александрович, ИММ УрО РАН им. Н. Н. Красовского к. т.н., главный программист E-mail: hia@uran.ru Матвийчук Александр Ростиславович, ИММ УрО РАН им. Н. Н. Красовского к.ф-м.н, старший научный сотрудник E-mail: matv@uran.ru
Белоусов Алексей Николаевич, ИММ УрО РАН им. Н. Н. Красовского
программист E-mail: belousov_an@uran.ru
Корпоративное облако УрО РАН
Работа выполнена при финансовой поддержки программы Президиума УрО РАН № 15-7-1-19.
Аннотация: В статье обсуждается ряд вопросов, связанных с различными аспектами функционирования корпоративного облака УрО РАН. Среди них можно выделить такие вопросы, как предпосылки создания облака, а так же его аппаратная и программная составляющие. Особое внимание в статье уделено облачным сервисам как инструментам поддержки научно-исследовательской деятельности институтов УрО РАН.
Ключевые слова: Корпоративное облако, средство поддержки научных исследований, виртуальные сервера, облачные сервисы.
Введение
В настоящее время информационные технологии повсеместно переходят на качественно новый уровень использования — на облачные сервисы. По-
нятие «облако» и «облачные сервисы» служат для обозначения подхода, при котором вычислительные мощности, ресурсы для хранения данных и приложения предоставляются через сеть передачи данных
13
Section 3. Information technology
и не привязываются к локальному компьютеру. Благодаря этому, пользователи, используя относительно простые рабочие станции, получают возможность работать с вычислительными и информационными системами большой мощности, причем пользователю не требуется никаких особых знаний об инфраструктуре облака или навыков управления этой облачной технологией.
Парадигма облачных сервисов предполагает безопасный виртуальный доступ к различным платформам и программам (сервисам) через сеть по первому требованию и в нужном объеме. Таким образом, информационные ресурсы и услуги отделены от физической компьютерной инфраструктуры, а объем предоставляемых сервисов определяется экономическими, а не техническими ограничениями. Это позволяет достичь значительной экономии за счет максимально эффективного использования вычислительных мощностей, существенного сокращения расходов на приобретение и поддержку аппаратного и программного обеспечения, масштабируемости ресурсов, повышения отказоустойчивости и надежности хранения данных, стандартизации работы пользователей.
1. Предпосылки создания облака УрО РАН
Уральское отделение РАН объединяет более 40 научных организаций, в которых трудятся свыше 5 тысяч сотрудников, занимающихся научной и исследовательской деятельностью. В состав УрО РАН входят 7 научных центров в Екатеринбурге, Архангельске, Коми, Оренбурге, Перми, Удмуртии и Челябинске. При такой распределенной структуре УрО РАН важную роль играет коммуникационная среда, которая позволяет взаимодействовать институтам между собой. За последние 10 лет был выполнен большой объем работ по построению и развитию сети передачи данных. К 2012 году сеть УрО РАН имела хорошо развитую инфраструктуру, состоящую из оптических каналов, которые связывали институты УрО РАН в городе Екатеринбурге в единую корпоративную сеть, маршрутизаторов, коммутаторов и серверов [1]. Большое количество пользователей из институтов УрО РАН обусловило высокую потребность в таких сервисах как электронная почта, веб-сайты, службы доменных имен, прокси сервера, управление компьютерами и учетными записями пользователей, резервное копирование данных и пр. Для обеспечения этих потребностей на центральном узле сети УрО РАН в стойках было размещено большое количество физических серверов. Такой подход позволял успешно решать задачи по предоставлению телекоммуни-
кационных сервисов на протяжении нескольких лет, но имел следующие недостатки:
• Разросшаяся серверная инфраструктура. Это привело к излишней сложности по администрированию и обслуживанию серверов, поскольку каждый сервер был подвержен выходу из строя своих компонентов (жесткие диски, платы, вентиляторы, процессоры и т. д.).
• Повышенная нагрузка на инфраструктуру ТЦКП. Это проявилось в возросшем потреблении электроэнергии и, как следствие, возросшей нагрузке на источники бесперебойного питания. Нехватка свободных мест в стойках потребовала установки новых стоек в серверной и более компактного из размещения. Все это привело к повышению температуры внутри серверного помещения. Для решения задачи по отводу тепла потребовалась установка дополнительных кондиционеров.
• Недостаточный уровень масштабируемости. В случае нехватки аппаратных ресурсов имеющихся физических серверов для решения текущих задач по предоставлению телекоммуникационных сервисов приходилось либо менять сервер целиком, либо проводить его аппаратную модернизацию (добавлять ОЗУ, менять HDD и пр.). Зачастую приходилось устанавливать и настраивать новый сервер.
• Высокая стоимость обеспечения отказоустойчивости. Для обеспечения отказоустойчивости требовалось наличие в запасе резервных серверов и комплектующих к ним для оперативной замены в случае выхода их из строя. Это повлекло за собой существенные финансовые затраты.
• Недостаточный уровень безопасности. Ограниченное количество физических серверов вынуждало размещать на одном физическом сервере несколько сервисов (почтовые, прокси и пр.). Взлом одного сервиса приводил к дискредитации остальных сервисов, работающих на том же сервере.
Первым шагом для минимизации вышеперечисленных недостатков стало применение виртуализации на базе однопроцессорного сервера и бесплатного продукта VMWare ESXi. Такое решение выявило следующие достоинства: консолидация сервисов, которая привела к более эффективному использованию аппаратных ресурсов физического сервера; масштабируемость (для добавления нового сервиса создается новый виртуальный сервер, либо выделяются дополнительные ресурсы для существующего сервера); остановлен рост количества физических серверов. При этом проявились следующие ограничения:
14
Corporate cloud of UBr RAS
• отсутствие кластерной реализации не позволило устранить проблему остановки нескольких виртуальных серверов при выходе из строя одного физического сервера;
• возможности масштабируемости были ограничены вследствие недостаточных объемов аппаратных ресурсов одного физического сервера.
Для устранения перечисленных недостатков было принято решение о развертывании специализированного программно-аппаратного комплекса для создания виртуальной среды, которая станет основой корпоративного облака УрО РАН.
С этой целью был разработан проект, на основе которого в 2012 году были проведены работы по развертыванию, настройке и тестированию программно-аппаратного комплекса на базе блейд-серверов, поддерживающих кластеризацию.
2. Аппаратная и программная реализация облака УрО РАН
2.1 Аппаратная часть
В качестве базы для построения корпоративного облака УрО РАН было выбрано шасси HP BLc3000, которое предназначено для обеспечения единой платформы размещения физических блейд-серверов. Такая конструкция обеспечивает общую систему питания, охлаждения, а также сетевое взаимодействие компонентов комплекса внутри шасси. Данное решение обусловлено возможностью простого увеличения в случае необходимости вычислительных мощностей без изменения логической структуры облака. На начальном этапе в качестве пилотного проекта в шасси было установлено 3 блейд-сервера HP BL460c Gen8 с двумя 6-ти ядерными процессорами и 64 Гб оперативной памяти на каждом. Эти физические сервера стали служить в качестве вычислительной платформы для размещения виртуальных серверов в рамках построения корпоративного облака УрО РАН. В дальнейшем, эта конфигурация была расширена до 4 блейд-серверов с общим количеством оперативной памяти 640 Гб. При этом данная конфигурация обладает потенциалом расширения общего объема оперативной памяти до 3 Тб и количества блейд-серверов до 8.
В качестве общей дисковой системы, для размещения высокодоступных виртуальных машин (ВМ) и хранения всех данных корпоративного облака УрО РАН используется система хранения данных (СХД) EVA P6350. Доступ к СХД на скорости до 8 Гбит/с осуществляется с помощью встроенных портов Fibre Channel. Изначально объем СХД составлял 15 Тб, ко-
торый в последствие был расширен до 23,4 Тб за счет подключения дополнительной дисковой полки.
Для обеспечения непрерывной работы программно-аппаратного комплекса в случаях кратковременного отключения электропитания по основному и резервному каналам в его состав включена система бесперебойного электропитания.
Связь программно-аппаратного комплекса с сетью УрО РАН осуществляется на скорости до 4 Гб/с с использованием протокола LACP
Для обеспечения хранения резервных копий как виртуальных машин целиком, так и отдельных компонентов, расположенных в облаке серверов, используется СХД EMC DataDomain 620 общим объемом
3,2 Тб. Встроенная в эту СХД аппаратная функция дедупликации данных позволяет сократить объем хранилища необходимый для защиты архивных данных в 10-30 раз.
2.2 Программная часть
В качестве основы для виртуализации была выбрана система виртуализации на основе гипервизора Microsoft Hyper-V. Microsoft Hyper-V входит в состав операционной системы Windows Server 2012 R2 и позволяет запустить на одном физическом сервере несколько виртуальных серверов, на каждом из которых будет функционировать своя операционная система и различные приложения. В отличие от продуктов Virtual Server или Virtual PC, Microsoft Hyper-V обеспечивает виртуализацию на аппаратном уровне с использованием технологий виртуализации, встроенных во все современные процессоры. Таким образом, Hyper-V обеспечивает высокую производительность, практически равную производительности одной операционной системы, работающей на выделенном сервере.
Операционная система Microsoft Windows Server 2012R2 была установлена на каждом блейд-сервере, после чего все сервера были объединены в кластер. Данная технология позволила увеличить отказоустойчивость системы и повысить доступность сервисов и служб. Кластеризация серверов — основополагающий элемент современного виртуализованного центра обработки данных (ЦОД). Кластеризация обеспечивает высокую доступность облачных сервисов даже в случае выхода из строя одного или нескольких блейд-серверов. Кластеризация позволяет выполнить автоматическую миграцию ВМ с неработоспособных блейд-серверов на рабочие блейд-сервера, а также обеспечивает удобное администрирование во время плановых простоев, позволяя переносить ВМ между
15
Section 3. Information technology
узлами перед отключением или установкой исправлений на узлы.
В качестве системы управления виртуальной серверной инфраструктурой используется System Center Virtual Machine Manager 2012R2, которая позволяет настраивать и контролировать узлы виртуальных машин, сеть и ресурсы хранения с целью создания и развертывания ВМ и служб в корпоративном облаке УрО РАН. Виртуальная инфраструктура состоит из вычислительных и сетевых ресурсов, а также ресурсов хранения.
В качестве системы мониторинга аппаратной и программной инфраструктуры облака используется System Center Operations Manager 2012R2, которая является программой для управления и мониторинга ИТ-сервисов, приложений и серверов в гетерогенной среде на базе операционных систем Windows, UNIX и Linux.
3. Корпоративное облако как средство поддержки научно-исследовательской деятельности УрО РАН
Функционирующее под управлением ТЦКП УрО РАН корпоративное облако, предоставляет следующие сервисы, которые в значительной степени стимулируют научную деятельность институтов УрО РАН:
1. Сервисы по созданию ВМ и управлению ими.
2. Web-сервисы.
3. Почтовые сервисы.
4. Сервисы организации видеоконференций.
5. Резервное копирование данных, размещенных в облаке.
6. Сервисы виртуализации приложений.
Сервисы по созданию ВМ и управлению ими позволяют институтам УрО РАН при помощи портала самообслуживания System Center App СontroПer самостоятельно создавать собственные виртуальные сервера из шаблонов на базе операционных систем Windows Server 2012, Windows Server 2012 R2, Linux CentOS 6, Linux Ubuntu 14, устанавливать на них научное программное обеспечение, под нужды которого выбирать конфигурацию и технические характеристики виртуальных серверов (количество процессорных ядер, объем ОЗУ, объем HDD и т. д.).
Web-сервисы позволяют размещать как в открытый, так и в ограниченный доступ web-сайты научной направленности. К ним можно отнести сайты проводимых институтами УрО РАН научных конференций, на которых осуществляется регистрация участников, размещается информация организационного характера, а также публикуются научные результаты, представленные на конференции. Также с использо-
ванием web-сервисов в сети интернет размещаются сайты институтов. Эти сайты предоставляют информацию, как о самих институтах, так и о проводимых в них исследованиях. Часто на сайтах публикуются результаты исследований, что способствует обмену знаниями, а, следовательно, стимулирует научный процесс. Нельзя не отметить и то, что существующие сайты электронных библиотек институтов УрО РАН предоставляют в электронном виде материалы, необходимые научным сотрудникам в работе над их исследованиями. Кроме того, свои web-сайты имеют многие специализированные научные журналы институтов УрО РАН. Наличие электронных версий журналов не только способствует повышению количества научных публикаций, но и является необходим условием для включения журнала в список ВАК.
Почтовые сервисы дают возможность размещать на специальных серверах почтовые ящики сотрудников УрО РАН, что обеспечивает высокий уровень конфиденциальности и защиты от несанкционированного доступа со стороны третьих лиц. В случае обмена почтовыми сообщениями, содержащими научные наработки и не подлежащими разглашению, между сотрудниками институтов с использованием почтовых ящиков серверов УрО РАН, эти сообщения не покидают пределов облака УрО РАН, что обеспечивает высокий уровень защищенности данных.
Сервис организации видеоконференций, созданный на базе Lync Server 2013, позволяет проводить научные конференции без необходимости отрыва участников конференции от своих научных исследований. А именно, участники конференции могут оставаться на своих рабочих местах, а вся информация, включая аудио- и видеопотоки с заседаний, принимается участниками через сеть Интернет. В этом случае экономится как время, так и средства, обычно расходуемые на оплату билетов, оплату проживания в гостинице и т. д. Кроме того, использование единой коммуникационной системы Lync Server 2013, позволяет ученным обмениваться научной информацией друг с другом в режиме реального времени, используя такие виды коммуникаций как мгновенные сообщения, видео- и голосовая связь, общий доступ к рабочему столу, передача файлов и пр.
Резервное копирование данных, размещенных в облаке, является крайне важным сервисом, обеспечивающим надежное хранение научных результатов многих ученых. Наличие этого сервиса позволяет в случае сбоя или в случае ошибочных действий с данными со стороны пользователя (например, слу-
16
Corporate cloud of UBr RAS
чайного удаления важных результатов) восстановить утерянные данные из резервных копий, хранящихся на специализированном оборудовании продолжительный период времени.
Использование технологии виртуализации приложений RemoteApp позволило размещать в облаке лицензионные программные продукты, такие как Word, Excel, Visio и пр. без их непосредственной установки на компьютерах пользователей. При этом сотрудники институтов УрО РАН могут удаленно пользоваться этими продуктами для написания научных статей или программ, находясь, например, в командировках, тем самым, не прерывая своей научной деятельности.
Заключение
Опыт использования корпоративного облака УрО РАН в течение трех лет продемонстрировал высокую востребованность предоставляемых им сервисов. К настоящему моменту виртуальная среда, на базе которой создано облако, состоит из более чем 90 виртуальных серверов, а активными пользователями облачных сервисов является более 1000 сотрудников УрО РАН. Такое количество серверов и предоставляемых сервисов было невозможно без программно-аппаратного комплекса, обеспечивающего функционирование корпоративного облака УрО РАН.
Список литературы:
1. Корпоративное облако УрО РАН/И. А. Хохлов, А. М. Григорьев//Тр. XIX Всеросс. науч.-метод. конф. Телематика-2012, Санкт Птербург, 25-28 июня 2012/СПб нац. исслед. ун-т информ. технологий, механики и оптики; Гос. НИИ информ. технологий и телекоммуникаций «Информатика». - М., 2012. Т. 1, секц. А. - С. 32-33. 17
17
