CC BY
160
Электронный журнал Cloud of Science. 2014. T. 1. № 1.
http://cloudofscience.ru
УДК 004.7
Лабораторный экспериментальный стенд облачных и сетевых технологий
Е. В. Плужник, Е. В. Никульчев, С. В. Паяин
НОУ ВПО Московский технологический институт «ВТУ»
119334, г. Москва, Ленинский проспект, д. 38а e-mail: e.pluzhnik@gmail.com, nikulchev@mail.ru, sadsema@gmail.com
Аннотация. В настоящее время имеется большой интерес к разработке информационных систем, функционирующих в облачных инфраструктурах. Актуальными, и, в целом, нерешенными остаются задачи оптимизации больших баз данных для работы в гибридной облачной инфраструктуре, обеспечения качества обслуживания (QoS) на различных уровнях облачных сервисов, динамического управления распределением облачных ресурсов в прикладных системах и многие другие. Научные исследования и разработка новых решений сильно ограничиваются, если использовать эмуляторы облака или международные коммерческие сервисы, ввиду закрытости архитектуры и ограниченности возможностей для экспериментов. Статья отвечает на вопросы о создании экспериментального облака, практически, «в домашних условиях», с возможностью регулирования ширины каналов и эмулирования задержек в передаче данных. Описывается архитектура и конфигурация экспериментального стенда. Предложенная модульная структура может быть расширена имеющимися в распоряжении вычислительными мощностями.
Ключевые слова: экспериментальный стенд, сети, виртуализация, облачные технологии.
ГРНТИ 50.39.19
1. Введение
Компьютерные сети и глобальная сеть Интернет в частности, разрастаются огромными темпами, появляется множество новых сервисов, увеличивается трафик, его типы и необходимое качество обслуживания, бурное развитие облачных технологий и пользователей. Такая тенденция требует увеличения пропускной способности и разработки новых принципов работы сети. Облачные ресурсы являются признанной неотъемлемой частью образовательных информационных систем, что особенно важно для обеспечения дистанционных технологий обучения [3].
Множество специалистов в области информационных технологий ведут разработки по созданию сети следующего поколения Next Generation Network [8]. Про-
водится множество разработок новых технологий, использующих облачные инфраструктуры [9], принципы управления и протоколов [6], [1].
Для проверки новых теоретических разработок исследователи используют программные эмуляторы сети такие как Qsco Packet Tracert, Dynamips, GNS3 и другие, дающие возможность создания разнообразных типов сетей и сервисов. Программные эмуляторы обладают рядом ограничений функционала: закрытость системы, ограниченный набор оборудования и сервисов, сложность встраивания разрабатываемых систем.
Для проведения экспериментальных исследований с облачными и сетевыми технологиями был разработан мультифункциональный экспериментальный стенд, позволяющий использовать реальные системы, исследовать поведение трафика и служб реальных систем.
Функционально испытательный стенд можно разделить на три основные группы, позволяющие создавать мультифункциональные системы под каждую исследуемую проблему (рис. 1).
Рисунок 1. Функциональная схема экспериментального стенда
Группа управления и статистики состоит из системы сбора и хранения статистических данных, системы управления и системы генерации. В совокупности все три системы позволяют реализовывать на экспериментальном стенде полностью всю картину работы исследуемой реальной системы.
Система сбора статистики. Сбор статистики с сетевого оборудования производится сервером Paessler Router Traffic Grapher, с использованием протоколов SNMP, Nbar. В результате сбора статистики в базе данных может быть отражена информация:
- о загрузке канала связи или выделенного типа трафика;
- о размере очереди и количестве отброшенных пакетов;
- обо всех пакетах данных;
- об использовании вычислительной мощности и памяти.
Сбор статистики с серверов и виртуальных машин с использованием VM Stats и развернутых приложений позволяет получить информацию:
- о выделенной/используемой/зарезервированной процессорной мощности;
- о выделенном/используемом/зарезервированном объеме оперативной и физической памяти;
- о запросах к базам данных, поисковым системам, сервисам.
Полученная информация используется для анализа происходящих процессов,
проверки сравнения работы систем, моделирования и для работы системы управления.
Система управления производит изменения параметров исследуемой системы путем посылки команд оборудованию и внесению изменений в конфигурационные файлы, в соответствии, с заданными параметрами.
Для создания последовательности работы исследуемой реальной системы, разработан метод генерации сетевого трафика и запросов к базам данных заданного вида, моделирующий интенсивность на заданном интервале. Данный метод реализован в виде программы, состоящей из двух модулей: «Генератор» и «Активатор» [1]. В модуле «Генератор» производится генерация файлов необходимого размера, определенного на основе анализа статистики реальной сети. В модуле «Активатор» производиться симуляция на основе сгенерированных ранее данных в заданной последовательности через определенный интервал времени.
2. Вычислительные мощности
Группа вычислительных мощностей представляет собой набор серверов различных производителей, с разным количеством процессорных ядер, размером оперативной памяти и системами хранения, которые позволяют реализовывать, в зависимости от задачи, следующий функционал по типу организации.
Виртуализация серверов. Для проведения исследований на сервер SunFire X2200M2 установлена среда VMware ESXi, в качестве места установки использо-
во
вана флэш-память, настроен виртуальный коммутатор Cisco Nexus 1000 и развернуты 4 виртуальные машины на физических дисках сервера.
Физические сервера. На сервера HP Proliant DL320 установлены операционные системы Microsoft Windows и коллекторы сбора параметров работы системы.
Организация облака. Для организации облака используется семейство продуктов VMware vCloud, позволяющее организовывать облачные вычисления на всех трех уровнях. Для создания облака в экспериментальном стенде на двух серверах SunFire созданы хосты VMware ESXi, установлена система управления VCenter, установлено приложение VMware vCloud Director, с использованием базы данных MSSQL для управления облаком, в качестве vApp приложений используются созданные виртуальные сервера с установленными приложениями [10].
Внутри каждого типа организации возможны проверки новых разработок в следующих направлениях:
- анализ и управление запросами и работой баз данных;
- обработка, хранение и поиск информации;
- анализ и управление распределенными вычислениями, распределение и управление процессами и запросами;
- проверка и сравнение работы систем при различной организации вычислительных ресурсов.
В настоящее время для систем виртуализации используется вариант размещения виртуальных машин на одном физическом сервере, в дальнейшем планируется создание фермы виртуализации с использованием СХД, что позволит проводить экспериментальные исследования, связанные с миграцией виртуальных машин, балансировкой нагрузки и т. д.
В настоящий момент в работе стенда задействованы сервера HP и Sun различных моделей. Используется программное обеспечение VMware vCloud, VMWare vSphere, операционные системы и базы данных Microsoft, FreeBSD.
3. Конфигурирование сети передачи данных
Наличие более 15 физических коммутаторов Cisco 29 серии и маршрутизаторов 26 и 28 серии, а также виртуальных коммутаторов Nexus, функционала сетевого оборудования, использование протоколов динамической маршрутизации, технологий Vlan, trunk, Qos и прочих позволяет реализовать различные схемы сети для обширного круга задач [4][3].
Имеющийся функционал позволяет проводить исследования в следующих направлениях:
- исследования протоколов динамической маршрутизации;
- анализ трафика при маршрутизации и коммутации;
- динамическое управление загрузками каналов связи, приоритетами QoS;
- динамическая балансировка трафика и нагрузки, исследование систем резервирования;
- анализ узких и проблемных мест в сети в части аппаратного и программного обеспечения.
Некоторые варианты конфигураций сети представлены на рис. 2, 3.
Рисунок 2. Организация подключения сервера виртуальных машин
Cisco 2960 Cisco 2621
Рисунок З. Организация подключения с системой дублирования
Для проверки работы систем хранения и обработки данных [4], [5] на физических и виртуальных системах сконфигурирован экспериментальный лабораторный стенд (рис. 4).
На сервере SunFire X2200M2 развернута среда виртуализации VMware ESXi, в качестве места установки использована флэш-память, пул памяти для виртуальных машин выделен из собранный в рейд жестких дисков сервера. Созданы две виртуальные машины. VM!_db с выделением 2 ядер процессорной мощности и 2Гб оперативной памяти, на которой установлена операционная система Windows Server 2008R2 и база данных MSSQL и VM!_file с выделением І ядра процессорной мощ-
ности и І Гб оперативной памяти, на которой установлена операционная система Windows Server 2008R2. На физический сервер HP Proliant DL320 установлены операционные системы Microsoft Windows Server 2008R2 и коллекторы сбора параметров работы системы.
Рисунок 4. Схема экспериментального стенда
В качестве хоста источника запросов и файлов использован ПК с развернутой на нем системой генерации запросов и файлов заданной структуры.
Для связи хоста с серверами, собрана и сконфигурирована сеть, имитирующая передачу данных через сеть Интернет. Сконфигурированы адреса на интерфейсах
маршрутизаторов R0 и R1 и коммутаторах SW0, SW1 согласно схеме сети (рис. 3), настроены маршрутизация и проверена работоспособность данной схемы.
На участке связи маршрутизатора R1 и коммутатора SW1 были созданы Vlan для каждой исследуемой системы (рис. 5).
R1
fast ethernet0/1.100
encapsulation dot1q 100 native
ip address 192.168.100.1.255.255.255.0
fast ethernet0/1.101
encapsulation dot1q 101
ip address 192.168.101.1.255.255.255.0
fast ethernet0/1.102
encapsulation dot1q 102
ip address 192.168.102.1.255.255.255.0
SW1
interface FastEthernet0/1 switchport trunk allowed vlan 100-102 switchport mode trunk
Рисунок 5. Конфигурация маршрутизатора и коммутатора
На всех устройствах сконфигурирована система сбора статистики с использованием протокола SNMP. С использованием коммутатора SW_st, все устройства подключены к серверу сбора статистики отдельными каналами связи, обеспечи-ваюего отделение трафика испытываемых систем от трафика для обработки данных и статистики. На сервере Statistic под управлением операционной системы Microsoft Windows Server 2003R2 установлен и сконфигурирован сервис Paessler Router Traffic Grapher, обеспечивающий сбор данных, и их представление в визуальном виде и базе данных.
Приведенная архитектура и конфигурация может быть легко масштабирована для любого количества ресурсов. Однако и в описанном минимальном виде лабо-аторный стенд позволяет проводить эксперименты для решения важных задач, связанных с обеспечением гарантированного качества обслуживания в облачных инфраструктурах.
Литература
[1] Лазарев А. С., Лаптев Н. В., Никульчев Е. В., Паяин С. В. Разработка системы динамического управления трафиком в вычислительных сетях // Известия вузов. Проблемы полиграфии и издательского дела, 2010. № 5. С. 105-110.
[2] Mir U. M., Mir A. H., Bashir A., Chishti M. A. DiffServ-aware Multi Protocol Label Switching based quality of service in Next Generation Networks // IEEE International Advance Computing Conference (IACC), 2014. P. 233-238 (doi: 10.1109/ IAdCC.2014.6779326).
[3] Плужник Е. В. Инновационное управление информационным обеспечением образовательной деятельности технологического института // Задачи системного анализа, управления и обработки информации : сб. научных трудов. Вып. 4. — М. : Изд. МТИ, 2014.С. 125-130.
[4] Плужник Е. В., Никульчев Е. В. Слабоструктурированные базы данных в гибридной облачной инфраструктуре // Современные проблемы науки и образования, 2013. № 4. С. 95.
[5] Pluzhnik E. V., Nikulchev E. V. Use of dynamical systems modeling to hybrid cloud database // International Journal of Communications, Network and System Sciences, 2013. Vol. 6. No 12. С. 505-512.
[6] Pluzhnik E., Nikulchev E., Payain S. Optimal Control of Applications for Hybrid Cloud Services // IEEE 10th World Congress on Services (SERVICES 2014), 2014.
[7] Pras A., Pavlou G. Network and service management [Series Editorial] // IEEE Communications Magazine, 2014. Vol. 52. No. 1. P. 130-131 (doi: 10.1109/ MCOM.2014.6710074)
[8] Pupatwibul P., Banjar A., Sabbagh A. A., Braun R. An Intelligent Model for Distributed Systems in Next Generation Networks // Advanced Methods and Applications in Computational Intelligence. Topics in Intelligent Engineering and Informatics. Vol. 6. — Springer, 2014. P. 315-334 (doi: 10.1007/978-3-319-01436-4_14).
[9] Singh D., Panda N., Mohanty A. K. Next Generation Network: Collaboration of Grid and Cloud Computing, A Theoretical Approach // Int. Journal of Information Technology & Mechanical Engineering IJITME, 2014. Vol. 1. No. 1. P. 17-23.
[10] vCloud Director Installation and Upgrade Guide [Электронный ресурс]. URL: https://pubs.vmware.com/vcd-55/topic/com.vmware.ICbase/PDF/vcd_55_install.pdf.
Авторы:
Евгений Владимирович Плужник, первый проректор НОУ ВПО Московский технологический институт «ВТУ»
Евгений Витальевич Никульчев, д. т. н., профессор, проректор по научной работе НОУ ВПО Московский технологический институт «ВТУ»
Семен Владимирович Паяин, к. т. н., зав. лабораторией сетевых и облачных технологий НОУ ВПО Московский технологический институт «ВТУ»
Cloud and Network Laboratory Test Bench
E.V. Pluzhnik, E. V. Nikulchev, S. V. Payain
Moscow Technological Institute 38A, Leninskiy prospect, Moscow, Russia, 119334
Abstract. There is currently great interest in the development of information systems that operate in the cloud infrastructures. Relevant, and, in general, remain unsolved tasks by optimization of large databases to work in a hybrid cloud infrastructure, quality of service (QoS) at different levels of cloud services, dynamic control of distribution of cloud resources in application systems and many others. Research and development of new solutions greatly limited if used emulators or international commercial cloud services, due to the closed architecture and limited opportunities for experimentation. Article answers questions about the establishment of a pilot cloud «at home» with the ability to adjust the width of the channel emulation and delays in data transmission. Here is describes the architecture and configuration of the experimental setup. The proposed modular structure can be expanded at the disposal of computing power.
Keywords: laboratory bench, networking, virtualization, cloud computing.
Reference
[1] Lazarev A. S., Laptev N. V., Nikulchev E. V., Payain S. V. Razrabotka sistemy dinamicheskogo upravlenija trafikom v vychislitel'nyh setjah // Izvestija vuzov. Prob-lemy poligrafii i izdatel'skogo dela, 2010. No. 5. P. 105-110.
[2] Mir U. M., Mir A. H., Bashir A., Chishti M. A. DiffServ-aware Multi Protocol Label Switching based quality of service in Next Generation Networks // IEEE International Advance Computing Conference (IACC), 2014. P. 233-238 (doi: 10.1109/ IAdCC.2014.6779326).
[3] Pluzhnik E. V. Innovacionnoe upravlenie informacionnym obespecheniem obrazovatel'noj dejatel'nosti tehnologicheskogo instituta // Zadachi sistemnogo analiza, upravlenija i obrabotki informacii : sb. nauchnyh trudov. Vyp. 4. — M. : MTI, 2014. P. 125-130.
[4] Pluzhnik E. V., Nikulchev E. V. Slabostrukturirovannye bazy dannyh v gibridnoj oblachnoj infrastrukture // Sovremennye problemy nauki i obrazo-vanija, 2013.
No. 4. P. 95.
[5] Pluzhnik E. V., Nikulchev E. V. Use of dynamical systems modeling to hybrid cloud database // International Journal of Communications, Network and System Sciences, 2013. Vol. 6. No 12. Q 505-512.
[6] Pluzhnik E., Nikulchev E., Payain S. Optimal Control of Applications for Hybrid Cloud Services // IEEE 10th World Congress on Services (SERVICES 2014), 2014.
[7] Pras A., Pavlou G. Network and service management [Series Editorial] // IEEE Communications Magazine, 2014. Vol. 52. No. 1. P. 130-131 (doi: 10.1109/ MCOM.2014.6710074)
[8] Pupatwibul P., Banjar A., Sabbagh A. A., Braun R. An Intelligent Model for Distributed Systems in Next Generation Networks // Advanced Methods and Applications in Computational Intelligence. Topics in Intelligent Engineering and Informatics. Vol. 6. — Springer, 2014. P. 315-334 (doi: 10.1007/978-3-319-01436-4_14).
[9] Singh D., Panda N., Mohanty A. K. Next Generation Network: Collaboration of Grid and Cloud Computing, A Theoretical Approach // Int. Journal of Information Technology & Mechanical Engineering IJITME, 2014. Vol. 1. No. 1. P. 17-23.
[10]vCloud Director Installation and Upgrade Guide [Электронный ресурс]. URL: https://pubs.vmware.com/vcd-55/topic/com.vmware.ICbase/PDF/vcd_55_install.pdf.
