Научная статья на тему 'Исследование производительности систем с массивно-параллельной архитектурой на больших данных'

Исследование производительности систем с массивно-параллельной архитектурой на больших данных Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
107
15
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
GREENPLUM / NETTEZZA / EXADATA / СУПЕРКОМПЬЮТЕР / SUPERCOMPUTER / SAS-КАМПАНИИ / BIGDATA / ПРОИЗВОДИТЕЛЬНОСТЬ / PERFORMANCE / SAS-CAMPAIGN

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Сербин Василий Валерьевич, Дуйсебекова Куланда Сейтбековна, Алтайбек Айжан

В работе проведено сравнительное исследование производительности систем Greenplum, Nettezza, Exadata и Oracle. В качестве больших данных были выбраны 14 SAS кампаний крупного казахстанского Банка.I

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

n this article, a comparative study of performance of Greenplum, Nettezza, Exadata and Oracle systems was conducted. 14 SAS campaigns of a large Kazakhstani bank were selected as big data.

Текст научной работы на тему «Исследование производительности систем с массивно-параллельной архитектурой на больших данных»

толщинометрия и цветная дефектоскопия в соответствии с положениями [4]. Проведение цветной дефектоскопии обуславливается необходимостью выявления микротрещин, которые могли быть не обнаружены в ходе ВИК.

На последнем этапе проводятся испытания насосного агрегата. В соответствии с требованиями [4] испытания проводятся в следующей последовательности:

• испытание на герметичность соединений под рабочим давлением водой, невязкими жидкостями;

• испытание под рабочим давлением при работе насоса на циркуляцию, а затем в схеме установки.

Продолжительность испытания насоса на циркуляцию составляет 10-15 минут и в схеме установки - не менее 4 часов в соответствии с [4]. При испытании насоса под рабочей нагрузкой контролируется:

• отсутствие посторонних шумов и стуков в соединениях и проточной части насоса;

• отсутствие превышения предельно-допустимой температуры подшипников;

• соответствие напора и производительности требованиям технологического процесса и паспортным данным завода-изготовителя.

Подводя итоги, в настоящей работе рассмотрены характерные особенности, на которые следует обратить внимание при проведении экспертизы промышленной безопасности центробежных насосов. Даны рекомендации относительно последовательности работ, состава работ и продолжительности отдельных этапов.

Список литературы:

5. 116-ФЗ Федеральный закон «О промышленной безопасности опасных производственных объектов» от 21 июля 1997г.

6. ГОСТ 12.1.012. Вибрационная безопасность. Общие требования.

7. ГОСТ 30576-98 Вибрация. Насосы центробежные питательные тепловых электростанций. Нормы вибрации и общие требования к проведению измерений.

8. М2-96. Методика диагностирования технического состояния и определения остаточного ресурса центробежных компрессоров и насосов.

9. ОСТ 26-07-2028-96 - ССБТ. Насосы общепромышленного назначения. Требования безопасности.

10. РД 03-606-03. Инструкция по визуальному и измерительному контролю.

ИССЛЕДОВАНИЕ ПРОИЗВОДИТЕЛЬНОСТИ СИСТЕМ С МАССИВНО-ПАРАЛЛЕЛЬНОЙ АРХИТЕКТУРОЙ НА БОЛЬШИХ

ДАННЫХ

Сербин Василий Валерьевич,

зав. кафедрой «Информационные системы» ассоц. профессор, профессор РАЕ, к.т.н.

Дуйсебекова Куланда Сейтбековна

ассоц. профессор, профессор РАЕ, к.ф.-м.н

Алтайбек Айжан

ассистент-профессор, PhD, Международный университет информационных технологий, г. Алматы

АННОТАЦИЯ

В работе проведено сравнительное исследование производительности систем Greenplum, Nettezza, Exadata и Oracle. В качестве больших данных были выбраны 14 SAS кампаний крупного казахстанского Банка.

ABSTRACT

In this article, a comparative &udy of performance of Greenplum, Nettezza, Exadata and Oracle sy^ems was conducted. 14 SAS campaigns of a large KazakMani bank were selected as big data.

Ключевые слова: Greenplum, Nettezza, Exadata, суперкомпьютер, SAS-кампании, BigData, производительность.

Keywords: Greenplum, Nettezza, Exadata, supercomputer, SAS-campaign, BigData, performance.

I. Введение

Сравнительное исследование производительности обработки больших данных на разных информационных и программно-аппаратных системах крайне важно для высокопроизводительных вычислений, как с точки зрения оптимизации нагрузки на существующие машины, так и с точки зрения политики закупа новых платформ. В качестве задач было выбрано 14 крупных маркетинговых SAS кампаний одного Казахстанского Банка. Такой выбор позволяет полу-

чить более адекватную оценку возможностей вычислительных систем. Дополнительно, при помощи специализированных инструментальных средств, нами проведен анализ особенностей исследуемых систем массово-параллельной архитектуры [3, c.205].

Массово-параллельная архитектура (massive parallel processing, MPP) - класс архитектур параллельных вычислительных систем. Особенность архитектуры состоит в том, что память физически разделена. Система строится из от-

дельных узлов (node), содержащих процессор, локальный банк оперативной памяти, коммуникационные процессоры или сетевые адаптеры, иногда - жёсткие диски и другие устройства ввода-вывода. Доступ к банку оперативной памяти данного узла имеют только процессоры из этого же узла. Узлы соединяются специальными коммуникационными каналами. Пользователь может определить логический номер процессора, к которому он подключен, и организовать обмен сообщениями с другими процессорами. На машинах массово-параллельной архитектуры используются два варианта работы операционной системы [2. c.98]:

- В одном полноценная операционная система работает только на управляющей машине (front-end), а на каждом отдельном узле функционирует сильно урезанный вариант операционной системы, обеспечивающий работу расположенной в нём ветви параллельного приложения.

- Во втором варианте на каждом модуле работает полноценная, чаще всего UNIX-подобная система, устанавливаемая отдельно.

В качестве объектов исследования были выбраны решения крупных компаний: EMC Greenplum, IBM Netezza и Oracle Exadata.

Greenplum Software - компания, занимающаяся разработкой СУБД для хранилищ данных. Компания специализируется на решениях Enterprise Data Cloud для сильно масштабированных хранилищ данных и аналитических систем. СУБД Greenplum Database основана на доработанной Po^greSQL для базы данных с массивно-параллельной архитектурой (MPP). Greenplum реализовала функциональность MapReduce и Column-Oriented организацию таблиц в своей СУБД, как части т. н. технологию Polymorphic Data Storage.

Netezza - американская компания, разработчик аппаратно-программных комплексов хранилищ данных - кластеров серверов реляционных баз данных, обеспечивающих массово-параллельную обработку. Отличительной чертой всех комплексов Netezza является использование программируемых вентильных матриц на узлах обработки данных, обеспечивающих сжатие и фильтрацию данных и тем самым

позволяющих снизить издержки на хранение и операции ввода-вывода при выполнении запросов на выборку данных. Компания основана в 2000 году, в 2010 году поглощена корпорацией IBM, с 2011 года полностью интегрирована в корпорацию, аппаратно-программные комплексы с 2012 года выпускаются под маркой IBM PureData for Analytics.

Exadata - линейка аппаратно-программных комплексов, серийно выпускаемых корпорацией Oracle, с 2008 года до середины 2009 года - на основе серверного оборудования Hewlett-Packard, позднее - на основе аппаратного обеспечения поглощённой Sun Microsy^ems. [4, c.90] Комплексы являются кластером серверов управления базами данных на оснве технологии Oracle RAC, поставляются в виде предварительно собранных телекоммуникационных шкафов размером 42 юнита, наполненных серверами, узлами системы хранения данных, коммутаторами InfiniBand и Ethernet [1. c.87].

Конкуренты также отмечают, что, будучи ориентированными как на OLTP, так и OLAP-обработку одновременно, комплексы менее эффективны для аналитической обработки, на которой сконцентрированы аналогичные решения Teradata и Netezza, в частности, отмечается не оптимальность использования подхода с симметричным доступом со всех серверов ко всем узлам хранения (симметричного параллелизма) в противовес полному разделению данных между узлами в конкурирующих аналитических комплексах с массово-параллельной обработкой.

II. Исследовательская часть

В данном исследовании приведены результаты сравнительного тестирования производительности систем Greenplum, Nettezza, Exadata и Oracle на OC AIX на основе больших данных 14 SAS кампаний крупного казахстанского Банка.

Перед экспериментом был проведен замер длительности выполнения SAS-кампаний на текущем оборудовании в соответствии с рисунком 1. Данные приведены в относительных единицах.

Рисунок 1. Длительность выполнения SAS-кампаний

Тестирование представляет собой запуск наборов тесто- В тестировании принимали участие технические реше-вых кампаний. ния в соответствии с таблицей 1.

Таблица 1

Технические характеристики МРР - решений в сравнении с текущей версией

Oracle текущий Netezza Greenplum Exadata Oracle (AIX) Оптимизированный

Конфигурация БД 24 ядра Power7 (3.4GHz) 160GB RAM 3000 MB/s SAN NZ1000-3 (4 SPU - всего 24 CPU + FPGA) 4 сегментных сервера по 16 ядер CPU каждый X3-2 Half Rack 4 database ноды по 16 ядер CPU 7 borage нод по 12 ядер CPU 24 ядра Power7 (3.4GHz) 160 GB RAM 2300 MB/s San

Конфигурация SAS Compute сервера Вирт. (VMWare) 12 vCPU ~300 MB/s SAN Storage SAS 9.2 Физический 16 ядер CPU 1Gb/s DAS Storage SAS 9.3 Физический 16 ядер CPU 1Gb/s DAS Storage SAS 9.3 Физический 16 ядер CPU 1Gb/s DAS Storage SAS 9.3 Физический 16 ядер CPU 1Gb/s DAS Storage SAS 9.3

Конфигурация SAS Mid-Tier сервера Вирт. (VMWare) 4 vCPU (?) 12GB RAM (?) Вирт. (VMWare) 4 vCPU 12GB RAM Вирт. (VMWare) 4 vCPU 12GB RAM Вирт. (VMWare) 4 vCPU 12GB RAM Вирт. (VMWare) 4 vCPU 12GB RAM

Сетевой интерфейс SAS-БД Не известно 10 Gbit 10 Gbit 10 Gbit 1 Gbit

Тестирование проводилось на 4 решениях: Netezza, В результате тестирования получены следующие данные GreenPlum, Exadata и оптимизированный Oracle (AIX). в соответствии с таблицей 2.

Таблица 2

Время выполнения кампаний в относительных единицах

Наименование кампании Текущий Oracle Netezza GreenPlum Exadata Oracle (AIX) Оптимизированный

Камп. 1 2,33 0,21 0,23 0,15 0,85

Камп. 2 7,57 2,43 2,51 0,67 2,33

Камп. 3 10,57 3,37 2,34 1,03 3,79

Камп. 4 5,02 2,87 2,47 1,34 2,75

Камп. 5 4,25 2,87 2,19 1,23 2,70

Камп. 6 8,80 3,85 2,52 1,52 3,73

Камп. 7 4,68 2,35 1,33 1,75 2,03

Камп. 8 2,14 1,05 0,52 0,36 0,78

Камп. 9 3,81 2,47 1,10 0,71 1,71

Камп. 10 5,57 2,02 1,10 0,76 1,62

Камп. 11 5,03 2,43 1,53 0,97 1,93

Камп. 12 6,45 2,73 1,39 1,14 2,79

Камп. 13 7,50 3,46 1,79 1,24 2,82

Камп. 14 13,17 3,41 2,44 2,22 4,42

Принято, что на текущей версии Oracle ускорение равно Соотношение времени к "оптимизированному" Oracle 1,00, то относительно него ускорение на Netezza, GreenPlum, AIX (время / время). (меньше единицы - ускорение, больше Exadata и Oracle (AIX) Оптимизированный. единицы - замедление) в соответствии с рисунком 2.

Рисунок 2. Соотношение времени к "оптимизированному" Oracle AIX (время / время). (меньше единицы - ускорение,

больше единицы - замедление)

Процент ускорения к "оптимизированному" Oracle AIX приведен в таблице 3.

Таблица 3

% ускорения к "оптимизированному" Oracle AIX: (отрицательные % - ускорение, положительные % - замедление)

Наименование кампании Текущий Oracle Netezza Green-Plum Exadata Oracle (AIX) Оптимизированный

Камп. 1 175,0% -75,2% -72,4% -82,1% -

Камп. 2 225,2% 4,4% 8,0% -71,0% -

Камп. 3 179,3% -11,1% -38,1% -72,7% -

Камп. 4 82,9% 4,6% -10,2% -51,1% -

Камп. 5 57,8% 6,5% -18,8% -54,4% -

Камп. 6 135,9% 3,2% -32,5% -59,3% -

Камп. 7 130,2% 15,6% -34,4% -14,1% -

Камп. 8 174,6% 34,9% -33,3% -53,3% -

Камп. 9 122,8% 44,2% -35,6% -58,7% -

Камп. 10 244,4% 24,9% -32,1% -53,1% -

Камп. 11 160,4% 25,9% -20,6% -49,7% -

Камп. 12 131,0% -2,1% -50,1% -59,1% -

Камп. 13 166,2% 22,9% -36,5% -55,9% -

Камп. 14 197,9% -23,0% -44,9% -49,8% -

Итого: 0% 3,8% -31,4 % -55,9% -

III. Заключение результаты: Exadata дала лучшие результаты тестирований

На основе проведенного исследования производительно- систем. Основываясь на времени выполнения кампаний в сти обработки больших данных, были получены следующие относительных единицах можно заметить, что Exadata на

55,9% ускоряет обработку кампаний в сравнении с текущим Oracle. GreenPlum ускоряет обработку кампаний на 31,4%.

Таким образом, ускорение обработки больших данных на GreenPlum в соответствии с оборудованием (таб. 1) - в 2 раза, чем текущая версия Oracle, на Exadata - ускорение в 4 раза.

В заключение проведенного анализа исследуемых решений для увеличения производительности обработки больших данных, можно выявить Oracle Database с опцией Real Application Clu^er Exadata, как самую высокопроизводительную систему в сравнении с аналогами MPP-решений.

Список литературы:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

1. Greenwald, Rick; Stackowiak, Robert; Alam, Maqsood; Bhuller, Mans. Achieving Extreme Performance with Oracle Exadata. - N. Y.: McGraw-Hill, 2011. - 432 p.

2. Osborne, Kerry; Johnsn, Randy and Poder Tanel. Expert Oracle Exadata. - N. Y.: Apress, 2011. - 500 p.

3. Ponniah, Paulraj. Data Warehousing Fundamentals for It Professionals. - Hoboken, N. J.: John Wiley and Sons, 2010. -P. 189-200. - 571 p.

4. Pricket Morgan, Timothy. Oracle cranks up the flash with Exadata X3 sy^ems. Ellison: Rotating disk drives are so 20th century. - The Regi^er, 2012.

ВЕТРОУСТАНОВКА С ВИХРЕВЫМ ПРЕОБРАЗОВАТЕЛЕМ ПОТОКОВ СПЛОШНОЙ СРЕДЫ

Серебряков Рудольф Анатольевич

кандидат техн. наук, ведущий научный сотрудник ФАНО ФГБНУ всероссийский научно-исследовательский институт электрификации сельского хозяйства

WIND TURBINE WITH THE VORTEX CONVERTER CONTINUUM

Serebryakov Rudolf

candidate of technical sciences, leading research scientiM The Fegeral agency of scientific organizations, Federal Mate scienctific InMitute Aii-Russian Scientific InMi-tute for

Electrification of Agriculture, VIESH

АННОТАЦИЯ

В проблемах преобразования солнечной и ветровой энергии, а также энергии гидроресурсов, применение закрученных ламиниризированных потоков способно сыграть важную роль в связи с термогидравлической особенностью этих течений, концентрирующих в вихревой струе потоки кинетической энергии, рассеянные в окружающем пространстве. Это позволяет использовать низкопотенциальные термовосходящие течения, индуцированные солнечным нагревом, слабые ветра и кинетическую энергию потоков в руслах рек и гидроканалов.

ABSTRACT

In problems of the conversion of solar and wind energy resources, the use of twined laminarizing flows can play important role in connection with the thermal-hydraulic characteri^ic of these movements, concentration in the vortex jet breams of the kinetic energy that is scattered in thresurounding space. This allows the use of low-pressure thermochimie currents induced by solar heating, a weak wind and kinetic energy flows in rives and canals. The ability of vortex jets to concentrate in his trunk the energy scattered in the surrounding space allows, in addition to flows withhigh heat or high-speed potentials, to use the low-potentire flow moving in the atmosphere and waters with skoro^yami 0,5 to 2 m/s, which considetably indu^ry broadens the range of utilization of heat flow discharged into the external environment induSiy companies, the possibilities of transforming helioenergy as thermoinsulating ascending jets of air, energy, weak winds and a slow hydraulic flows.

Ключевые слова: ветер, ветроэнергетика, вихревой эффект, вихревой ветропреобразователь, поток, сплошная среда.

Keywords: wind, windenergy, a vortex effect, vortex micropropagation., converter, flow, continuous.

Ветровой энергетический потенциал России в несколько раз превышает сегодняшние потребности страны в электроэнергии, однако, конструкционные особенности современных лопастных ветряков и низкие скорости ветров на территории России делают невозможным его использование. Для эффективной работы лопастных ветряков необходима скорость ветра более шести метров в секунду. Использование ветроустановок (ВЭУ) на базе «Вихревых преобразователей потоков сплошной среды», способных использовать низкопотенциальные воздушные потоки (малые ветра), утилизированные тепловые потоки, сбрасываемые во внешнюю среду промышленными предприятиями и возможности преобразования гелио и гелиотер-

мальной энергии в виде термоиндуцированных восходящих струй воздуха, позволит вырабатывать электроэнергию на воздушных потоках, движущихся со скоростью от 3-4 м/с [1, 2, 3, 4]. В основе работы (и конструкции) «Вихревого преобразователя потоков сплошной среды» (ВП) - т.н. «вихревой эффект»[5, 6, 7, 8, 9, 10]. В результате многолетних исследований, с использованием аэродинамических труб ЦАГИ, был создан «задел» теоретических основ и конструкций ветроустановок нового класса, алгоритмы и методики расчета устройств, использующих «вихревой эффект», а также модели и опытные образцы. Конструкция ВП (Рис.1) содержит: входное и вытяжное устройство, направляющие аппараты (Рис.2), ротор (Рис.3)

i Надоели баннеры? Вы всегда можете отключить рекламу.