CC BY
188
АНАЛИЗ ТЕХНИЧЕСКИХ РЕШЕНИЙ ПО ОРГАНИЗАЦИИ СОВРЕМЕННЫХ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ
Докучаев Владимир Анатольевич,
Московский технический университет связи и информатики, Москва, Россия, v.dok@tlsf.ru
Кальфа Александр Алексеевич,
Московский технический университет связи и информатики, Москва, Россия, kalfa.alex@yandex.ru
Мытенков Сергей Сергеевич,
Московский технический университет связи и информатики, Москва, Россия, mitenkovss@rspp.ru
Шведов Андрей Вячеславович,
Московский технический университет связи и информатики, Москва, Россия, a.shvedov@tlsf.ru
Рассмотрены современные технологии, применяемые в центрах обработки данных (ЦОД), такие как, де-дубликация данных в источнике и на целевом устройстве, программно-определяемое хранение данных, программно-конфигурируемые сети, виртуализация сетевых функций. Все эти технологии позволяют реализовать полностью программно-конфигурируемый ЦОД, который, вероятно и станет ЦОДом уже ближайшего будущего. Отмечается, что традиционный путь повышения тактовой частоты процессоров путем уменьшения длины затвора транзисторов, практически исчерпан и обсуждаются перспективы повышения тактовой частоты процессоров за счет использования новых материалов и структур. Указано на принципиально новые решения в создании систем хранения данных, в частности, с использованием ДНК, эксперименты с которыми проводятся корпорацией Microsoft уже в настоящее время. Рассмотрены перспективы применения ЦОД в таких направлениях развития информационных технологий, как облачные и туманные вычисления, Интернет Вещей, Большие Данные. Проанализированы тенденции изменения соотношений средств, затрачиваемых на ИТ-инфраструктуру по различным моделям развертывания в период между 2015 и 2020 гг. Показано, что в IV кв. 2016 г. затраты на облачное оборудование составили 37,2% средств, израсходованных в мире на ИТ-инфраструктуру в целом. Выручка от продажи инфраструктуры для приватных облаков составила $3,8 млрд, что на 10,2% больше, чем в последнем квартале предыдущего года. В сегменте публичных облаков продажи достигли 5,4 млрд долл., показав рост на 5,3% в исчислении год к году. Рассмотрено развитие концепции Интернета Вещей на примере политики компании Cisco. Отмечены особенности работы с Большими Данными в которой все более широко применяется виртуализация, как серверов, так и СХД, а также функциональная виртуализации сетей. Управление такими виртуализированными структурами с помощью программного обеспечения позволит в перспективе создать программно-определяемые ЦОДы более эффективныйе чем современные. Отмечено, что использование ДНК для создания емких и долговечных СХД может совершить революцию в этих системах. По-видимому, качественный рывок ожидает в перспективе и технологию производства процессоров, поскольку длина транзисторного затвора приблизилась к атомарным размерам, и дальнейшее возрастание тактовой частоты транзисторов требует, прорывных нетривиальных решений.
Информация об авторах:
Докучаев Владимир Анатольевич, д.т.н., профессор, заведующий кафедрой "Мультимедийные сети и услуги связи" МТУСИ, Москва, Россия Кальфа Александр Алексеевич, д.ф.-м.н., с.н.с., профессор кафедры "Мультимедийные сети и услуги связи" МТУСИ, Москва, Россия Мытенков Сергей Сергеевич, аспирант кафедры "Мультимедийные сети и услуги связи" МТУСИ, Москва, Россия Шведов Андрей Вячеславович, старший преподаватель кафедры "Мультимедийные сети и услуги связи" МТУСИ, Москва, Россия
Для цитирования:
Докучаев В.А., Кальфа А.А., Мытенков С.С., Шведов А.В. Анализ технических решений по организации современных центров обработки данных // T-Comm: Телекоммуникации и транспорт. 2017. Том 11. №6. С. 16-24 .
For citation:
Dokuchaev V.A., Kalfa A.A., Mytenkov S.S., Shvedov A.V. (2017). Technical solutions analysis for the modern Data Centers. T-Comm, vol. 11, no.6, рр. 16-24. (in Russian)
Ключевые слова: центры обработки данных, серверная подсистема, системы хранения данных, программно-определяемое хранение данных, программно-конфигурируемые сети, виртуализации сетевых функций, программно-конфигурируемый ЦОД, облачные и туманные вычисления, интернет вещей, Большие Данные.
Введение
Технологии, применяемые в современных центрах обработки данных (ЦОД), непрерывно совершенствуются, что позволяет, с одной стороны, расширить их возможности, а с другой - уменьшить стоимость организации и эксплуатации ЦОД. Цель данной статьи - обобщить эти технологии и обозначить пути их дальнейшего развития.
Стандарты не определяют, какой должна быть «начинка» ЦОД. Это естественно, поскольку в ЦОД может размещаться оборудование заказчика по его желанию (со1оса1юп). По в любом ЦОД присутствуют три основные подсистемы - серверная, хранения данных и коммуникационная. Без понимания особенностей и тенденций развития этих систем спроектировать и построить высокоэффективный ЦОД невозможно. Ниже мы рассмотрим особенности основных подсистем ЦОД, а также области развития информационных технологий, развитие которых невозможно без совершенствования ЦОД.
Серверная подсистема
Сервера, используемые в ЦОД, - это специализированные и высокоэффективные устройства, о некоторых особенностях которых будет сказано ниже. Поскольку основной
задачей сервера является выполнение вычислительных функций, важнейшая его характеристика - это быстродействие, определяемое в значительной степени быстродействием процессора. Центральный процессор (центральное процессорное устройство - ЦПУ) - это главная часть аппаратного обеспечения компьютера пли сервера. Долгое время единственным ресурсом повышения производительности процессоров считалось увеличение их тактовой частоты Достигалось это уменьшением длины затвора транзисторов, составляющих элементную базу любого процессора. Чем меньше длина затвора 13, тем меньше время пролета электрона под затвором {где V - скорость электрона) и тем, следовательно, выше тактовая частота, обратно пропорциональная времени пролета 1^=1/!^. Именно длина затвора определяла и размер самого транзистора и, следовательно, большее число транзисторов на кристалле микросхемы.
В 1965 г. Гордон Мур, будущий основатель корпорации 1п1е1, сформулировал эмпирический закон, получивший его имя: «Число транзисторов на кристаллах микросхем будет удваиваться каждые полтора-два года». И, надо сказать, что на протяжении более, чем 40 лет этот закон работал с высокой степенью точности (рис, I).
—
е-
о
I
10.000.000.000-, 5.000,000.000 2,600,000,000 1,000.000,000
100,000,00010,000.0001,000,000 100,000
10,000
2,300
OracWFt^lbli SPARC
• >m.o В.11Ю11 гшяш
Г. [Ol гг-сол Хооп Man Е 5 2600 V4 It-Соя SRMttTl • 7.2 Billion TrirufctOr» а.-Со« Со, (1 (ВМ POWER 8
Six-Con 7*00 \ * фДОО*
АЗипТимИа WutonbEX
POWEW6* ttnnivm Zurttr, 3Mttcectw#
AMD MD1
:{• » Киалл Stf-Согч Oplerofi 0« Co™ iT iOv4 IgopI&B
»00
• iMDKS • Рплмп
eciafi*
/
ОЦВОч
8800 '« «Щ09 . «гво
«осе» I «weetsos ИСА11Ш
1971
1980
1990
2000
2011
Source. Wikibon limited update on work by Wgsimon (Own work)
Рис. 1. Закон Мура (сплошная линия) и его экспериментальное подтверждение (точки)
Но в 2007 г. тот же Гордон Мур заявил: «Закон вскоре перестанет действовать из-за атомарной природы вещества и ограничения скорости света». И, по-видимому, мы как раз на пороге этого события. Дело в том, что у выпускаемых в настоящее время планарных (т.е. плоских) транзисторов фирмы Intel или Samsung длина затвора составляет всего 14 нм, а размер атома кремния - 0,56 нм. Т.е. на длине затвора укладывается 25 атомов. Заявлено о разработке транзисторов с длиной затвора 10 и даже 7 нм. Очевидно, что путь повышения тактовой частоты за счет уменьшения длины затвора близок к своему пределу.
Есть ли ииые пути повышения тактовой частоты транзисторов? Безусловно, есть. Коль скоро исчерпаны возможности уменьшения длины затвора, представляется естественным сыграть па повышении скорости электронов. Но реализация идей, лежащих на этом пути, сопряжена с рядом трудностей. Не вникая в детали, перечислим некоторые из них.
1. Охлаждение процессора. Известно, что с понижением температуры скорость электронов возрастает, поэтому довольно давно были созданы образцы компьютеров и серверов, процессор которых охлаждается тем или иным образом. И сейчас применяются устройства, действующие на основе эффекта Пельтье, охлаждающие процессор на несколько десятков градусов. Широкого применения такие процессоры не получили, поскольку выигрыш в производительности сопровождается непропорциональным усложнением конструкции, хотя существуют специальные области применения, где подобные конструкции работают. Были попытки построить сервера с процессорами, охлаждаемыми до температуры жидкого азота, но и они себя не оправдали.
2. Использование полупроводниковых материалов с более высокой подвижностью и скоростью, электронов. Такие материалы есть, и они даже используются в электронике, но не вычислительной, а в СВЧ-электронике. Это, прежде всего, GaAs, применяемый в монолитных интегральных схемах СВЧ. Это двух компонентный полупроводник, он гораздо дороже кремния и допускает сравнительно малую степень интеграции (порядка десятка активных и пассивных элементов). Этого явно недостаточно для интегральных схем вычислительной техники, где интеграция на порядки больше. Есть материалы с еще большей подвижностью электронов, например, InP [1], но с ними работать еще труднее. Соответственно, у них выше цепа и ниже степень интеграции.
3. Использование сложных полупроводниковых структур. Не вдаваясь в детали использования полупроводниковых структур для создания полевых транзисторов, МОЖНО указать на гетс ростру ктуры с селективным легированием на основе GaAs/AlGaAs, которые были предложены сразу в нескольких странах, в том числе в СССР [2]. Эта структура уже используется для создания СВЧ-транзисторов. Успех ее применения основан именно на принципе селективного (т.е выборочного) легирования, Широкозонный AlGaAs легируется сильно, а узкозонный GaAs оставляется по возможности максимально чистым. Стремясь занять положение с минимальной потенциальной энергией, электроны «сваливаются» в узкозонный GaAs, где рассеяние на ионизованных примесях гораздо слабее из-за малой их концентрации. Соответственно, и скорость электронов оказывается выше. Кроме того, электронный газ в GaAs являет-
ся двумерным (толщина слоя меньше длины волны Де-Ьройля), что еще больше способствует увеличению подвижности электронов. Проблемы здесь те же, что и у транзисторов на GaAs - высокая цена и малая степень интеграции, но проявляются они еще в большей степени.
4. Применение принципиально новых материалов и новых принципов работы транзисторов. Транзисторы, использующие новые принципы модуляции потока электронов или принципиально новые материалы, предлагаются достаточно регулярно. Большинство из них по ряду причин оказываются недееспособными, и нет смысла их рассматривать. В качестве примера можно указать на транзистор, в котором используется и новый материал, и новый принцип. Как известно, Нобелевская премия 2011 г, в области физики была присуждена двум ученым - Андрею Гейму и Константину Новоселову, имеющим российские корни, за открытие и исследование свойств графена — двумерного материала на основе графита. В начале 2012 г. в журнале Science появилось сообщение о разработке опытных образцов вертикальных полевых транзисторов на основе графена. Структура транзистора представлена на рис. 2. Она состоит из двух пленок графена, разделенных слоями диэлектрика, например, нитрида бора. Ток возникает в результате туннельного эффекта, когда под действием электрического поля электроны проникают из одного слоя графена в другой через изолирующий барьер диэлектрика. Появилось сообщение исследователей фирмы IBM о создании транзистора с частотой 155 ГГц при длине затвора 40 нм. Работы в этом направлении продолжаются, но пока трудно сказать, возможно ли создание монолитных интегральных схем, а значит и процессоров на этом материале. Следует отметить, что графен -очень нетехнологичиын материал. А значит, процент выхода годных приборов, построенных на нем, будет мал и, следовательно, стоимость приборов - велика. Кроме того, на его основе которого вряд ли можно будет построить большие интегральные схемы.
& SfPt ц; Gr„ ur. сf. í
Рнс. 2. Структура вертикального транзистора на основе графена
Подсистема хранении информации
Вторым важным направлением развития НОД является совершенствование систем хранения данных (СХД). В частности, все боле широко используется блочная дедубликацня данных в системах резервного копирования, которая позволяет избежать постоянного накопления избыточной информации. Эта избыточность возникает из-за того, что данные в информационных системах часто дублируются, причем одни и те же блоки данных могут присутствовать в самых разных системах, например, на почтовых серверах (особенно, если
одни и те же файлы рассылаются сразу многим получателям), в файловых системах различных компьютеров, в базах данных. В традиционном варианте резервного копирования эта избыточность только увеличивается. В результате объем хранимых резервных копий может превышать объем продуктивных данных в 10-20 раз, притом, что различия между двумя копиями могут составлять единицы процентов.
В основе дедупликации данных [3], которая используется уже достаточно давно, лежит выделение уникальных блоков данных, сохраняемых только один раз. Хотя такие решения присутствуют на рынке достаточно давно, в последнее время интерес к ним растет лавинообразно.
Существует две основные технологии дедупликации данных на блочном уровне — в источнике, т.е. на клиентах системы резервного копировании и на целевом устройстве, т.е. в самой системе резервного копирования. Компания ЕМС предлагает реализацию обоих подходов в своих решениях EMC Avamar и EMC Data Domain соответственно.
В EMC Avamar используется дедупликация в источнике, что позволяет резко уменьшить объем данных до передачи в сеть и достичь 500-кратное снижение загрузки сети и 20-кратное снижение емкости СХД резервного копирования. Специальный патентованный алгоритм разбивает исходные данные па блоки переменной длины, пытаясь выделить как можно больше одинаковых блоков. Клиенты системы передают только уникальные блоки, еще не содержащиеся в хранилище. Если же блок уже содержится в хранилище, то передается только метаинформация о том, что данный блок существует и на данном клиенте.
В EMC Data Domain дедупликация закладывалась изначально. В них используется наиболее эффективный алгоритм дедупликации па уровне блоков данных переменной длины, позволяющий сократить объем хранилища резерв-пых копий в десятки раз по сравнению с традиционными решениями. Система поддерживает деду пли кацию «на лету» (inline), за счет чего достигается более эффективное (в разы) использование дискового пространства по сравнению с системами, использующими отложенную репликацию. Она обеспечивает наилучшие показатели по производительности при резервном копировании и восстановлении. Продуктовая линейка Data Domain включает ряд моделей от ориентированных на удаленные офисы до предназначенных для использования в крупных ЦОД.
Одним из актуальных направлений в индустрии хранения, стало программно-определяемое (или программируемое) хранение - Software Defined Storage (SDS) [4], Строгого определения SDS пока не существует, но обычно под программно-определяемым хранением понимают группу программ для хранения данных, работающую на серверах с процессорами х86, гипервизорах и в облаках. Эти программы должны независимо от оборудования с помощью виртуализации дисковых ресурсов обеспечивать полный набор используемых для хранения сервисов хранения (включая дедупликацию, репликацию и динамическое выделение ресурсов).
Виртуализация ресурсов давно применяется в СХД корпоративного класса. Однако раньше она чаще всего реализо-вывалась с помощью специализированных микросхем контроллера дискового массива. В настоящее время SDS все шире используется в дополнение к традиционной виртуализации ресурсов СХД. Она реализует механизмы самообслу-
живания и использования политики управления, значительно упрощающие администрирование хранения, а также позволяющие легко и быстро предоставлять нужные данные и дисковую емкость приложениям и пользователям.
Внедрение технологии SDS обеспечивает следующие результаты, которые невозможно получить при использовании традиционной виртуализации СХД:
- координацию предоставления сервисов хранения (независимо от того, где хранятся данные), для обеспечения требований соглашения об уровне обслуживания SLA (Service Level Agreement);
- координацию предоставления сервисов хранения (независимо от того, где хранятся данные), для обеспечения требований соглашения об обслуживании SLA е помощью программного обеспечения;
- улучшение эффективности использования ресурсов и продуктивности персонала за счет обработки запросов на сервисы и управления текущими операциями с помощью программного обеспечения;
- использование стандартного оборудования для уменьшения зависимости от специализированного «железа» и реализация всех интеллектуальных функций на уровне ПО;
- использование общего набора интерфейсов прикладного программирования (application programming interlace -API) для интеграции между собой различных сервисов храпения и вычислений, сетевых и прикладных сервисов.
Применение SDS решений существенно снижает расходы на приобретение СХД по сравнению с традиционными дисковыми массивами, поскольку использует стандартное серверное оборудование. Они также легко масштабируются добавлением в конфигурацию нового сервера.
По переворот в СХД может совершиться за счет перехода на принципиально новые принципы хранения информации. В 2016 г. корпорация Microsoft объявила о покупке 10 млн волокон синтетической ДНК для исследования возможностей построения СХД данных на основе молекул из генетического кода [5]. Исследователи из Microsoft намерены выяснить, каким образом молекулы, из которых состоит генетический код человека и всех живых существ, могут быть использованы для кодирования цифровой информации.
До разработки коммерческой продукции пока еще очень далеко, однако первичные тесты показали, что синтетическая ДНК позволяет расшифровать 100% данных, закодированных с ее помощью. Новая технология призвана решить проблему Больших данных (Big Data), количество которых удваивается каждые два года, СХД, построенные на основе синтетических ДНК, смогут обойти две ключевых проблемы нынешних систем — ограниченный срок жизни носителей и низкую плотность хранения. Специалисты ожидают, что носители на основе ДНК смогут сохранять информацию до 2 тыс. лет, а в устройстве весом один грамм может поместиться 1 Зетабайт (триллион Гигабайт) цифровых данных.
В рамках проведенного эксперимента команда ученых с конвергировала бесчисленные ряды единиц и нулей с четырех образов диска в четыре основания ДНК - аденин, гуанин, тимин и цитозин. Она смогла также произвести и обратный процесс - найти нужные последовательности уже в полной цепочке ДНК и реконструировать образы диска без каких-либо потерь, причем в ходе этого процесса не «потерялось» пи одного байта.
Возможность хранения информации в течение сотен или лаже тысяч лег выгодно отличает «ДНК-память» от привычных сегодня способов хранения цифровой информации — жестких дисков, твердотельных накопителей, магнитных и оптических дисков. Последние, как известно, сохраняют работоспособность только в течение нескольких лет или, максимум, нескольких десятилетий.
Сегодня главный барьер на пути внедрения «ДНК-памяти» - высокая стоимость производства, а также эффективность, с которой ДНК можно син тезировать и считывать в больших масштабах. Но ученые считают, что технически все эти проблемы можно решить.
Коммуникационная подсистема
Современные тенденции, такие как рост числа подключенных к Интернету устройств, экспоненциальный рост объемов информации, развитие облачных технологий, Большие Данные приводят к увеличению объемов сетевого трафика и требуют новых технологий конфигурации крупномасштабных сетей. Сети всегда были «узким» местом организации ЦОД. Решить эту задачу могут технологии программно-конфигурируемых сетей SDN (Software-Defined Networking) и виртуализации сетевых функций NFV (Network Function Virtualization), которые позволяют перевести сетевые элементы под контроль настраиваемого программного обеспечения, сделать их более интеллектуальными и облегчить управление ими.
Традиционное управление сетями обычно требует па-стройки каждого подключаемого к сети устройства отдельно. 11одобный подход может потребовать значительных временных затрат при увеличении числа устройств и облачных сервисов. SDN - это метод администрирования инфо-коммуппкационных сетей, позволяющий управлять услугами сети, когда функционал управления (control plane) отделен от нижележащего уровня пересылки пакетов (data plane) за счет переноса функций управления сетевым оборудованием (маршрутизаторами, коммутаторами и т.д.) в приложения, работающие на отдельном сервере (контроллере). Планирование сети и управление трафиком при этом происходит программным путем. Для приложений верхнего уровня предоставляются интерфейсы прикладного программирования (Al'l). Таким образом, ввод новых услуг на сети ускоряется и облегчается.
NFV — технология виртуализации физических сетевых элементов телекоммуникационной сети, когда сетевые функции исполняются программными модулями, работающими на стандартных серверах (чаще всего х86) и виртуальных машинах в них. Эти программные модули могут взаимодействовать между собой для обеспечения, как внутренних, так и внешних коммуникаций ЦОД, чем ранее занимались аппаратные платформы.
SDN и NFV. в общем, не зависят друг от друга, хотя NFV может в значительной степени дополнять SDN.
В России по технологиям SDN и NFV ПЛО «Ростелеком» уже сотрудничает с отечественным Центром прикладных исследований компьютерных сетей (ЦПИКС). Целыо сотрудничества является исследование возможностей и условий внедрения технологий SDN и NFV в сети I IАО «Ростелекома». В частности, компании сосредоточатся на разработке архитектуры, средств управления SDN-сетями, при-
ложений для SDN-контроллера, протоколов управления и программного обеспечения для SDN-коммутаторов в региональных сетях и ЦОД, а также на разработке платформы и виртуальных сетевых сервисов. Сотрудничество направлено на реализацию программы импортозамещения в области программного обеспечения Министерства связи и массовых коммуникации РФ.
Судя по публикациям в прессе, другие российские операторы связи в 2016 г. также изучали внедрение технологий SDN и NFV. Так в МАО "МегаФои" вопросы, связанные с SDN/NKV, в этот период находились на стадии анализа и возможного внедрения в инфраструктуре в части сервисных платформ. A i IAO "ВымпелКом" (бренд "Билайн") активно изучал и тестировал технологии и решения, ориентированные на NFV. В частности, были успешно проведены тестирования и внедрения ряда виртуализированных сетевых функций.
Прог раммно-определяемые ЦОД
Одной из новых и интересных идей, возникших в 2012 году, стала идея программно-конфигурируемых или программно-определяемых ЦОД (Software Defined Data Center, SDDC) [6]. Эта концепция является естественным развитием решений виртуализации, развиваемым компанией VMware. В качестве основной единицы виртуализации при этом предполагается не виртуальный сервер или виртуальная СХД, а полностью виртуальный ЦОД. При этом необходимым условием создания такого ЦОД является виртуализация абсолютно всех вычислительных ресурсов.
Виртуализация - одна из ключевых технологий, вошедших за несколько десятилетий в корпоративную инфраструктуру. Наибольших успехов удалось добиться в сегменте серверной виртуализации, которая в настоящее время применяется достаточно широко. Выше было показано, что виртуальные решения нашли свое воплощение и в СХД, где были реализованы и все более широко используются программно-определяемые системы хранения — SDS.
Суть концепции SDDC заключается в окончательном абстрагировании от конкретного оборудования и системного ПО, необходимых для функционирования приложений. То есть виртуализируются не только серверы, но и остальные инфраструктурные компоненты: дисковые массивы, сети, контроллеры. При этом для каждого пользователя программных средств может быть создан его собственный 1 (ОД с уникальными характеристиками, изолированный от других клиентов. Можно ожидать, что именно в этом направлении будет развива ться в ближайшие гады архитектура ЦОД.
Перспективные направления развития
и использования ЦОД
1 (оследнее десятилетие ознаменовалось резким возрастанием интереса к так называемым, облачным вычислениям (cloud computing), развит ие которых оказалось связанным с появлением и распространением крупных коммерческих ЦОД. Организация «облачного» сервиса осуществляется, как правило, на базе крупных ЦОД, Не останавливаясь подробно на особенностях облачных вычислений, отметим некоторые их особенности, способствующие развитию облачных технологий, Их можно условно разделить на глобальные и технологические.
T-Comm ^м 11. #6-2017
____
К глобальным факторам относятся:
- бурный рост объема цифровой информации (примерно па 52% в год);
- незначительный рост ресурсов, необходимых для обработки информации (в среднем рост ИТ-бюджетов составляет 2%, а рост числа ИТ-специалистов - на 1%);
- структура ИТ-бюджета (при традиционном использовании ИТ-ресурсов 77% расходов тратится на их поддержку и обслуживание и лишь 23% - на развитие);
- две важные характеристики уровня развития бизнеса -ТСО (Total Coast Ownership) - полная стоимость владения и ROI (Return of Investment) - уровень доходности или убыточности бизнеса (отношение дохода или убытка к сумме инвестиций), при использовании облаков значительно ниже.
К технологическим факторам, непосредственно связанным с ЦОД и определяющим перспективы облачных вычислений,относятся:
- виртуализация серверов и СХД;
- рост пропускной способности телекоммуникационных каналов;
- дедубликация и сжатие трафика;
- развитие технологий информационной безопасности (шифрования, мониторинга виртуальной структуры, системы управления ею и т.д.).
По данным компании IDC в 2016 г. мировые продажи оборудования для подсистем облачной инфраструктуры -серверов, хранилищ данных и Ethemet-коммутаторов, составили 32,6 млрд долл., что на 9,2% больше прошлогоднего показателя. Отдельно за IV кв. 2016 г. продажи достигли 9,2 млрд долл., продемонстрировав рост на 7,3% год к году [7].
В IV кв. 2016 г. затраты на облачное оборудование составили 37,2% средств, израсходованных в мире на ИТ-инфраструктуру в целом. Год назад этот показатель равнялся 33,4%. Выручка от продажи инфраструктуры для приватных облаков составила 3,8 млрд долл., что на 10,2% больше, чем в последнем квартале предыдущего года. В сегменте публичных облаков продажи достигли 5,4 млрд долл., показав рост на 5,3% в исчислении год к году. Для сравнения: в этом же квартале продажи традиционной необлачной ИТ-инфраструктуры упали на 9% по сравнению с показателем предыдущего года [7].
В сегменте приватных облаков самый большой рост показали продажи Ethernet-коммутаторов, которые увеличились на 52,7% в исчислении год к году. Выручка от реализации серверов выросла на 9,3%, хранилищ - на 3,6%. В сегменте публичных облаков также лидируют продажи Ethernet-коммутаторов, которые выросли за год на 30%. Выручка от серверов увеличилась на 2,4%, поступления от реализации хранилищ сократились на 2,1%. В сегменте традиционной ИТ-инфраструктуры продажи хранилищ показали наибольший спад - на 10,8% в исчислении год к году. Для Ethernet-коммутаторов и серверов спад составил 3,4% и 9% соответственно [7].
Тенденция, иллюстрирующая изменения соотношений средств, затрачиваемых па ИТ-инфраструктуру по различным моделям развертывания в период между 2015 и 2020 гг. представлена на рис. 3.
Прогноз развития мирового рынка ИТ-инфраструктуры по типу развертывания
100,00% —
80,00» 60,00» АО.00%
io,oo%
0,00% ---
1015 201Е. 1017 2018 2019 2020
M Традиционные ит ■II1'.................■ Чдстиыеобпак*
Источник: WW Ou.ji '.ci Си jt IT Infrastructure Tracker, Q1 20L6
Рис, 3. Соотношение средств, затраченных на традиционную ИТ-инфраструктуру и на инфраструктуру для сегментов публичных и приватных облаков
С облачными вычислениями непосредственно связаны и, так называемые, «туманные вычисления» (fog computing). Туманные вычисления — это относительно новое понятие, возникшее в 2012 г. после публикации статьи группы сотрудников компании Cisco «Туманные вычисления и их роль в создании Интернета вещей». Иногда туманные вычисления определяются, как «платформа с высоким уровнем виртуализации, предоставляющая вычислительные сервисы, сервисы хранения информации, а также сетевые сервисы между оконечными устройствами и центрами облачных вычислений, не обязательно расположенных на крайних уровнях сети». Таким образом, понятием туманные вычисления обозначают связанные между собой распределенные вычисления, частично выполняемые на оконечных устройствах, имеющих ограниченные ресурсы и непосредственную связь, как с физическим миром {«землей»), так и с облаком. Появление туманных вычислений стало возможным благодаря современной тенденции интеграции сетевых технологий во все большее число бытовых и промышленных устройств, которые обладают, хотя и скромными, но собственными вычислительными ресурсами и системами хранения данных. Эти устройства можно считать «каплями» тумана, опустившегося па «землю», т.е. приблизившегося к физическому миру облака.
На практике туманные вычисления подразумевают предоставление доступа к сенсорам и исполнительным устройствам и выполнение па них части вычислений, а также хранения на них части используемой информации, отправляя в облако информацию, подвергшуюся первичной обработке, существенно меньшего объема. Дальнейшая обработка информации, требующая существенно больших вычислительных мощностей, производится в облаке (рис. 4). Таким образом, туман и облако можно рассматривать, как распределенный в пространстве ЦОД, в котором часть вычислений и хранения данных осуществляется на оконечных устройствах.
Из рисунка 4 следует, что «облако» не имеет непосредственной связи с физическим миром, а «туман», наоборот, с этим миром контактирует и, более того, может иметь пространственную привязанность (адрес, месторасположение).
Капли тумана -вычислительные ресурсы и ресурсы хранения оконечных устройстп
Физический мир - оконечные устройства
Рис. 4. Схема организации облачных и туманных вычислений
Подобные решения позволяют повысить качество работы существующих специализированных систем, таких как системы класса «умный лом», «умный город», «умное производство». Туманные вычисления необходимы для дальнейшего развития концепции «интернета вещей» (IoT) [8], которая неразрывно связана с развитием ЦОД. Эта концепция подразумевает ситуацию, когда бытовые приборы уже не являются пассивными устройствами, а представляют собой высокоинтеллектуальные гаджеты, подключающиеся к интернету без участия человека.
Рассмотрим развитие этой концепции на примере политики компании CISCO. В части совершенствования управления - это движение от управления вручную (CL!) к управлению через программ ируемость (DevOps) и далее к автома-тизации+управление по политикам. В части протоколов и архитектуры - от STP/VPC через Ь2фабрика FabricPalh, и L2/L3фабрика: VXLAN к фабрике с интеграцией политик ACI. В части подключения к ЦОД - по сетям доступа: от I к 10 Гбит/с и до 25Гбит/с; по магистральным сетям: от 10 к 40 Гбит/с и до 100 Гбит/e. Развитие ЦОД идёт все возрастающими темпами. По данным Gartner, к 2020 году 30% организаций будут использовать резервное копирование для более, чем просто оперативного восстановления (например, тест/развития, DevOps и т.д.), по сравнению с менее чем 10% в начале 2016 г. Более 40% организаций вытеснит долгосрочное резервное копирование с системами архивирования - по сравнению с 20% в 2015 г. Не менее 10% систем хранения будет использовать самозащиту по сравнению с менее чем 2% в настоящее время. При этом отпадет необходимость в приложениях резервного копирования, К 2019 г., 30% организаций среднего размера будет использовать публичное облако laaS для резервного копирования, но сравнению с 5% в настоящее время. К 2018 г. 70% бизнес-приложений и их владельцы будут иметь больший контроль защиты данных по сравнению с 30% в настоящее время. Ожидается, что к этому времени 50% организаций увеличат текущее резервное копирование или заменят его другим решением с помощью дополнительных продуктов, по сравнению с тем, что были развернуты в начале 2015 г. Более 50% клиентов корпоративных систем хранения данных (СХД) начнут рассматривать заявки от поставщиков, которые работают в бизнесе в течение менее пяти лет, по сравнению с менее чем 30% в настоящее время. Количество предприятий, использующих облако в качестве резервного хранилища, ожидается в два раза больше, по сравнению с 11 % в начале 2016 г.
Еще одна новая технология, реализация которой невозможна без создания и развития крупных современных ЦОД, получила название «Большие Данные» (Big Data) [9]. Под этим понимается серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения результатов, доступных для восприятия человека. Этот подход актуален в условиях непрерывного прироста информации, увеличения ее неоднородности и распределенности по узлам вычислительной сети.
В настоящее время программ но-аппаратные средства, специально созданные для обработки Больших Данных, только создаются. Можно предположить, что это связано со сравнительно недавним появлением самого термина «Большие Данные», Тем не менее, к средствам их обработки относят следующие уже существующие технические решения:
- аппаратно-программные комплексы, поставляемые, как готовые к установке в ЦОД телекоммуникационные шкафы, содержащие кластер серверов и управляющее ПО для массовой параллельной обработки данных;
- аппаратные решения для аналитической обработки в оперативной памяти, хотя такая обработка изначально не является массово-параллельной, а объёмы оперативной памяти одного узла ограничиваются несколькими терабайтами;
- аппаратно-программные комплексы на основе традиционных реляционных СУБД, как способные эффективно обрабатывать терабайты и экзабайты структурированной информации, решая задачи быстрой поисковой и а и штити ческой обработки orpoMFnbix объёмов структурированных данных;
- аппаратные решения DAS - систем хранения данных, напрямую присоединённых к узлам в условиях независимости узлов обработки иногда относят к технологиям Больших Данных; именно с появлением концепции Больших Данных связан всплеск интереса к DAS-решениям в начале 2010 годов после вытеснения их в 2000-е годы сетевыми решениями классов NAS и SAN.
Характерной особенностью работы с Большими Данными является следующие особенности:
1. Анализируются все данные, а не статистические выборки. Например, для определения зоны распространения гриппа NIH1 специалисты Google выявили 45 из 50 миллионов условий поиска в интернете определенных лекарств и сравнили их с зонами распределения гриппа за 2003-2008 гг. Точность определения территорий распространения заболевания составила 97%.
2. Отсутствие точности. В мире Больших Данных высокая точность невозможна - данные постоянно меняются, они неупорядочены, разного качества, разбросаны по разным серверам иногда по всему миру.
3. Корреляция, а не причинность. Еще одна особенность работы с Большими Данными — это отход от поиска причинностей. Вместо поиска причин того или иного явления ищутся корреляции. Например, если мы знаем, что Сочетание двух веществ излечивает определенную болезнь, то нам не так важно, почему это происходит.
На российском рынке пока отсутствуют держатели больших объемов данных типа компаний Google и Amazon, но, возможно, таковыми станут «Яндекс», «Mail.ru» и им подобные.
m
Заключение
Технологии создания I [ОД и отдельных их подсистем непрерывно совершенствуются. Этому способствуют, как быстрое развитие информационных технологий вообще, так и таких направлений, как совершенствование и рост числа мобильных устройств, увеличивающаяся популярность облачных вычислений, расширяющаяся потребность работы с Большими Данными, Все более широко применяется виртуализация, как серверов, так и СХД, а также функциональная виртуализации сетей. Управление такими в и рту ал и жированным и структурами с помощью программного обеспечения позволит в перспективе создать программно-определяемый ЦОД, в разы и более эффективный, чем современные. Уже сейчас понятно, что использование ДНК для создания емких и долговечных СХД может совершить революцию в этих системах. По-видимому, качественный рывок ожидает в перспективе и технологию производства процессоров, поскольку длина транзисторного затвора приблизилась к атомарным размерам, и дальнейшее возрастание тактовой частоты транзисторов требует, прорывных нетривиальных решений. Пока трудно предсказать, какой прорыв ожидает коммуникационное оборудование вслед за внедрением технологий SDN и NFV. По, несомненно, будет и он.
Литература
1. Кальфа A.A., Кобзаренко В.Н.. Коханюк Ю.Б. Лстин В.Г.. Павловский М. В Пашковстш А.Б., Ноздрина К.Г., Руссу Е.В. Исследование полевых транзисторов на фосфиде индия. Электронная техника, сер. Электроника СВЧ, 1990. в.9, (423), С. 21.
2. Кальфа A.A.. Тагер A.C. Полевой транзистор / Авторское свидетельство №897062 (СССР), приоритет от 03,09.1980г.
3. Обзор делуплнкации данных, август 2016, [Электронный ресурс]. URL: https ://msdn.microsoft.com/m-ru/library/hh831602 (v=ws.l I ).aspx (дата обращения: 01.04.2017).
4. Смелянскии Р. Программно-конфигурируемые сети. Открытые системы. СУБД, №9, 2012.
5. Microsoft собралась строить компьютерную память из ДНК, 28.04.2016, [Электронный ресурс]. URL: http://www.cnews.ru/news/ юр/2016-04 28_microsolt_sobralas_stroit_kompyiiternuyu_pamyai {дата обращения: 01.04.2017).
6. ГаньжаД. На пути к программно определяемому центру обработки данных, Журнал сетевых решений/LAN, №7-8, 2016, [Электронный ресурс]. URL: https://www.osp.ru/lan/20I6/07-
08/13050118 (дата обращения: 01.04.2017).
7. IDC Worldwide Quarterly Cloud IT Infrastructure Tracker. [Электронный ресурс|. URL: https://www.idc.com/getdoc.jsp? coniainerld=prUS42454017 (дата обращения: 01.04.2017).
8. Докучаев В.А., Ермаювич A.B., Шведов A.B. Концепция «Интернет Вещей» как основа развитая информационно-коммуникационных технологий ( И KT). Актуальные проблемы и перспективы развития экономики / Труды Юбилейной XV международная научно-практической конференции. Симферополь-Гурзуф, 17-19 ноября 2016 год. Саки: ИП БрОВКО A.A., 201 б. 352 с.
9 Фрэнке Б. Укрощение больших данных. Изд-во «Манн, Иванов и Фербер» М., 2014.
COMMUNICATIONS
TECHNICAL SOLUTIONS ANALYSIS FOR THE MODERN DATA CENTERS
Vladimir A. Dokuchaev, MTUCI, Moscow, Russia, v.dok@tlsf.ru Alexander A. Kalfa, MTUCI, Moscow, Russia, kalfa.alex@yandex.ru Sergey S. Mytenkov, MTUCI, Moscow, Russia, mitenkovss@rspp.ru Andrey V. Shvedov, MTUCI, Moscow, Russia, a.shvedov@tlsf.ru
Abstract
The article considers modern technologies applied in data centers, such as data deduplication in a source and target device, software-defined storage, software-defined networks, and network functions virtualization. All these technologies make it possible to create a fully software-defined data center, which is likely to become a data center for the near future. It is noted that the traditional way of increasing the clock frequency of processors by reducing the length of transistors' gates is virtually exhausted and the prospects for increasing the clock frequency of processors through the use of new materials and structures are discussed. The authors highlight fundamentally new solutions in the creation of data storage systems, in particular, with the use of DNA, experiments with which are currently conducted by Microsoft Corporation. Prospects of using Data Centers in information technologies such as cloud and fog computing, Internet of things and big data are considered. The trends in the ratios of funds spent on the IT infrastructure for different deployment models between 2015 and 2020 are analyzed. Thus, in 20I6QIV, the cost of cloud equipment accounted for 37.2% of the funds globally spent on the IT infrastructure in general. The revenue from the sale of infrastructure for private clouds was $3.8 billion, 10.2% more than in the last quarter of the previous year. In the public cloud segment, sales reached $ 5.4 billion, showing a year-on-year increase of 5.3%. The development of the IoT concept is analyzed based on the Cisco example. The features of work with big data are noted, in which virtualization, both of servers and storage, is becoming increasingly used, as well as network functions virtualization. The management of such virtualized structures through software will make it possible in future to create software-defined data centers more efficient than modern ones. It is noted that the use of DNA to create capacious and durable storage systems can revolutionize these systems. Apparently, a qualitative breakthrough in the production technology of processors is also likely to be observed in future, since lengths of the transistor gates approach the atomic dimensions, and the further increase in the clock frequency of transistors will require breakthrough nontrivial solutions.
Keywords: Data Center, Server Subsystem, Data Storage Systems, Software-defined Storage (SDS), Software Defined Networks (SDN), Network Functions Virtualization (NVF), Software-defined data center (SDDC), Cloud and Fog Computing, Internet of Things (IoT), Big Data.
References
1. Kalfa A.A., Kobzarenko V.N., Kokhanyuk Y.B., Lapin V.G., Pavlovsky M.V., Pashkovsky A.B., Nozdrina K.G., Russu E.V. (1990). Investigation of field-effect transistors on indium phosphide. Electronic engineering, ser. Electronics UHF, no. 9 (423), p. 21. (in Russian)
2. Kalfa A.A., Tager A.S. (1980). Field transistor. Author's certificate No. 897062 (USSR), priority from 03.09.1980. (in Russian)
3. An overview of data deduplication, August 2016, [Electronic resource]. URL: https://msdn.microsoft.com/en-us/library/hh83I602(v=ws.II).aspx (date of circulation: 01/04/2017).
4. Smelyansky R. (20I2). Programmatically Configurable Networks. Open systems. DBMS, no. 9. (in Russian)
5. Microsoft is going to build a computer memory from the DNA, 04/28/2016, [Electronic resource]. URL: http://www.cnews.ru/news/top/20I6-04 28_microsoft_sobralas_stroit_kompyuternuyu_pamyat (reference date: 0I/04/20I7).
6. Ganja D. (20I7). On the way to the software-defined data center. Network Solutions Journal / LAN, no. 7-8, [Electronic resource]. URL: https://www.osp.ru/lan/20I6/07-08/I3050II8 (reference date: 0I/04/20I7).
7. IDC Worldwide Cloud IT Infrastructure Tracker. [Electronic resource]. URL: https://www.idc.com/getdoc.jsp?containerId=prUS424540I7 (reference date: 0I/04/20I7).
8. Dokuchaev V.A., Ermalovich A.V., Shvedov A.V. (20I6). The concept of "Internet of Things" as a basis for the Development of Information and Communication Technologies (ICT). Actual problems and prospects of economic development. Proceedings of the Jubilee XV International Scientific and Practical Conference. Simferopol-Gurzuf, November I7-I9, 20I6. Saki: IP Brovko A.A., p. 352.
9. Franks B. (20I4). The Taming of Large Data. Moscow: Publishing house "Mann, Ivanov and Ferber". (in Russian)
Information about authors:
Vladimir A. Dokuchaev, DSc (Technical), Professor, Head of the Department "Multimedia Communication Networks and Services" MTUCI, Moscow, Russia
Alexander A. Kalfa, DSc (Mathematical), Senior Researcher, Professor of the Department of "Multimedia Communication Networks and Services", MTUCI, Moscow, Russia
Sergey S. Mytenkov, Postgraduate student of the Department of "Multimedia Communication Networks and Services", MTUCI, Moscow, Russia
Andrey V. Shvedov, Senior Lecturer of the Department of "Multimedia Communication and Communication Services", MTUCI, Moscow, Russia
