CC BY
16
DOI: 10.15514/ISPRAS-2021-33(1)-8
Качество обслуживания в программно-определяемых сетях для научных приложений: возможности и проблемы
uХ.Э. Лосано-Риск, ORCID: 0000-0002-6154-5712 <jlozano@cicese.mx> 1 Р. Ривера-Родригес, ORCID: 0000-0002-1968-8525 <rrivera@cicese.mx> 2Х.И. Ньето-Иполито, ORCID: 0000-0003-0105-6789 <jnieto@uabc.edu.mx> 1 С. Вильярреаль-Рейес, ORCID: 0000-0002-7219-361X <svillar@cicese.mx> 1 А. Галавис-Москеда, ORCID: 0000-0001-7304-1442 <agalaviz@cicese.mx> 2М. Васкес-Брисеньо, ORCID: 0000-0003-2545-2153 <mabel.vazquez@uabc.edu.mx>
1 Центр научных исследований и высшего образования (CICESE), Мексика, 22860, Нижняя Калифорния, Энсенада, ш. Тихуана-Энсенада, 3918 2 Автономный университет Нижней Калифорнии (UABC), Мексика, 21100, Нижняя Калифорния, Энсенада
Аннотация. Для работы научных приложений требуется выполнять в кратчайшее время обработку, анализ и передачу больших объемов данных из распределенных источников данных. Чтобы улучшить производительность таких приложений, требуется наличие определенных параметров качества обслуживания (QoS). С другой стороны, программно-определяемая сеть (SDN) представляет собой новую парадигму коммуникационной связи, которая упрощает управление коммуникационной инфраструктурой и, следовательно, позволяет динамически внедрять параметры QoS в приложения, работающие в сети такого типа. Учитывая обе парадигмы, мы выполнили данное исследование с целью найти ответы на следующие вопросы. Повышается ли производительность научных приложений, работающих в распределенных центрах данных, которые построены на основе SDN? Принимаются ли во внимание при планировании заданий сетевые параметры QoS? Методология исследования заключалась в ознакомлении со статьями из специализированных баз данных, содержащими ключевые слова «SDN», а также «высокопроизводительных вычисления и обработка больших объемов данных в научных приложениях». Затем мы проанализировали статьи, где эти ключевые слова пересекаются с некоторыми параметрами, связанными с QoS в сетях передачи данных. Кроме того, мы рассмотрели предложения по обеспечению качества обслуживания в SDN, чтобы выявить достигнутый прогресс в этой области исследований. По итогам исследования были получены следующие результаты: (i) внедрение QoS в научные приложения, работающие в SDN, все еще является открытой проблемой; (ii) мы определили проблемы, связанные с соединением обеих парадигм; (iii) мы представили стратегию обеспечения QoS научным приложениям, которые выполняются в распределенных центрах обработки данных на основе SDN.
Ключевые слова: качество обслуживания; программно-определяемая сеть; большие данные; высокопроизводительные вычисления
Для цитирования: Лосано-Риск Х.Э., Ривера-Родригес Р., Ньето-Иполито Х.И., Вильярреаль-Рейес С., Галавис-Москеда А., Васкес-Брисеньо М. Качество обслуживания в программно-определяемых сетях для научных приложений: возможности и проблемы. Труды ИСП РАН, том 33, вып. 1, 2021 г., стр. 111122. DOI: 10.15514/ISPRAS—2021—33(1)—8
Quality of Service in Software Defined Networks for Scientific Applications: Opportunities and Challenges
1,2 J.E. Lozano-Rizk, ORCID: 0000-0002-6154-5712 <jlozano@cicese.mx> 1R. Rivera-Rodriguez, ORCID: 0000-0002-1968-8525 <rrivera@cicese.mx> 2 J.I. Nieto-Hipolito, ORCID: 0000-0003-0105-6789 <jnieto@uabc.edu.mx> 1 S. Villarreal-Reyes, ORCID: 0000-0002-7219-361X <svillar@cicese.mx> 1 A. Galaviz-Mosqueda, ORCID: 0000-0001-7304-1442 <agalaviz@cicese.mx> 2M. Vazquez-Briseno, ORCID: 0000-0003-2545-2153 <mabel.vazquez@uabc.edu.mx> 1 Center for Scientific Research and Higher Education in Ensenada (CICESE), Baja California, Ensenada, Mexico, 22860 2 Autonomous University of Baja California (UABC), Ensenada, Mexico, 21100
Abstract. Scientific applications require to process, analyze and transfer large volumes of data in the shortest possible time from distributed data sources. In order to improve their performance, it is necessary to provide them with specific QoS parameters. On the other hand, SDN is presented as a new paradigm of communications networks that facilitates the management of the communications infrastructure and consequently allows to dynamically incorporate QoS parameters to the applications running in this type of network. With both these paradigms in mind, we conducted this research to answer the following questions: Do scientific applications that are running in an SDN-Enabled distributed data centers improve their performance? Do they consider network QoS parameters for job scheduling? The methodology used was to consult articles in specialized databases containing the keywords SDN and for scientific applications: HPC and Big Data. Then, we analyzed the articles where these keywords intersect with some of the parameters related to QoS in communications networks. Also, we reviewed QoS proposals in SDN to identify the advances in this research area. The results of this paper are: i) QoS is an open issue to incorporate in scientific applications that are running in an SDN ii) we identified the challenges to join both these paradigms, and iii) we present a strategy to provide QoS to scientific applications that are being executed among SDN-Enabled distributed data centers.
Keywords: Quality of Service; Software Defined Networks; Big Data; High Performance Computing
For citation: Lozano-Rizk J.E., Rivera-Rodriguez R., Nieto-Hipolito J.I., Villarreal-Reyes S., Galaviz-Mosqueda A., Vazquez-Briseno M. Quality of Service in Software Defined Networks for Scientific Applications: Opportunities and Challenges. Trudy ISP RAN/Proc. ISP RAS, vol. 33, issue 1, 2021, pp. 111122 (in Russian). DOI: 10.15514/ISPRAS-2021-33(1)-8.
1. Введение
В настоящее время генерация цифровой информации происходит из различных видов источников данных, которые собираются географически распределенным образом со всего мира. Стремительное развитие технологий Интернета, Интернета вещей и больших данных привело к взрывному росту объема данных практически во всех областях промышленности, бизнеса [1] и науки.
С появлением научных приложений, связанных с высокопроизводительными вычислениями (High Performance Computing, HPC) и обработкой больших объемов данных (Big Data), возникла потребность в обработке и анализе больших данных в кратчайшее время, что приводит к чрезмерному использованию вычислительных ресурсов и ресурсов хранения данных в традиционных центрах обработки данных. Эти приложения также способствовали росту числа облачных инфраструктур и вычислительных кластеров, разделяющих ресурсы между географически распределенными центрами обработки данных, в которых научные приложения обрабатывают и анализируют данные, хранящиеся в распределенных системах. Для работы этих видов научных приложений необходимо обрабатывать и передавать данные большого объема (терабайты или даже петабайты) между географически распределенными
центрами обработки данных с помощью традиционных сетевых систем. Этот процесс предполагает наличие высокой пропускной способности (приблизительно несколько десятков Гбит/с). Для администрирования сети и решения возможных проблем необходимы человеческие ресурсы. Кроме того, требуется выполнять задачи, связанные со специальными настройками, которые затрагивают, среди прочего, качество обслуживания (Quality of Service, QoS), шифрование, трансляцию сетевых адресов (Network Address Translation, NAT), таблицы управления доступом (Access Control List, ACL) и другие. Эти настройки напрямую влияют на то, как пакеты данных пересылаются в сети, включая то, как и когда они отбраковываются. Некоторые задачи являются статическими и определяются фиксированной конфигурацией каждого сетевого устройства.
В традиционной сети нет централизованного механизма изменения этих настроек в каждом сетевом устройстве на основе динамических условий сети или требований приложения [2]. Настройка производится сетевыми администраторами вручную, и это существенно влияет на производительность приложения, в частности, на время, требующееся для прекращения или завершения его работы.
Программно-определяемые сети (Software Defined Network, SDN) обеспечивают механизм, позволяющий научным приложениям динамически взаимодействовать с сетевым контроллером, чтобы использовать функциональные возможности для пересылки потока данных внутри сети. В соответствии с этой схемой, эти приложения могут запрашивать сетевые параметры или услуги, такие как пропускная способность, политики QoS, безопасность и др., обеспечивающие их оптимальной производительности. Остальная часть статьи организована следующим образом: в разд. 2 представлена общая архитектура программно-определяемой сети. В разд. 3 описываются виды научных приложений, являющихся предметом данного исследования. В разд. 4 представлен ряд исследовательских работ, преимущественно посвященных тому, как научные приложения используют SDN. В разд. 5 представлен обзор исследовательских работ по качеству обслуживания (QoS) в SDN. В разд. 6 представлены возможности и проблемы QoS в SDN, решение которых может способствовать повышению эффективности научных приложений. Также в этом разделе мы предлагаем стратегию внедрения QoS в научные приложения при использовании распределенных центров обработки данных на основе SDN. Наконец, в разд. 7 содержится заключение.
2. Программно-определяемая сеть
Парадигма обеспечения интерфейса прикладного программирования (API), который позволяет приложениям, управляющим сетью, контролировать правила пересылки посредством программирования, связана с понятием «программно-определяемой сети» [3]. Коротко говоря, SDN - это сетевая архитектура, в которой логика управления сетью (уровень управления) отделяется от маршрутизаторов и коммутаторов (уровень данных), которые перенаправляют трафик в сети. Благодаря разделению уровней управления и данных, коммутаторы становятся элементами переадресации, а логика управления реализуется в централизованном контроллере, что упрощает реконфигурацию сети. Контроллер может взаимодействовать с коммутаторами (на уровне данных) через API, являющийся частью южного интерфейса (Southbound Interface, SBI), и отличным примером тому служит OpenFlow [4] - стандарт, который был разработан для SDN и в настоящее время реализуется в самых разнообразных сетях и на различном коммуникационном оборудовании. Разработчики приложения могут пользоваться API северного интерфейса (Northbound Interface, NBI) сетевого контроллера, что позволяет им посылать инструкции в элементы переадресации (коммутаторы/маршрутизаторы). На уровне приложений (на высшем уровне) находятся приложения или службы, которые общаются через интерфейс NBI для реализации
управления сетью и поддержки ее функционирования: маршрутизаторы, балансировщики нагрузки, брандмауэры и т.д., а также бизнес-приложения [5], рис. 1.
Рис. 1. Общая архитектура программно-определяемой сети Fig 1. Software Defined Network General Architecture Таким образом, SDN позволяет создавать научные приложения, которые взаимодействуют с сетевым контроллером с целью сокращения времени выполнения, запрашивая пересылку потока данных на сетевые узлы, которая удовлетворяет их требования пропускной способности, качества обслуживания и безопасности,
3. Научные приложения
В данном исследовании нас интересовали научные приложения, на производительность которых может влиять коммуникационная сеть. Принимая во внимание требования приложений к качеству обслуживания сети, их можно разделить на два класса:
• приложения, не требующие гарантий QoS, для выполнения которых достаточно отслеживать или регулировать пропускную способность сети; таким приложениям в основном требуется массивная передачи данных.
• приложения категории HPC, для которых необходимо гарантированно обеспечить QoS, учитывая такие параметры, как пропускная способность, задержка, колебания задержки, доступность службы, эффективная скорость передачи, скорость потери пакетов и размер круговой задержки (Round-Trip Delay Time, RTT).
В своем исследовании мы изучали те типы научных приложений, для улучшения производительности которых требуется гарантированно обеспечить некоторые сетевые сервисы. Кроме того, мы ограничились анализом параллельных приложений на основе MPI, обрабатывающих большие данные с использованием MapReduce.
3.1 Параллельные вычислительные приложения на основе MPI
MPI - это стандарт, широко используемый при разработке приложений с параллельными вычислениями для передачи сообщений между серверами или вычислительными узлами.
MPI позволяет одновременно выполнять несколько экземпляров программы в разных узлах многопроцессорной системы и обеспечивает связь между процессами [6]. Хотя традиционный MPI используется для разработки крупномасштабных научных приложений, одним из основных факторов повышения их эффективности является использование коллективной коммуникация [7], когда коммуникация возможна между двумя процессами MPI или большим их числом одновременно. Некоторые коллективные операции MPI предназначены для коллективных вычислений, например, такие MPI_Reduce и MPI_ALLreduce. На выполнение таких операций расходуется много времени, а их результаты требуется пересылать в другие процессы.
Эти операции могли бы повысить производительность крупномасштабных параллельных приложений, если бы приложения MPI могли управлять такими параметрами SDN, как пропускная способность и величина задержки, или применять политики QoS в соответствии со своими требованиями, то это сократило бы время отклика или полного завершения работы.
3.2 Приложения для высокопроизводительных вычислений и обработки больших объемов данных
В некоторых областях исследований анализ больших данных в настоящее время считается одной из основных задач. MapReduce - это модель программирования для обработки больших объемов данных с использованием параллельных/распределенных алгоритмов на кластерных, облачных вычислительных системах и грид-системах [8] для получения более быстрых результатов по сравнению с традиционной (последовательной) обработкой. Модель программирования MapReduce основана на двух основных функциях - map (распределение данных по узлам и их параллельная предварительная обработка) и reduce (параллельная свертка разделенных данных). Одной из наиболее используемых реализаций MapReduce является фреймворк Hadoop [9], разработанный Apache Foundation, основанный на Java и распределенной файловой системе HDFS (Hadoop Distributed File System) и оптимизированный для поддержки модели MapReduce [10].
Уже выполнялись исследовательские работы, в которых изучалось выполнение задач MapReduce с использованием центров обработки данных, подключенными программно-определяемой сетью, с учетом параметров сети, таких как пропускная способность, в процессе планирования [11], а в некоторых случаях также учитывалась задержка. В следующем разделе мы рассмотрим этот тип приложений и его взаимодействие с программно-определяемой сетью.
4. SDN и приложения HPC-Big Data
В этом разделе мы отвечаем на следующие вопросы:
• повышается ли производительность приложений высокопроизводительных вычислений и обработки больших объемов данных, если они работают в центрах обработки данных на основе SDN?
• учитываются ли параметры QoS сети в процессе планирования заданий приложения? Ответы на эти вопросы помогут определить потенциал области исследований SDN, который может быть применен к приложениям HPC-Big Data для повышения их производительности. Далее мы описываем серию исследовательских работ, направленных на сокращение времени выполнения приложений, основанных на MPI и MapReduce (Big Data) и работающих в вычислительных кластерах, соединенных программно-определяемыми сетями. Алгоритм, используемый в GSBT [12], ориентирован только на получение кратчайших маршрутов в SDN для использования в дереве редукции без учета неблагоприятных сетевых условий, таких как перегрузка сети, задержка и потеря пакетов. В BLAR [13] оптимизированы
два наиболее важных параметра для высокопроизводительных вычислительных приложений - пропускная способность и задержка [14]. Другие работы в основном были направлены на оптимизацию пропускной способности (BASS [15], PYTHIA [16], CLS [17], ASETS [18]). Несмотря на то, что даже простой учет этих сетевых параметров при планировании задач позволил повысить производительность приложений, некоторые результаты показывают, что в отдельных случаях производительность приложений в SDN ухудшалась. Это может быть связано с тем, что не учитывались такие состояния сети, как перегрузка канала, потери пакета, задержка, колебание задержки, доступность сервиса, эффективная скорость передачи и т.д. Таким образом, в перечисленных исследовательских работах следовало бы учесть указанные параметры сети, чтобы обеспечить должное качество обслуживания приложениям HPC-Big Data.
5. Качество обслуживания в SDN
QoS считается одним из существенных свойств, влияющих на производительность приложения, которое интенсивно использует коммуникационную сеть [17]. В контексте сети QoS рассматривается как способность обеспечения сервиса. Наиболее распространенные параметры для обеспечения QoS - это пропускная способность, задержка, коэффициент потери пакетов (Packet Loss Rate, PLR) и управление перегрузками [17] [18]. Выбор сетевых параметров QoS зависит от типа приложения.
В табл. 1 приведена сводка рассмотренных нами предложений по поводу QoS для тех случаев, в которых архитектура SDN формируется на основе подхода обеспечения качества обслуживания. Анализ этих предложений показывает потребность в дополнительном модуле, который взаимодействует с контроллером SDN для обеспечения качества обслуживания. В большинстве случаев в алгоритме маршрутизации QoS используется кратчайший маршрут (Shortest Part First, SPF), основанный на ограничениях, при этом, помимо учета расстояния между сетевыми узлами, в некоторых случаях учитывается и задержка между ними. Большинство предложений по QoS сосредоточены на управлении пропускной способности и перенаправлении потока данных на те каналы, где требования к пропускной способности выполнены. В основном данные предложения касаются мультимедийных приложений (потокового видео) и даже VoIP, поэтому неясно, в каких случаях можно за счет этого улучшить производительность приложений HPC-Big Data.
Табл. 1. Общие аспекты предложений по обеспечению качества обслуживания Table. 1. QoS Proposal General Aspects
Предложение Сетевые параметры Алгоритм маршрутизации Целевое приложение
Q-Ctrl [19] Пропускная способность Управление пропускной способностью Облачные мультимедийные службы
OpenQoS [20] Пропускная способность, задержка, колебания задержки SPF с ограничением задержки Потоковое видео, мультимедиа
Flow QoS [21] Пропускная способность Задаваемый пользователем приоритет для каждого приложения Мультимедийные сервисы, VoIP
QoS control [22] Пропускная способность, задержка Задаваемые пользователем политики приоритетов и управление пропускной способностью Потоковое видео, мультимедиа
VSDN [24] Пропускная способность, SPF с ограниченной пропускной способностью и задержкой Передача видео
задержка, джиттер
Q-Ctrl [26] Пропускная способность Задаваемая пользователем приоритетность и управление пропускной способностью Мультимедийные сервисы, VoIP
CECT [27] Пропускная способность БРЕ на основе ограничений и задержка Потоки передачи данных (не указано)
Amoeba Net [28] Пропускная способность SPF с ограничением пропускной способности Потоки передачи данных (не указано)
Для эффективного использования приложений высокопроизводительных вычислений и обработки больших объемов данных требуются реализация многоцелевого алгоритма QoS, в котором должны учитываться такие параметры сети, как пропускная способность, двухточечная задержка, коэффициент потери пакетов и колебание задержки. Кроме того, требуется разработка стратегий, позволяющих пользоваться преимуществами SDN. В рассмотренных нами предложениях по поводу QoS эксперименты проводились только в пределах одного домена и с одним сетевым контроллером. Ни в одном из случаев не рассматривалось качество обслуживания при наличии более одного домена, иными словами, при использовании архитектуры, в которой приложения HPC и Big Data выполняются в более чем одном распределенном центре данных. При наличии такого сценария необходим модуль QoS для установления связи с контроллерами каждого задействованного домена, а также для взаимодействия с поставщиками услуг Интернет (Internet Service Provider, ISP). Следует заметить, что пропускная способность является параметром SDN, который используется в большинстве рассмотренных работ, но это не означает, что управление пропускной способностью равнозначно обеспечению QoS в SDN.
6. Возможности и проблемы
Рассмотренные нами работы показывают, что качество обслуживания сети является одним из главных факторов улучшения производительности научных приложений, работающих в программно-определяемой сети. При этом обеспечение качества обслуживания в SDN представляет собой одну из серьезнейших проблем, в частности, в процессе выбора сетевых путей, которые лучше соответствуют требованиям каждого приложения. Процесс выбора пути должен быть основан на политиках QoS, определяемых дополнительным модулем на уровне приложений или управления, взаимодействующим с контроллером SDN. Таким образом, процесс перенаправления потока данных будет основан на политиках QoS, а не только на использовании кратчайшего пути (что является традиционной схемой маршрутизации сетевого контроллера) или с учетом лишь одного сетевого параметра. В процессе планирования заданий приложения решение о распределении заданий по вычислительных узлах будет основывается на сетевых политиках QoS, четко определенных для каждого приложения. Ниже приведен перечень основных проблем обеспечения QoS в программно-определяемой сети для приложений HPC и Big Data:
1) Требуется разработать классификацию видов QoS в соответствии с типами приложений HPC и Big Data и уровнями приоритетов их потоков данных в SDN. В [29] автор классифицирует разновидности QoS в IP-сетях в соответствии с требованиями приложений к таким параметрам сети, как двухточечная задержка, колебания задержки и коэффициент потери пакетов (PLR). На основе максимальных значений сетевых параметров, а также контрольных значений задержки (см. табл. 2) предлагается классифицировать приложения HPC и Big Data по их функциональным характеристикам. С этой точки зрения для некоторых из этих приложений требуется массивная передача данных или интенсивная коммуникация с вычислительными узлами распределенных центров обработки данных. Эти приложения могут относиться к классам QoS уровней 0 и уровня 2. После классификации
приложенщ контроллер SDN назначает более высокий приоритет правилам потоков данных приложениям из классов высоких уровней, чтобы было эти приложения могли выполнять передачу данных в кратчайшее время.
Табл. 2. Классы обеспечения качества обслуживания и максимальные значения показателей сети Table 2. QoS Classes and Network Metric Upper Limits [29]_
Класс QoS Характеристики Задержка (мс) Колебания задержки (мс) PLR
0 Режим реального времени, высокая чувствительность к колебаниям задержки, много сетевых коммуникаций 100 50 1x10-3
1 Режим реального времени, чувствительность к колебаниям задержки, имеются сетевые коммуникации 400 50 1x10-3
2 Транзакционные данные, много сетевых коммуникаций 100 не установлено 1x10-3
3 Транзакционные данные, имеются сетевые коммуникации 400 не установлено 1x10-3
4 Низкий уровень потерь (короткие транзакции, веб, потоковое видео) 1000 не установлено 1x10-3
5 Традиционные приложения (с негарантированной скоростью доставки) не установлено не установлено не установлено
2) Требуется выполнять процесс выбора сетевого пути и перенаправления потока данных с учетом политик QoS, основанных на приоритетности сетевых требований каждого приложения. Для выбора пути необходимо определить многоцелевой алгоритм QoS, чтобы учитывать четыре наиболее важных сетевых параметра, которые могут повлиять на производительность приложений HPC и Big Data: сквозная пропускная способность, задержка, колебания задержки и потеря пакетов. Также требуется учитывать приоритет, присвоенный каждому приложению. Для оптимизации QoS [30] в процессе переадресации потока могут быть применены эволюционные алгоритмы.
3) Требуется разработать интеллектуальный планировщик, динамически управляющий политиками QoS для приложений HPC и Big Data. Интеллектуальный планировщик, который удовлетворяет политикам QoS, требуемым для приложений, может быть разработан для распределения потоков данных приложения по узлам сети. Кроме того, он может динамически корректировать метод перенаправления потоков данных. У планировщика должна иметься информация о состоянии каждого выполняемого приложения, чтобы он мог динамически корректировать политики QoS для каждого приложения с целью поддержки требуемого качества обслуживания, способствующего повышению производительности. Кроме того, в политиках QoS может учитываться возможность энергосберегающего планирования при распределении заданий по узлам сети [31].
4) Требуется создать архитектуру QoS с учетом возможности выполнения приложений HPC и Big Data в узлах нескольких распределенных центров данных (междоменный подход). В рамках этой архитектуры мы предлагаем модель, в которой вычислительным узлам центра данных A требуется передавать потоки данных в вычислительные узлы центра
обработки данных B. Одним из наиболее важных аспектов, который необходимо учитывать, является потребность во взаимодействии контроллеров SDN всех центров данных для обеспечения возможности координировать политики QoS, определенные для междоменных приложений. Для создания подобной архитектуры может понадобиться разработка алгоритмов для работы с мультиконтроллерами или разработка стратегий, позволяющих координировать политики QoS при наличии нескольких контроллеров SDN. Такой подход мог бы повысить скорость анализа больших данных для Интернета вещей, когда большие объемы данных хранятся в географически распределенных облачных средах [32], и улучшить работу высокопроизводительных приложений, поддерживающих парадигмы MPI и OpenMPI и работающих в программно-определяемом центре данных [33].
Для решения каждой из этих проблем требуются анализ, исследования и даже разработка новых алгоритмов. Однако, рассматривая их совместно, мы тем самым предлагаем стратегию обеспечения качества обслуживания для повышения производительности приложений HPC и Big Data, работающих в распределенных центрах обработки данных на осноке SDN.
5. Заключение
В данном исследовании было проанализировано несколько работ, в которых приложения высокопроизводительных вычислений и обработки больших объемов данных используют программно-определяемую сеть для планирования своих задач и заданий. Несмотря на то, что в большинстве работ отмечается улучшение производительности приложений благодаря учетом некоторых сетевых параметров, наблюдались также случаи, когда они ухудшали операционные характеристики приложения. Кроме того, ни в одном из предложений (GSBT, BLAR, BASS, PYTHIA, CLS) не рассматривались политики QoS, которые требуются приложениям. В связи с этим мы выявили ряд возможностей и проблем, связанных с обеспечением качества обслуживания в SDN, а также то, как решение этих проблем может способствовать повышению производительности приложений.
Рассмотренные предложения по обеспечению качества обслуживания в SDN предоставляют ряд возможностей для повышения производительности приложений HPC и Big Data. Эти предложения частично решают некоторые проблемы, которые могут возникнуть у данного типа приложений. Однако по результатам нашего исследования можно сделать вывод о том, что имеется ряд проблем (см. пп. 1-4 в предыдущем разделе), решению которых следует посвятить новые исследования, связанные с динамическим и специализированным обеспечением качества обслуживания для приложений высокопроизводительных вычислений и обработки больших объемов данных и направленные на минимизацию времени выполнения приложения, а также оптимизацию использования вычислительных ресурсов центров данных.
Список литературы / References
[1]. A. Cravero. Big Data Architectures and the Internet of Things: A Systematic Mapping Study. IEEE Latin America Transactions, мо1. 16, то. 4, 2018, pp. 1219-1226.
[2]. W. Stallings. Software-Defined Networks and OpenFlow. Internet Protocol Journal, vol. 16, no. 1, 2013, pp. 1-6.
[3]. I. Monga, E. Pouyoul and C. Gouk. Software-Defined Networking for Big-Data Science - Architectural Models from Campus to the WAN. In Proc. of the SC Companion: High Performance Computing, Networking, Storage and Analysis (SCC), 2012, pp. 1629-1635.
[4]. Openflow. Open Networking Foundation. Available at: https://www.opennetworking.org/, last accessed: December, 2019.
[5]. D. Kreutz, F. Ramos, P. Verissimo, E. Rothenberg, S. Azodolmolky and S. Uhlig. Software-Defined Networking: A Comprehensive Survey. Proceedings of the IEEE, vol. 103, no.1, 2015, pp. 14-76.
[6]. С.П. Копысов, И.В. Красноперов, В.Н. Рычков. Совместное использование систем промежуточного программного обеспечения CORBA и MPI. Программирование, том 32, no. 3, 2006 г., стр. 51-61 /
5.P. Kopysov, I.V. Krasnopyorov, and V.N. Rychkov. CORBA and MPI code coupling. Programming and Computer Software, vol. 32, no. 3, 2006, pp. 276-283.
[7]. R. Thakur and W. Groop, Open Issues in MPI Implementation. In Proc. of the 12th Asia-Pacific Computer Systems Architecture Conference (ACSAC), 2007, pp. 327-338.
[8]. Р. Массобрио, С. Несмачнов, А. Черных, А. Аветисян, Г. Радченко. Применение облачных вычислений для анализа данных большого объема в умных городах. Труды ИСП РАН, том 28, вып.
6, 2016 г., стр. 121-140. DOI: 10.15514/ISPRAS-2016-28(6)-9 / R. Massobrio, S. Nesmachnow, A. Tchernykh, A. Avetisyan, and G. Radchenko. Towards a Cloud Computing Paradigm for Big Data Analysis in Smart Cities. Programming and Computer Software, vol. 44, no. 3, 2018, pp. 181-189.
[9]. C. Jayalath, J. Stephen, and P. Eugster. From the Cloud to the Atmosphere: Running MapReduce across Data Centers. IEEE Transactions on Computers, Vol. 63, No. 1, 2014, pp. 74-87.
[10]. S. Deshmukh, J. Aghav, and R. Chakravarthy. Job Classification for MapReduce Scheduler in Heterogeneous Environment. In Proc. of the IEEE International Conference on Cloud and Ubiquitous Computing and Emerging Technologies (CUBE), 2013, pp. 26-29.
[11]. Y. Watashiba, K. Kido, S. Date et al. Prototyping and evaluation of a network-aware Job Management System on a cluster system. In Proc. of the 19th IEEE International Conference on Networks (ICON), 2013, pp. 1-6.
[12]. P. Makpaisit, K. Ichikawa, and P. Uthayopas. MPI Reduce Algorithm for OpenFlow-Enabled Network. In Proc. of the 15th International Symposium on Communications and Information Technologies (ISCIT), 2015, pp. 261-264,
[13]. P. Uchupala, K. Ichikawa et al. Application-Oriented Bandwidth and Latency Aware Routing with OpenFlow Network. In Proc. of the IEEE 6th International Conference on Cloud Computing Technology and Science, 2014, pp. 775-780.
[14]. J. Huang, L. Xu, M. Zeng, C. Xing, Q. Duan, and Y. Yan, Hybrid Scheduling for Quality of Service Guarantee in Software Defined Networks to support Multimedia Cloud Services. In Proc. of the IEEE International Conference on Services Computing, 2015, pp. 788-792.
[15]. Q. Peng, B. Dai, B. Huang, and G. Xu. Bandwidth-Aware Scheduling with SDN in Hadoop: A New Trend for Big Data. IEEE Systems Journal, vol. 11, no. 4, 2017, pp. 2337-2344.
[16]. M. Veiga, C. Rose, K. Katrinis and H. Franke. Pythia: Faster Big Data in Motion through Predictive Software-Defined Network Optimization at Runtime. In Proc. of the IEEE 28th International Parallel & Distributed Processing Symposium, 2014, pp. 82-90.
[17]. H. Alkaff, I. Gupta and L. Leslie. Cross-Layer Scheduling in Cloud Systems. In Proc. of the IEEE International Conference on Cloud Engineering (IC2E), 2015, pp. 236-245.
[18]. S. Jamalian, H. Rajaei. ASETS: A SDN Empowered Task Scheduling System for HPCaaS on the Cloud. In Proc. of the IEEE International Conference on Cloud Engineering (IC2E), 2015, pp. 329-334.
[19]. K. Govindarajan, K. Meng, H. Ong, and W. Tat. Realizing the Quality of Service (QoS) in Software-Defined Networking (SDN) Based Cloud Infrastructure. In Proc. of the 2nd International Conference on Information and Communication Technology (ICoICT), pp. 505-510, 2014.
[20]. H. Egilmez, S. Dane, K. Bagci, and A. Tekalp. OpenQoS: An OpenFlow Controller Design for Multimedia Delivery with End-to-End Quality of Service over Software-Defined Networks. In Proc. of the Signal & Information Processing Association Annual Summit and Conference (APSIPA ASC), 2012, pp. 1-8.
[21]. M. Seddiki, M. Shahbaz, S. Donovan, S. Grover, M. Park, N. Feamster, and Y. Song. FlowQoS: Per-Flow Quality of Service for Broadband Access Networks. SCS Technical Report GT-CS-15-02, Georgia Institute of Technology, 2015.
[22]. M. Karaman, B. Gorkemli, S. Tatlicioglu, M. Komurcuoglu, and O. Karakaya. Quality of Service Control and Resource Priorization with Software Defined Networking. In Proc. of the 1st IEEE Conference on Network Softwarization (NetSoft), 2015, pp. 1-6.
[23]. H. Owens and A. Durresi. Explicit Routing in Software-Defined Networking (ERSDN): Addressing Controller Scalability. In Proc. of the 17th International Conference on Network-Based Information Systems, 2014, pp. 128-134.
[24]. H. Owens and A. Durresi. Video over Software-Defined Networking (VSDN). In Proc. of the 16th International Conference on Network-Based Information Systems, 2013, pp. 44-51.
[25]. O. Younis and S. Fahmy. Constraint-based Routing in the Internet: Basic Principles and Recent Research. IEEE Communications Surveys, vol. 5, no. 1, 2003, pp. 2-13.
[26]. S. Tomovic, N. Prasad, and I. Radusinovic. SDN control framework for QoS provisioning. In Proc. of the 22nd Telecommunications Forum, 2014, pp. 111-114.
[27]. M. Tajiki, B. Akbari, M. Shojafar et al. CECT: computationally efficient congestion-avoidance and traffic engineering in software-defined cloud data centers. Cluster Computing, vol. 21, no. 4, 2018, pp. 18811897.
[28]. A. Shah, W. Wu, Q. Lu et al. AmoebaNet: An SDN-enabled network service for big data science. Journal ofNetwork and Computer Applications, vol. 119, 2018, pp. 70-82.
[29]. M. Marchese. QoS over heterogeneous networks. John Wiley & Sons, 2007, 328 p.
[30]. С.Д. Итурриага Фабра, С.Е. Несмачнов Кановас, Н. Гони Бофриско, Б. Дорронзоро Диаз, А.Н. Черных. Конструирование и оптимизация сетей распространения контента. Труды ИСП РАН, том 31, вып. 2, 2019 г., стр. 15-20. DOI: 10.15514/ISPRAS-2019-31(2)-1 / S. Iturriaga, S. Nesmachnow, G. Goñi, B. Dorronsoro, and A. Tchernykh. Evolutionary Algorithms for Optimizing Cost and QoS on Cloud-based Content Distribution Networks. Programming and Computer Software, vol. 45, no. 8, 2019, pp. 544-556.
[31]. Ф. Армента-Кано, А. Черных, Х.М. Кортес-Мендоза и др. C.Min^: стратегия неоднородной концентрации задач для энергосберегающих компьютерных расписаний. Труды ИСП РАН, том 27, вып. 6, 2015 г., стр. 355-380. DOI: 10.15514/ISPRAS-2015-27(6)-23 / F.A. Armenta-Cano, A. Tchernykh, J.M. Cortes-Mendoza et al. Min_c: Heterogeneous concentration policy for energy-aware scheduling of jobs with resource contention. Programming and Computer Software, vol. 43, no. 3, 2017, pp. 204-215.
[32]. M. Marjani, F. Nasaruddin, A. Gani, A. Karim et al. Big IoT Data Analytics: Architecture, Opportunities, and Open Research Challenges. IEEE Access, vol. 5, 2017, pp. 5247-5261.
[33].Б.М. Шабанов, О.И. Самоваров. Принципы построения межведомственного центра коллективного пользования общего назначения в модели программно-определяемого ЦОД. Труды ИСП РАН, том 30, вып. 6, 2018 г., стр. 7-24. DOI: 10.15514/ISPRAS-2018-30(6)-1 / B.M. Shabanov and O.I. Samovarov. Building the Software-Defined Data Center. Programming and Computer Software, vol. 45, no. 8, 2019, pp. 458-466.
Информация об авторах / Information about authors
Хосе Элено ЛОСАНО-РИCК получил степень кандидата наук в 2019 году в UABC. В настоящее время он работает в компьютерном отделе CICESE и является преподавателем на факультете наук UABC. Его исследовательские интересы: высокопроизводительные вычисления, аналитика больших данных, распределенные системы, Интернет вещей (IoT) и программно-определяемые сети.
Jose Eleno LOZANO-RIZK received a Doctor of Science degree in 2019 from the UABC. He currently works at the Computer Department at CICESE Research Center in the Telematics Division and is a member of the Faculty of Sciences' academic staff at UABC Ensenada. His research interests are high-performance computing, big data analytics, distributed systems, internet of things (IoT), and software-defined networks.
Рауль РИВЕРА-РОДРИГЕС получил степень получил степень кандидата наук в UABC в 2010 году. В настоящее время он является директором отдела телематики CICESE. Его исследовательские интересы включают системы управления сетями, QoS в IP-сетях, обработку сигналов для беспроводной связи, кибербезопасность, облачные вычисления, межуровневое проектирование и теорию кодирования.
Raul RIVERA-RODRIGUEZ received his Ph.D. degree from the UABC in 2010. He is currently the Director of the Telematics Division, CICESE Research Center. His research interests include network management systems, QoS in IP networks, signal processing for wireless communications, cybersecurity, cloud computing, cross-layer design, and coding theory.
Хуан Иван НЬЕТО-ИПОЛИТО получил степень кандидата наук в Политехническом университете Каталонии, Испания в 2005 г. В настоящее время он является профессором UABC. Его научные интересы затрагивают компьютерную инженерию, компьютерные сети, мобильные вычисления.
Juan Iván NIETO-HIPÓLITO received the Ph.D. degree from Polytechnic University of Catalonia, Spain. He is currently a Full Professor of Baja California Autonomous University, Mexico. His research interests are in the areas computer engineering, computer networks, mobile computing.
Сальвадор ВИЛЛАРРЕАЛЬ-РЕЙС - доктор философии, исследователь. Научные интересы: Интернет вещей, системы электронного здравоохранения, радио по оптоволокну, беспроводная связь.
Salvador VILLARREAL-REYES - Ph.D., researcher. Research interests include Internet of Things, e-Health Systems, Radio over Fiber, Wireless Communications.
Алехандро ГАЛАВИС-МОСКЕДА получил степень кандидата наук в CICESE в 2013 году. В настоящее время он является исследователем. Его основные исследовательские интересы включают мобильные и беспроводные сети для интеллектуальных транспортных систем и мобильного здравоохранения.
Alejandro GALAVIZ-MOSQUEDA received Ph.D. degree from the CICESE in 2013. He is currently a researcher. His main research interests include mobile and wireless networks for intelligent transport systems and m-health.
Мабель ВАСКЕС-БРИСЕНО имеет степень кандидата наук. В настоящее время она работает на факультете архитектуры, дизайна и инженерии. Основной исследовательский интерес -мобильные вычисления.
Mabel VAZQUEZ-BRISENO has Ph.D. degree. Currently she works at the Faculty of Architecture, Design and Engineering, Main research interest is mobile computing.
