CC BY
42
Б01: 10.15514/КРКЛ8-2019-31(2)-1
Конструирование и оптимизация сетей распространения контента
1 С.Д. Итурриага Фабра, ОКСЮ: 0000-0002-0212-7916 <siturria@fmg.edu.uy> 1 С.Е. Несмачнов Кановас, ОКСЮ: 0000-0002-8146-4012 <sergion@fmg.edu.uy> 1 Н. Гони Бофриско, ОКСЮ: 0000-0002-4552-9210 <gerardo.goni@fing.edu.uy> 2 Б. Дорронзоро Диаз, ОКСЮ: 0000-0003-0481-790Х <bernabe.dorronsoro@uca.es> 3,4,5А.Н. Черных, ОКСЮ: 0000-0001-5029-5212 <chernykh@cicese.mx>
1 Республиканский университет, Уругвай, 11300, Монтевидео, ул. Хулио Эррера-и-Рейссиг, 565 2 Кадисский университет, Испания, 11001, Кадис, ул. Анча, 16 3 Центр научных исследований и высшего образования, Мексика, 22860, Нижняя Калифорния, Энсенада, ш. Тихуана-Энсенада, 3918 4 Институт системного программирования РАН им. В.П. Иванникова, 109004, Россия, г. Москва, ул. А. Солженицына, д. 25. 5Южно-Уральский государственный университет, 454080, Россия, г. Челябинск, ул. Ленина, 76
Аннотация. В данной статье представлено применение мягких вычислительных методов для решения задачи проектирования и оптимизации облачных сетей распространения контента (CDN). Для решения проблемы выделения ресурсов для построения сетевой инфраструктуры применяется многоцелевой подход с учетом цели минимизации стоимости виртуальных машин, сети и хранилища, а также максимизации качества обслуживания, предоставляемого конечным пользователям. Предлагается конкретная модель посредничества, которая позволяет одной облачной CDN размещать нескольких поставщиков контента, применяющих стратегию совместного использования ресурсов. На основе предложенной модели посредничества изучаются три многоцелевых эволюционных подхода оффлайновой оптимизации предоставления ресурсов, а для решения проблемы онлайновой маршрутизации контента предлагается жадный эвристический метод. Экспериментальная оценка предложенного подхода выполняется на наборе реалистичных частных случаев. Полученные экспериментальные результаты показывают, что предложенный подход эффективен для проектирования и оптимизации облачных сетей распространения контента: общие затраты снижаются на 10,34% при сохранении высокого уровня качества обслуживания.
Ключевые слова: облачные вычисления; оптимизация; эволюционные алгоритмы; сети распространения контента
Для цитирования: Итурриага Фабра С.Д., Несмачнов Кановас С.Е., Гони Бофриско Н., Дорронзоро Диаз Б., Черных А.Н. Конструирование и оптимизация сетей распространения контента. Труды ИСП РАН, том 31, вып. 2, 2019 г., стр. 15-20. DOI: 10Л5514ЛSPRAS-2019-31(2>1
Design and optimization of Content Distribution Networks
1 S.D. Iturriaga Fabra, ORCID: 0000-0002-0212-7916 <siturria@fing.edu.uy>
1 S.E. Nesmachnow Cánovas, ORCID: 0000-0002-8146-4012 <sergion@fing.edu.uy>
1 G. Goñi Bofrisco, ORCID: 0000-0002-4552-9210 <gerardo.goni@fing.edu.uy>
2 B. Dorronsoro Díaz, ORCID: 0000-0003-0481-790X <bernabe.dorronsoro@uca.es>
3,4,5A.N. Tchernykh, ORCID: 0000-0001-5029-5212 <chernykh@cicese.mx> 1 Universidad de la República Julio Herrera y Reissig 565, Montevideo, 11300, Uruguay 2 Universidad de Cádiz C/Ancha 16, Cádiz, 11001, Spain 3 Centro de Investigación Científica y Educación Superior de Ensenada Carretera Ensenada-Tijuana No.3918 Zona Playitas, Ensenada, Baja California, 22860, México 4 Ivannikov Institute for System Programming of the Russian Academy of Sciences, 25, Alexander Solzhenitsyn st., Moscow, 109004, Russia
5 South Ural State University, Chelyabinsk, 76 Lenina St., Chelyabinsk, 454080, Russia
Abstract. This article presents the application of soft computing methods for solving the problem of designing and optimizing cloud-based Content Distribution Networks (CDN). A multi-objective approach is applied to solve the resource provisioning problem for building the infrastructure for the network, considering the objectives of minimizing the cost of the virtual machines, network, and storage, and the maximization of the quality-of-service provided to end-users. A specific brokering model is proposed to allow a single cloud-based CDN to be able to host multiple content providers applying a resource sharing strategy. Following the proposed brokering model, three multiobjective evolutionary approaches are studied for the offline optimization of resource provisioning and a greedy heuristic method is proposed for addressing the online routing of contents. The experimental evaluation of the proposed approach is performed over a set of realistic problem instances. The obtained experimental results indicate that the proposed approach is effective for designing and optimizing cloud-based Content Distribution Networks: total costs are reduced by up to 10.34% while maintaining high quality-of-service values.
Keywords: cloud computing; optimization; evolutionary algorithms; content distribution networks.
For citation: Iturriaga Fabra S.D., Nesmachnow Cánovas S.E., Goñi Bofrisco G., Dorronsoro Díaz B., Tchernykh A.N. Soft computing methods for design and optimization of cloud-based Content Distribution Networks. Trudy ISP RAN/Proc. ISP RAS, vol. 31, issue 2, 2019. pp. 15-20 (in Russian). DOI: 10.15514/ISPRAS-2019-31(2)-1
1. Введение
Термин «сеть распространения контента» (Content Distribution Network, CDN), часто заменяемый термином «сеть доставки контента» (content delivery network), используется для обозначения распределенных сетей для доставки услуг и контента пользователям. CDN являются ключевыми инфраструктурами для эффективного предоставления по всему миру масштабируемых интернет-услуг, способными соответствовать конкретным соглашениям об уровне обслуживания между поставщиками услуг и конечными пользователями, что позволяет обеспечивать высокое качество обслуживания (Quality of Service, QoS). Основной целью CDN является распространение контента среди конечных пользователей с высокой доступностью и высокой производительностью. Для достижения этой цели CDN должна включать большое число серверов, распределенных по центрам обработки данных по всему миру. Поскольку требуется большая компьютерная инфраструктура, бизнес-модель CDN экономически невыгодна для небольших поставщиков контента, у которых нет собственных центров обработки данных или подобных крупных вычислительных систем. Традиционным решением этой проблемы, позволяющим создать прибыльную бизнес-модель для небольших поставщиков контента, является аренда услуг CDN у крупных поставщиков 16
CDN. Однако в последние пять лет наблюдается растущая тенденция к использованию глобальной распределенности и эластичности облачных сервисов для создания облачных CDN [1,2,3,4]. Одной из основных проблем подхода облачных CDN является предоставление необходимых ресурсов в облаке. Это хорошо известная трудная проблема, которая была свойственна большинству облачных программных решений [5]. Мы представляем подход к решению проблемы предоставления ресурсов облачному поставщику CDN. Подход основан на учете точек зрения как поставщика облачных услуг, так и конечных пользователей. В базовой модели предлагается одновременная оптимизация системных и пользовательских метрик, что расширяет общие подходы, представленные в предыдущих работах из соответствующих литературных источников. Вводится многоцелевая модель оптимизации для учета затрат на одновременную оптимизацию, включая расходы на аренду виртуальных машин (ВМ), ресурсов хранения данных и обеспечения требуемой пропускной способности сети, а также QoS, предоставляемое конечным пользователям.
В предлагаемой модели учитываются некоторые особенности современных облачных платформ, в том числе, географическое расположение ресурсов, наличие скидок на оптовые покупки и возможность аренды зарезервированных экземпляров. Кроме того, представлена общая бизнес-модель, включающая понятие агента виртуального брокера [6], где брокер использует мультитенантный подход для снижения затрат на одновременное управление несколькими поставщиками контента. Эта мультитенантная модель позволяет брокеру воспользоваться льготными ценами для массовых виртуальных машин и стратегиями совместного использования ресурсов.
Мы разработали три многоцелевых эволюционных алгоритма (MultiObjective Evolutionary Algorithm, MOEA) для решения проблемы предоставления облачных ресурсов и жадный эвристический алгоритм для решения подзадачи маршрутизации запросов контента. Предложенные алгоритмы оцениваются на наборе реалистичных примеров, построенных с использованием методологии, предложенной Бусари и др. [7]. Эта методология учитывает несколько общих характеристик, выявленных в рабочих нагрузках Web, таких как Zipf-подобное распределение популярности контента, распределение «с тяжелым хвостом» (heavy-tailed) размеров контента большого количества контента, к которому обращаются только один раз
2 Сравнение предлагаемой бизнес-модели с обычной бизнес-моделью
В традиционной бизнес-модели (Business As Usual, BAU) отсутствует сущность «брокер». В такой модели каждый поставщик контента должен развернуть свою собственную индивидуальную облачную CDN. В этом разделе мы представляем экономию бюджета, рассчитанного по предлагаемой нами модели, по сравнению с моделью BAU. В большинстве реальных сценариев нас будут интересовать решения с высоким качеством обслуживания. Поэтому для сравнения мы будем принимать во внимание только решения с QoS от 0,95 и выше.
На рис. 1 представлена средняя экономия расходов, получаемая при применении предлагаемой нами модели, по сравнению с моделью BAU.
12%
ill
Smalt Medium Large
?r ob term size
Рис. 1. Средняя экономия расходов на обеспечение решений с высоким качеством обслуживания (QoS>0,95) по сравнению с обычным сценарием бизнеса Fig. 1. Average budget savings of computed high quality of service solutions (QoS>0.95) when compared to
a business as usual scenario. Результаты показывают уменьшение экономии при уменьшении размера решаемой задачи. Это связано с тем, что чем крупнее задача, тем больше возможностей для ее улучшения ее решения. Наш подход наиболее эффективен при работе с крупноразмерными задачами, вычислительными решениями со средней экономией бюджета на 10,34 ± 0,21%. Для задач среднего размера расчетная средняя экономия бюджета составляет 7,30 ± 0,19%, а для небольших - 5,21 ± 0,26%. Результаты показывают, что наша система бизнес-модели и алгоритм планирования обеспечивают экономию бюджета в среднем примерно на 7,6%.
3 Заключение и планы на будущее
В данной работе рассматривается многоцелевая проблема предоставления ресурсов в облаке для создания облачной CDN. Цели оптимизации - минимизация виртуальных машин, стоимости сети и хранилища, а также максимизация QoS для конечного пользователя.
Рассматривается модель мультитенантного брокера, когда в одной облачной CDN может размещаться несколько поставщиков контента. Введен новый объект - брокер, служащий для управления мультитенантной облачной CDN. Предлагается точная математическая формулировка, а набор примеров строится в соответствии с реалистичной методологией, представленной Бусари и др. [7].
Из-за своей сложности предложенная задача разделена на две подзадачи, для решения которых требуются алгоритмы оптимизации. Одной из подзадач является предоставление облачных ресурсов, а другой - онлайн-маршрутизация запросов контента. Сравнение предлагаемой модели брокерства с моделью BAU показывает, что наш подход способен снизить стоимость облачных ресурсов на 5,2-10,3% при сохранении высоких значений QoS. Эти результаты говорят о том, что предлагаемый нами подход достаточен для развертывания облачных CDN с меньшим бюджетом по сравнению с моделью BAU. Основные направления будущей работы включают создание более широкого набора частных случаев и построение более точной функции QoS. С одной стороны, больший набор примеров обеспечит более глубокое понимание эффективности предложенной модели. С другой стороны, более точная функция QoS, основанная, например, на фактических измерениях сети, поможет обеспечить более реалистичные решения
а 854
с >
'V
i 6»
на и-
m 4(4
2%
Список литературы / References
[1] Gao G., Zhang W., Wen Y., Wang Z., Zhu W. Towards Cost-Efficient Video Transcoding in Media Cloud: Insights Learned from User Viewing Patterns. IEEE Transactions on Multimedia, vol. 17, no. 8, 2015, pp. 1286-1296.
[2] Hu M., Luo J., Wang Y., Veeravalli B. Practical resource provisioning and caching with dynamic resilience for cloud-based content distribution networks. IEEE Transactions on Parallel and Distributed Systems, vol. 25, no. 8, 2014, pp. 2169-2179.
[3] Jokhio F., Ashraf A., Lafond S., Lilius J. A computation and storage trade-off strategy for cost-efficient video transcoding in the cloud. In Proc. of the 39th Euromicro Conference Series on Software Engineering and Advanced Applications, 2013, pp. 365-372.
[4] Xiao W., Bao W., Zhu X., Wang C., Chen L., Yang L.T. Dynamic request redirection and resource provisioning for cloud-based video services under heterogeneous environment. IEEE Transactions on Parallel and Distributed Systems, vol. 27, no. 7, 2016, pp. 1954-1967.
[5] Zhang J., Huang H., Wang X. Resource provision algorithms in cloud computing: A survey. Journal of Network and Computer Applications, vol. 64, 2016, pp. 23-42.
[6] Nesmachnow S., Iturriaga S., Dorronsoro B. Efficient heuristics for profit optimization of virtual cloud brokers. IEEE Computational Intelligence Magazine, vol. 10, no. 1, 2015, pp. 33-43.
[7] Busari M., Williamson C. ProWGen: a synthetic workload generation tool for simulation evaluation of web proxy caches. Computer Networks, vol. 38, no. 6, 2002, pp. 779 - 794.
Информация об авторах / Information about authors
Сантьяго Дамиан ИТУРРИАГА ФАБРА получил степень PhD в области компьютерных наук в Республиканском университете в 2018 г. В настоящее время он является штатным исследователем и учебным ассистентом в Институте компьютерных наук Инженерного факультете Республиканского университета в Монтевидео, Уругвай. Его основные научные интересы включают в себя методы высокопроизводительных вычислений и метаэвристики для решения задач оптимизации.
Santiago Damian ITURRIAGA FABRA obtained Ph.D. degree in computer science from Universidad de la República (Uruguay) in 2017. Now he is the full-time researcher and teaching assistant at the Instituto de Computación, Facultad de Ingeniería, Universidad de la República, Uruguay. His main research interests include high performance computing and metaheuristics methods for solving optimization problems.
Серджо Энрике НЕСМАЧНОВ КАНОВАС обладает степенью PhD в области компьютерных наук, полученной в Республиканском университете, Уругвай. В настоящее время он занимает должность профессора в Вычислительном центре Института компьютерных наук Инженерного факультета Республиканского университета. Основные научные интересы: параллельные и распределенные вычисления, научные вычисления, эволюционные алгоритмы и метаэвристика, а также численные методы.
Sergio Enrique NESMACHNOW CÁNOVAS has a Ph.D. degree in Computer Science from Universidad de la República, Uruguay. He currently holds an Aggregate Professor position in the Numerical Center (CeCal) at Computer Science Institute, Engineering Faculty. His main research interests are parallel and distributed computing, scientific computing, evolutionary algorithms and metaheuristics, and numerical methods.
Херардо ГОНИ БОФРИСКО выполняет исследования в Центре информационных технологий Республиканского университета. Его основным научным интересом являются компьютерные сети.
Gerardo GOÑI BOFRISCO does research in Computer Engineering at Servicio Central de Informática of Universidad de la República. His main research interest is computer networking.
Бернабе ДОРРОНСОРО ДИАЗ получил степень PhD в университете Малаги, Испания. В настоящее время он является научным сотрудником факультета компьютерных наук и
инженерии Кадисского университета. Он удостоен стипендии Рамона-и-Кахала в Кадисском университете, Испания. В число его научных интересов входят автоматическое программирование, многоцелевая оптимизация, машинное обучение, управление ресурсами в центрах данных, облачные вычисления, эволюционные алгоритмы и т.д.
Bernabé DORRONSORO DÍAZ has a Ph.D. degree in Computer Science from University of Málaga. Currently he is a researcher assistant at the Computer Science Engineering Department of the University of Cadiz, Spain. He is the Ramón y Cajal Fellow at University of Cádiz. His research interests include automatic programming, multi- and many-objective optimization, exact approaches, machine learning, resource management for data-centers, cloud computing, sustainable computing, evolutionary algorithms, ets.
Андрей Николаевич ЧЕРНЫХ получил степень кандидата наук в Институте точной механики и вычислительной техники РАН. В настоящее время он является профессором Центра научных исследований и высшего образования в Энсенаде, Нижняя Калифорния, Мексика. В научном плане его интересуют многоцелевая оптимизация распределения ресурсов в облачной среде, проблемы безопасности, планирования, эвристики и метаэвристики, энергосберегающие алгоритмы, интернет вещей и т.д.
Andrei TCHERNYKH received his PhD degree at the Institute of Precision Mechanics and Computer Engineering of the Russian Academy of Sciences. Now he is holding a full professor position in computer science at CICESE Research Center, Ensenada, Baja California, Mexico. He is interesting in grid and cloud research addressing multi-objective resource optimization, both, theoretical and experimental, security, uncertainty, scheduling, heuristics and meta-heuristics, adaptive resource allocation, energy-aware algorithms and Internet of Things.
