CC BY
52
14 декабря 2011 г. 18:24
ТЕХНОЛОГИИ
Постановка задачи оптимизации распределения нагрузки в сетях доставки контента
Привадится постановка задачи оптимизации распределения нагрузки в сетях доставки контента по критерию минимума удалв**4ости пользователей от серверов с учётом их загрузки. Особенность датой постановки задачи состоит в учёте различных групп контента, а также в процедуре формфоважя критерия эффективности задачи. Сделан выбор метода решетя поставлеююй задачи.
Ворожцов А. С, Тутом Н.В., Тутов АЛ.
Сеть доставки контшта (Content Delivery NeKvofV, CON) - это сеть географически-рас-пределенных серверов, расположен**» в места* наибольшей концентрации Интермет-гххъ-зователей, позвапвощоя оптимизировать процесс доставки контента Под kohwtom now-маотся любые цифровые данные, но которые имеется спрос Выделяют три основных вида контента, распространяемого в CDN К ним относится статический контент: статические HTML-стран***.*, изображения, доку мечты, обновления программ аудио и вицео файлы. Частота изменения статкиеского контента является низкой, поэтому он может легко кэшироваться. Все CDN-гровайдеры поддерживают этот тип доставки контента. Потоковое видео/ау-дю позволяет пользователе просматривать видео кгм прослушивать аудио, предварительно не сахрочяя файлы на компьютере Потоковое мультимедиа может быть в режиме реагъ-ного времен и/u по требованию Потоковые серверы адаптированы на использование специальных протоколов д ля доаавки контента по IP-сетям По оценкам спеииа/истов доля потокового видео в общем обьеме 1^<тврнет-1ра-фика в 2013 году составит 90% [ 1J. Некоторые CDN-сети могут также предлагать услуги, но-пример, ал«трс**«й ко**иериии. службы каталогов и баз д анных и др
В процессе доставки контента в CDN существуют три основных учост>*«ко
1 CDN-провайдер компания, владеющее сетью доставки контента и предоставляющая услуги в этой сети
2. Поставщик контента компания, владеющая контентом Заключает договор с CDN-провадером на доставку контала пользователям
3 Потребители контента и/v пользователи 1Л*тернет-пальэоеатели, которые получают доступ к контенту через web-сойт поставщика, о его доставка осуществляется по сети CDN-провайдера
CDN-провайдер предоставляет сетевую инфраструктуру поставщикам контента для его распространения с заданным уровнем качества. Для этого используется кэшировсхие и реп-гикация серверов, распалож«з*ых в различных географических местах в сети Интернет. Серверы CD N-провайдера называот пограничными серверами, а серверы поставщика контвла, на которых хранится оригинал контента, называют первичными серверами
CDN-сети могут иметь розгичную структуру централизованную, децентрализованную, иерархическую и др Структура сети может хочительно отгмчаться в зависимости от типа предоставпяемсго контента/услуг В общем случое CDN вклочает в себя следующие основные подсистемы.
• Подсистема распределения и управления контентом Отвечает за организацию к> шей, чостоту обновления контента на серверах идр
• Подсистема маршрутизации запросов Распределяет нагружу между серверами сети, выбирает нсиболее подходящи сервер д ля доставки кехтенго.
• Подсистема учёта Выползет замеры показателей производительности сети Ведет статистику доступа к серверам и использовании
ноиммта
Несмотря на то, что сети CDN появились относительно давно (в коще 90-х гг.), поток работ, направленных на улучшение различных аспект се функционироваия таких сетей не иссякает. Проблемы, которые существуют в CDN, диктуются спросом, те натружой, и видами конттта Известно, что нагрузка на Интернет-сайты является неравномерной, значительно менжощейся с течением Времени суток и имеющей случайные всппеоси Часто эго отрицртегь-но сказывается на качестве предоставляемых услуг, в честности на времени ответа Ойнимиз путей преодоления этих пробоем является оптимальное распределение нагрузки между серверами сети. Эту задачу выполняет система маршрутизации запросов. Критериями выбора наиболее подходящего сервера могут являться такие показателе как сетевое расстоя-
ние между потребителем контента и сервером время ответа на запрос, нагрузка но сервер.
Система маршрутизації запросов в CDN состоит их двух частей алгоритма маршрутизации запросов и механизма маршрутизеции запросов (2). Алгоритм маршрутизации определяет, на какой пограничный С0№<ервер перенаправить запрос погьзователя, а механизм маршрутиэоции осуществляет это перенаправление Обобщенная технология маршрутизации запросов в сети доставки контента, показанная но рис. 1 содержит следующие этапы:
1. Полъзоватегь запрашивает контент у поставщика, указывая 1Ж в ^УеЬ-браузере, запрос пользователя направляется к первичному серверу,
2. При получении запроса первичный сервер предоставляет простой контент [НТМ1-стрхзницу) самостоятельно,
3. Для пер>едачи внедрениях в НТМ1-стро-ницу объектов (видео, изображения и др) первичный сервер перенаправляет запрос на центральный сервер СО^провойвера:
4. Используя свой алгоритм маршрутизо-ц ии запросов, ОМ-систвма выбирает д ля доставки контента псфани'ный сервер, который является "ближайшим" к пользователю;
5. Выбрсзный пограничный сервер обрабатывает запрос пользователя.
Алгоритмы, вызываемые механизмом маршрутизации запросов, могут быть неодогпив-нычи (2-4] и адоптивными |4-6], те- учитывающими текущее состояние систелы. Примером наиболее простого и часто используемого не-одоптивного алгоритма является круговой алгоритм (гоілсі-гоЬіп), который по очереди распределяет все запросы между всели серверами CDN и тем самым выращивает между ними погрузку Посхалысу алгоритм не учитывает расстояние ме жду серверами и пользователями, то он используется в основном для распределения нагрузки между серверами, находящимися в одном центре обработки д анных
В д оутих неадаптивных алгоритмах все пограничные серверы ранжированы в соответствии с прогнозируемой на ник нагрузкой Такие прогнозы делаются на основе ро*ее обслужен-
42
T-Comm #6-2011
ТЕХНОЛОГИИ
I
Мнчимизироеать
г=ЁХХс«-г—
*1-1 п-1 м
гри ограничеьиях
А. \
XX"* , m о I м /
Ы *4
ограьмче**1е но пропускную способности (2)
.»/
|>«*=‘Vn-1.............Нк- 1....1C /
огракиче^ие на спрос, (3)
Л,-Тди«* ~Я»* '5^-Т«1Й m = 1 М.
н-1 1*4
кя 1..., ^/ограничеьие (4)
на наличие объекта на сервере > О,
истые
Даже для небольших сетей достсвки контента размерность задачи может достугатъ не-схогъкю< тысяч Донная задача относится к классу целочисленных зодач л»*«ейного про-грамм*^>оео-ия большой размерности, которая может быть реш»ю метадом декомпоэи-l*h Данцига-Вутъфа Первые результаты рос-четсв свидетельствуют о более эффективном распределена нагрузки серверов по сравне-
нию с результата** имеющегося в /мтературе алгоритма не учитывающего расположение контента разл*ч*ых классов
Литература
1 wwwnetworkwoddcom
2 S. SMaubramoniarv М. Szymaniak, G. Пеле. М. Van Steea "Repfcation of Web Hosting Systems." ACM Computing Surveys, \fel 36, №3, ACM Press, NY. USA, 2004
3 D. Karger, A. Shermarv A Berkheimer, B. Bogstod R DharicJna, K. Nvancto, В Ют, L Matins, Y. Yerushcfcni. "Web Cochng vU#> Consistent Hashng" Computer Network* Vol. 31, N»I1-16, ppl203-1213, 1999
4 K. Delgadlo "Gko DistributeoDvectcr * Cisco Whie Paper, Cisco Systems, Inc. Jrne 1997.
5. G. Pierre, M. van Steen. "Globule A Callabocofavg Content Delivery Network.” IEEE Gxnmunicofcxn Vol. 44. №8, Augutf 2006.
6 M. Andrew B. Shepherd, A 5rinM3scr\ P. WirJcW, and F. Zone "Clustering and Server Selection Using Passive Mordomg," In Proceedngsof IEEE INFO COM. NY. USA 2002
7 J. Dley, В. Мадрь J. Pankh, H. Protop, R. Siaramcn, and B. WeH "Globaly DiiJributed Content DeSvery," IEEE Ireemet Computing, pp.50-58, September/Ocicber 2002
8 PMundur. PAankcia Optimal swvor docalons
for ^eormg mulmedia appkcatbns on Internet,"
Computer N**orfcs №50 ррЗбОв 3621, 2006.
STATEMENT OF THE optimization of load distribution in content delivery networks PROBLEM
Vorozhtsov A.S., Tutova N.V., Tutov A.V.
Abitrocr
h he, paper the optmzction problem of lood distr&x/tion in networks of contort delivery on the critenori of minimum delance users from servers based on their load delivered. Account of ihe deferent content groups, as well as the procedure of forming ihe criterion of efficiency problems is a main feature of #ris problem. The choice of method for solving the task is made.
References
1 vwwwncfctforkwodd com
2 S Swasubromanian, M Szymancfc. G Ptene, M Van Steen, “Repicofcon of Web Hosing Systems." ACM Computing Surveys, Vol. 36, N*3. ACM Press NY USA 2004.
3. D. Karger, A Sherman. A Berkhenrer. B Bogslod R. Dharadro, K. Iwomoto, B Km, L Matkjns, Y Yervshalrm. "Wsb Coching Consistent Hc^ng" Gxnpiter Network* Vol. 31, №11-16, pp 1203-1213, 1999.
4 K. Delgodlo. "Gsco DtrtfeutedDrector," Gsco WVntc Paper, Cisco Systems, Inc. June 1997
5. G Rene. M von Steen, *Glabuie: A Colaboraive Content Dekvery Network,’ IEEE Commijwcalions. VJ 44 №8. Augutf 2006.
6. M Andew^ B. Shepherd, A Snrivasan. P Winkler, and F Zone, "CVrstering and Server Selection Using Passrve Moniomg’ In Proceedings of IEEE NFOCOM, NY, USA 2002
7. J. Dfley, B. Moggv J Per Ah, H Prokcp, R Sitaromorx and B WeW. "Globoly DiBnbutod Contort Descry,* IEEE Irtemet Computing, pp 50-58, September/October 2002.
8- PMundur, RArankdb, Optimal server cdbcations for sfteorrwig mukmedia applications on the Irtemet ." Computer Networks, №50, pp. 3608 3621,2006.
Компания Т-Платформы" проводит Russian Supercomputing Conference 2011
Компания Т-Ллагфор**/. ме*#ународиый раз-работи* суперкомпьютеров и поставив» полого спектра решений и услуг до» вмкжогроижммгеп*-ньск аы^спениЛ, обьямвет о проввдвм»*1 ежегодной научной конференции "Мировые тендвидии разви-ТУЯ теххопогий е области высокопроиэвадитепьных вычислений*, (Russian Supeicompufng Conference -RSC2011). Меролр*«тме состоепось 22 иоабря в
KcH4>epeHi*«RSC'2011 — уникальная ппощзд-ка для обмена опытом, трод*ционю собирающая ■рупнейлих Прадстоеитвпей мировой HPCv^ct-рик. В «.оференц>*н примут участив пвдуи^ив эксперты компаний AMD, Cray, DELL HR Intel, NVIDIA NetApp. №nasas и многих других участников рынка высокопроизводительных вычисленье*. Они поделятся своим оденивм основных тецоениий. характеризующих раздои» рынка высокопроизводительных вычислений, расскажут о «вык технологиях и реше-i*«x, открывающих зксафлопсную эру НРС. а также о най$олее иитвреоых проекте», реализованных дгм нсгучноисслвоовательск>« центров и коммерчх-<их предприятий различных сфер бизнеса
В рамках техинческон выставон компания Т-Платформы" представит систему T-8lade V-Qass, ориенпроваиную на создание вычислительных комплексов начального и среднего уровня, а также персональный кластер T-MW P-Oass, разработоеый для небольихх офисов инженерных групп, стущий одвомонтси-о и дизайна.
По завершении официальной части конференции ев учостижи попробовали свои силы в интеллектуальной «кторнпе. Также в рамках меролрипия со-стояяось награждение победителей конкурса проектов ‘Эффективное использование GPU-ускорнтепей при решении больших зодзч". организованного компанией Т-Пла1формы* совместно с Московским госупарствеы»«дм университетом им. MB. Ломоно-
О компании *Т-Платформы"
Компале Т-Плслформя’ создаю в 2002 с и св-годня имеет ивнтрапм>й офис в Моаве и рвпнональ-•м штабч<вартьры в Есмювере, Ки»ве. 1айбее. и Сэн-конге. Ксмпсмвреализсвала более 200комппекав« проектовк 6 из которых вошли в рдоик Тор500са»л« чюинь» оствч* Комлэ*« "Т-Ллслфср***!!" вледе-ег патентсилн но ряд суперкоктотерных твхиэлехий и злнктрои*цк компонентов. Решете ТПлслформ* ис-«зльзуюю» д» проввдви* фуНДМВНЮПМ«( и При-клодньи исследсяс»*яй в различил отраслях мсг/хи, в том •*сле, в биотвонологии адерной фи»«е, ХУМ+\ ^атематиов. а также реш»*« ресурсов задач в промышленности компьютерной |рафи« и др>п« областях. В 2011 с генерал*и>1й директор Т-Платформ* Всеволод Ооюсеню пркзнон одни^кз 12нсиболее известил и ува*аемь« персон мирового НРСсооб-щвства то версии интернвт-пориапа Н’О/'Лв.
I
44
T-Comm #6-2011
