CC BY
47
5 декабря 2011 г. 1:20
ТЕХНОЛОГИИ
Исследование характеристик потоков данных, генерируемых Web-сервером
Ключевые слова: 'Л’еЬ-сервер, распределение размера файлов. ТСР-сессия, поток данных, аналиа сетевого трафика.
Web-трафик составляет значительную часть трафика в Интернет, поэтому понимание его структуры необходимо для гибкого обеспечения качества обслуживания (QoS). Существенную долю ресурсов в сети составляют файловые серверы, содержащие данные различного шла и объема. В настоящей работе проводится анализ трафика Web-cepeepa, предоставляющего пользователям доступ к музыкальному порталу. Результаты показывают, что трафик, генерируемый сервером может быть разделен на несколько потоков, в зависимости от размера запрошенных пользователями файлов. Основные характеристики этих потоков, такие как интенсивность поступления требований и средний объем переданных данных, у каждого из потоков оказываются принципиально различными.
Иван Титов,
МТУСИ
titovjvan_@nrail.ru
1. Введение
Известно, что исто<мики нагрузки в сети могут оказывать существенное влияние на агрегированные свойства трафика сети не только вблизи источника нагрузки, но и на узлах, расположенных на достато‘#юм удалении от него. Наиболее негативное влияние оказывают источники с пульсирующим характером нагрузки. Такими источниками часто являются серверы, предоставляющие доступ к мультимедийным ресурсам. В качестве примера в настоящей работе рассматривается трафик, поступающий от музыкального ресурса example.ru. Для этого ресурса характерно предоставление пользователям доступа к файлам различного типа. Помимо Ь(т1-станиц, содержащих информацию о различных музыкальных исполнителях, альбомах и композициях (включающих в себя изображения, отличающиеся форматом и размером), пользователи имеют возможность загрузить небольшой фрагмент музыкальной композиции, аудиофайл в формате трЗ, содержащий отдельную композицию, а также целый альбом, заархивированный в 0Д>« файл. Таким образом, размер передаваемых сервером данных различается значительно. При этом количество запросов поль-
эователей на передачу файлов сильно отли-чоется в зависимости от типа запрашиваемых данных.
Большинство запросов поступает на передачу файлов небольшого размера (Ьгт1-сграницы с изображениями) при поиске и просмотре дополнительной информации. Требований пользователей на передачу конкретного трЗ файла значительно меньше, одоако обработка таких запросов требует намного большего времени. Максимальная длительность обслуживания характерна для требований на передачу архивных файлов, содержащих альбомы. Таким образом, можно сказать, что на вход сервера поступает несколько типов потоков требований пользователей, отличающихся интенсивностью и объемом запрошенных данных.
Необходимо отметить, что размеры файлов одного типа могут существенно различаться. Например, трЗ файлы имеют различное качество (Ьйгсйе) и длительность, а размер архивных файлов отличается значительно в зависимости от количества музыкальных композиций в альбоме, что не позволяет, основываясь на размере передаваемого объекта, провести четкую границу между файлами различного типа.
Целью исследования является выявление количества потоков требований с существенно различными характеристиками времени обслуживания, которые могут быть обусловлены передачей информации раэличюго типа. Для каждого из потоков будут оценены их основные параметры: интенсивность потока
и средний объем передаваемых данных Как показано в [ 1, 2], эти характеристики важны для оценки качества передачи информации в магистральном канале.
Большинство работ, посвященных исследованию свойств трафика данных, основывается на результатах имитационного моделирования. Такие исследования позволяют изучить большое количество характеристик трафика при различных параметрах системы обслуживания.
Число работ, в которых проводится анализ реального сетевого трафика, значительно меньше. Однако именно такие работы позволяют проверить объективность моделей трафика, используемых при теоретических вычислениях Обычно измерения проводятся на границе некоторой сети или на Ртоху-сер-вере, где исследуются характеристики агрегированного трафика, создаваемого большим числом различных серверов, находящихся в Интернет [3,4).
Такие исследования позволяот выявить общие свойства трафика, но не особенности, характерные для трафика порождаемого определенным типом серверов. Настоящая работа посвящена анализу структуры трафика сервера, предоставляющего пользователям доступ к файлам существенно различного объема.
В разделе 2 рассмотрена методика измерений, а также особенности НТТР/1.1, оказывающие влияние на количество переданной информации в рамках отдельной ТСР сессии. В разделе 3 представлены получен-
зо
T-Comm #5-2010
I:
0 01
l-F(x)
1 10
V
ч 'X
\ ч
N \
ft*c. 3. Зовисимость функции роспределвиия 1 - fix) от объема переданных
лов, однако объем трафика, создаваемого этим потоком, составляет всего 3% от общего трафика. Ко второму потоку, в основном, относится загрузка небольших фрагментов mp3 файлов (peeview), необходимых для ознакомления с музыкальной композицией. Загрузке отдельных музыкальных файлов соответствует третий поток требований. Четвертый поток составляот запросы на передачу архивных файлов, содержащих целые музыкальные альбомы. Максимальную нагрузку создают третий и четвертый потоки требований — 40% и 39% соответственно. Из таблицы видно, что средний объем переданных данных для различных потоков отличается существенно: в 33 раза для 1 -го и 2-го, в 19 раз для 2 го и 3-го и в 11 раз для 3-го и 4-го потоков.
4. Выводы
чения объема переданных данных в »'-й промежуток. Изобразив зависимость этих сумм от >, получим оценку распределения вероятностей размера ТСР сессии.
3. Ана1*<з полученных результатов
Рассмотрим зависимость распределения вероятностей объема переданных данных от »• 100 байт, фрагмент которой представлен на рис. 1. Зависимость количества ТСР сессий на I м промежутке, умноженного на 10, в логарифмическом масштабе изображена на рис. 2.
Из данных зависимостей хорошо видно, что распределение вероятностей убывает немонотонно. При различных значениях I наблюдаются локальные максимумы, соответствующие передаче большого числа близких по размеру объектов.
На рис. 3 представлена зависимость
1 - Р(х) от х в логарифмк«еском ма штабе, где Р(х) ■ Р( V < х) — функция распределения ве-
Характеристики потоков требований
St 1 2 3 4
Я.Т 141031 2517? 2962 271
Vlfm Кбайт 9.29 313.1 5965 62902
' Г V.r. Гбаи 1 \25 7.52 16*5 16.26
роятностей объема переданных данных Из этой зависимости хорошо видао, что для трафика сервера данных характерны периоды с медленным убыванием 1 - F|x) (т.е. заданный период было зафиксировано сравнительно небольшое количество сессий соответствующего размера), чередующиеся с периодами с высокой скоростью убывания 1 — F{x) (т.е. на данном периоде наблюдался локальный максимум для распределения вероятностей).
Таким образом, мы можем отделить различные потоки требований в зависимости от скорости убывания функции распределения. На рис. 3 изображены три вертикальные линии, соответствующие значениям объема переданных данных: 120*103, 1,72*106 и 17,5' 10й байт, отделяющие различные потоки запросов пользователей. В таблице 1 представлены основные характеристики потоков требований на передачу файлов существенно различного объема: количество сессий, зафиксированное за время наблюдения Т, средний объем переданных данных в рамках отдельной TCP сессии, а также суммарный объем переданной информации для каждого потока.
Первому потоку соответствует загрузка HTML страниц, содержащих изображения в форматах jpeg и gif различного размера, а также скриптов языка flash и JavaScript. Наибольшее количество TCP сессий (83%) отрываются для загрузки именно этих типов фай-
Анализ полученных результатов позволяет сделать следующие выводы.
1. Основываясь на скорости убывания функции распределения объема переданных данных, трафик, генерируемый ресурсом example.ru, может быть разделен на 4 потока. Интенсивность поступления запросов пользователей, а также среднее количество переданной информации в рамках отдельной ТСР сессии, для различных потоков отличается существенно (часто более чем на порядок).
2. Поскольку выбранный для анализа ресурс является типичным представителем \№еЬ серверов, предоставляющих пользователям доступ к файлам разлитого типа, полученные выводы могут быть обобщены для всего класса таких сетевых ресурсов. При этом конкретному серверу будет соответствовать свое количество потоков, а также их характеристики.
3. В работах [1,2] была рассмотрена математическая модель сервера данных, на вход которого поступает п пуассоноеских потоков требований. Длительность обслуживания требований но потока а, = а интенсивность = Л, •И'-11, где к — параметр, определяющий соотношение между объемом запрошенных данных для различных потоков, а X, — интенсивность 1 -го потока. Было показано, что трафик, генерируемый сервером, является самоподобным по своей структуре, с параметром Херста, зависяицм от к. Результаты имитационного моделирования по-
32
T-Comm #5-2010
называют, что некоторые методы управления трафиком, основанные на различном уменьшении асорости передав для требований из разных потоков, позволяют существенно уменьшить вероятность переполнения буфера коммутационного устройства, обслуживающего трафик сервера данных.
Анализ сетевого трафика, представлен мы* в данной работе, дает основания предположить, что данные методы управления могут быть применены к реальному трофику соответствующих \Л/еЬ-серверов для обеспечения ОоБ.
Литература
1 Цпавич И-И-, Титов КН. 06 особенностях трафика данных сервера, предоставляющего донные ра эпичного объема // Труда РНТОРЭС им АСПолоеа. Серия: научная сессия, посвященная
Дню рааю. Выпуск: ЦОУ М., 2009. — С.345-347
2 Цитович И.И, Тито ПН. Исследование вероятности переполнения буфера при обслуживании трафика сервера, предоставляющего данные разлитого объема // Сборник трудов 33 й конференции молодых ученых и специалистов
ИППИ РАН: ИТиСЮ. М.. 2010. - С.247-251.
3 Felix Hernandez-Compos, Kevin Jeffay,
F. DomIhi SrrJk Tracking tie evolution ol Web lof-fcc — 1995-2003 // Proceedings of the llfi IEEE/ACM International Symposium on Modeling, Analysis and Simulation of Computer Telecommunication Systems MASCOTS 2003. Orlando. FL 2003.
^ Ron! Noweraon, Hogl Adyo, The distributor of file transmission duration in the Web // Interndional Symposium on Performance Evaluation of Computer and Telecommunication System SPECTS'03. Montreal 2003
5. RFC 2616: Hypertext Transfer Protocol, HTTP/11. http://datatrocker ietf.org/doc/rfc2616.
Characteristics of the data flows generated by a Web-server
Ivan Titov
Web servers generate the major part of the Interne! traffic. Knowledge of he Web traffic structure is necessary in order to support the quality of service effectively. Containing data of various types and volumes file servers constitute a significant part of resources in a network. This paper describes the traffic of Web server pro vicing access to the musical content. Analysis of data traces shows frvat generated by Web server traffic can be separated onto several data flows, based on a distribution of file sizes, requested by user. The main characteristics of these flows such as a number of arrived requests and a volume of transferred data from server considerably differ for various data flows.
Keywords Web server, distribution of file sizes, TCP session, data flows, neKvodc traffic analysis.
References
1. Tsitovxh I.I., Titov I.N. Ob osobennostyoh trafika dannyh servera, predostavfyayushchego dannye razlichnogo obemo // Trudy RNTOEES im. AS. Popova. Seriya: nauchnaya sessiya, pasvyashchennaya Dnyu radio. Vypusk LXIV. — M, 2009. — R345-347.
2. Tsitovich I.I., Titov IN. bsledovanie veroyatnosti perepolneniya bufero pri obsluzhrvanii trafika servera, predostavlyayushchego dannye razfcchnogo obema // Sbomik trudov 33-i konferentsii molodyhuchenyh i speteialistov IPPI RAN: ITiS'l0. — M, 2010. — R247-251.
3. F?lix Hem?ndez-Campos, Kevin Jeffay, F Do-nelson Smith. Tracking the evolution of Web traffic -1995-2003// Proceedings of he 11th IEEE/ACM Intemdional Symposium on Modeling, Analysis and Simulciion of Computer Telecommunicafeon Systems MASCOTS 2003. Orlando, FL 2003.
4. Roni Nossenson, Hog# Aliya. The distriboticn of file transmission duration in the Web // International Symposium on Performance Evaluation of Computer and Telecommunication System SPECTS'03. - Montreal 2003.
"Качество услуг связи и ИКТ — современному информационному обществ/
11-12 ноября 2010 г. в Москве в рамках Европейской недели качества состоится Конгресс организаций связи и информационных технологий ("Президент-Отегь", ул Б. Якиманка, 24), который ежегодно проверятся в рамках Глобапыюго проекта "России — новое качество роста" В этом году тема Конгресса "Качество услуг связи и ИКТ — современному кнформациенному обществу*
Организаторы Конгресса ОАО "Связьинвест*', Федеральное агентство по техническому регулированию и метрологии (Росстандарт), Ассоциация управления качеством связи и информатизации "Международный конгресс качества тепекоммуни-каи»*1", НИИ экономии связи и информатики "Ин-терэкомс", Международный институт качества бизнеса, саморегулируемые организации НП СЮ "СтройСвязъТелеком", НП "ПроектСвязьТелеком". 1ехническую поддержку Конгрессу ПО традиции окаэывовт ФГУП "Московская городская радиотрансляционная сеть".
Учитывая важность проведения дорого мероприятия для отраслей связи и телекоммуникаций, поддержку Конгрессу оказывает Минкомсвязи России и холдинг “Связью вест"
Цель Конгресса — дать и^тульс развитию качественных услуг связи и ИКТ в России для создания современного информационного общества, определение актуальных задач совершенствования го-судсрствениой пагитмки и законодателе ой базы в условиях ф^ансовой и эконоличвехой нестабигъ-ности, объединения на основе ключевых идей и технологий управления услугам участников рынка, общества, государства
Но Конгрессе будет рассмотрен ряд актуальнейших вопросов, касающихся глобагьной информатизации и развития рынка услуг связи и ИКТ, совершенствования законодательного обеспечении и государственной политики в этой облости; качества телекоммуникационных услуг, проектов и телеологий, деятельности сомсрегуп^эуемых организаций на рынке связи и ИКТ; ф^аноовей устойчивости развития и повышения ^вестиционной привлеко-те/ьности организаций; инновационной экономики в атросхи связи и ИКТ и др Особое внимание будет уделено достижениям и лучшему опыту ключевых игроков на рынке связи и ИКТ.
Исходя из высокого статуса мероприятия, аудгто-рио Конгресса традиционно составят представители федеральных органов испожительной власти, руководители отраслевых и общественных объединений, нау«ых организаций, предпрттуп предстаа*-теги ведущих кснсалтт-оеых и исследоватегъских компаний, СМИ. Д ля выступления с докладами приглашены представителей Совета Федерации Федерального Собрсиия РФ, Государственной Федеральной антимонопольной службы. Федеральной службы по экологическому, технологическому и ато**ному нодзору, Министерства связи и массовых коммуникаций РФ, Ростехрегутърованл, надэор-ных оргаисв, руководителей ОАО 'Связьинвест" и других ведуиих телекоммуникационных компаний, ведущих экспертов и ученых
оосоил>@п«егесогтцл1, ки«@|Ъс|ии
T-Comm #5-2010
33
