Наука к Образование
МГТУ им. Н.Э. Баумана
Сетевое научное издание
Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2015. № 09. С. 250-261.
DOI: 10.7463/0915.0801172
Представлена в редакцию: Исправлена:
© МГТУ им. Н.Э. Баумана
УДК 519.872
Модель оценки времени реакции центра обработки данных
1 *
Нестеров Ю. Г. '
14.08.2015 29.08.2015
u an iSbmbtu.ru 1МГТУ им. Н.Э. Баумана, Москва, Россия
В статье описанеа аналитическая модель для оценки математического ожидания времени реакции ЦОД на диалоговые запросы удаленных пользователей, подключенных к ЦОД через выделенные каналы связи, работающие под управлением протоколов типа HDLC для конфигураций «точка-точка» и «точка-многоточка». Взаимодействие удаленных рабочих станций с ЦОД формализовано в виде замкнутой трехфазной СеМО, в которой первая, многоканальная фаза, соответствует фазе подготовки запроса к ЦОД на рабочей станции, вторая, одноканальная фаза, отражает обработку входящих и исходящих сообщений в канале связи в соответствии с логикой протокола HDLC, а третья, многоканальная фаза, отражает собственно обработку запросов в ЦОД. Для данной СеМО построена система нелинейных алгебраических уравнений для оценки средних значений времени реакции ЦОД и обоснована единственность решения этой системы. Предложена эффективная в вычислительном отношении процедура решения полученной системы уравнений.
Ключевые слова: система массового обслуживания (СМО), сеть массового обслуживания, узел, заявка, меченая заявка, входящее сообщение, исходящее сообщение, очередь, относительный приоритет, обслуживающий аппарат (ОА), выделенный канал связи, протокол, конфигурация, центр обработки данных, время обслуживания, время ожидания, время реакции
Введение
Центры обработки данных (ЦОД) являются в последнее десятилетие одним из магистральных направлений в развитии инфраструктуры предоставления ИТ-услуг, в частности в форме облаков. Доступ к услугам ЦОД для основной массы пользователей осуществляется дистанционно через корпоративные сети (частные ЦОДы) и/или через сети интернет-провайдеров (как частные, так и публичные ЦОДы), т.е. в конечном итоге через выделенные каналы связи. При этом в корпоративных сетях и в сетях доступак опорным сетям провайдеров, построенных в 1990-е.. .2000-е годы и работающих до сих пор, использовался широкий спектр протоколов канального уровня, в том числе, FrameRelay [1], ATM [2], HDLC [3] и HDLC поверх ATM [5]. По интерфейсу обмена данными (DXI) АТМ позволяет осуществлять доступ к сети АТМ существующего оборудования (например, маршрутизаторов с HDLC) без его модернизации. Формат
данных соответствует протоколу HDLC. Мультиплексор доступа преобразует кадры HDLC в ячейки ATM, при необходимости преобразует трафик для выполнения соглашения по трафику. Сопряжение с сетью АТМ производится по интерфейсу UNI [2,
4].
С конца 2000-х, в первую очередь в сетях ведущих операторов связи, технологии ATM начинают вытесняться новой технологией IP-VPN [6]. АТМ-коммутаторы вытесняются маршрутизаторами IP/MPLS[7]. С 2005 года работы по развитию протокола ATM остановлены.
В свою очередь технологии, реализующие протокол HDLC, который долгое время, вплоть до конца 2000-х годов, был главным для выделенных линий связи, стали замещаться технологиями, реализующими протокол PPP, входящий в семейство HDLC [8]. Это связано в первую очередь с широким распространением оптических линий связи, обладающих высокой надежностью, что делает функциональность HDLC, предназначенную для восстановления искаженных и утерянных кадров, излишней.
Тем не менее, несмотря на прогноз 2011 г. о вытеснении АТМ к 2015 году [6], в корпоративных сетях и в сетях доступа некоторых операторов связи, а также в системах специального назначения, в силу стремления корпораций к сохранению инвестиций в коммуникации, до сих пор еще широко применяются технологии, реализующие протоколы HDLC и HDLC поверх ATM.
На этапах проектирования и, в дальнейшем, в процессе эксплуатации ЦОДов, при решения задач выбора конфигурации каналов связи и задач управления нагрузкой, используются модели оценки производительности (пропускной способности и времени реакции на диалоговые запросы) ЦОД совместно с сетью доступа удаленных пользователей к услугам ЦОД.Для оценки производительности и времени реакции ЦОД на диалоговые запросы пользователей чаще всего применяются разомкнутые и замкнутые системы массового обслуживания (СМО) и сети массового обслуживания (СеМО) [ 1,9,12]. При этом наличие аналитических моделей СМО и СеМО в силу их высокой вычислительной эффективности и легкости управления, является более предпочтительным, по сравнению с имитационными моделями, более тяжелыми и трудноуправляемыми при проведении массовых модельных экспериментов.
В работе [9] аналитические решения для средних значений времен пребывания в узлах замкнутых СМО типа «модели ремонтника» (в обозначениях Кендалла [12 ] -Mr|GIr|m||N ), используются в качестве базовых моделей для расчета средних значений времен пребывания заявок в узлах широкого класса замкнутых сетей массового обслуживания с приоритетами и консервативными дисциплинами обслуживания. Из изученных на сегодня замкнутых СМО наиболее близкой к логике работы протокола HDLC является замкнутая СМО типа Mr|GIr|1||Nr с дисциплиной «относительные приоритеты», для которой в работе [10] получено аналитическое решение для средних времен ожидания и пребывания. Тем не менее, отражая наличие приоритетности в обслуживании, данная СМО не учитывает особенности взаимодействия ЦОДа и удаленных рабочих станций в протоколе HDLC, а именно логику опроса вторичных узлов первичным [3].
Настоящая работа посвящена получению эффективного в вычислительном отношении аналитического решения для первого момента ФРВ времени реакции ЦОД на диалоговые запросы удаленных пользователей, подключенных к ЦОД через выделенные каналы связи, работающие под управлением протоколов типа HDLC (HDLC поверх ATM) для конфигураций выделенного канала «точка-многоточка» (point-multipoint) и «точка-точка» (point-point) в режиме нормального ответа (Normal Response Mode, NRM) [3]. При этом в логическом соединении ЦОД выполняет роль ведущего (первичного) узла, а удаленные станции - роль ведомых (вторичных) узлов. Аналогичные модели для протоколов типа IP/MPLS будут рассмотрены автором в следующих статьях.
Постановка задачи
В качестве модели для оценки первого момента функции распределения вероятностей(ФРВ) времени ответа ЦОД на запросы удаленных рабочих станций, подключенных к ЦОД по выделенному каналу связи, работающему под управлением протокола HDLC в конфигурации «точка-многоточка» и в режиме нормального ответа NRM, будем рассматривать замкнутую трехфазную СМО. Конфигурация «точка-точка», как будет показано ниже, является частным случаем конфигурации «точка-многоточка». В этой СМО первая многоканальная фаза соответствует фазе обдумывания (подготовки) запроса к ЦОД на рабочей станции. В этой фазе количество обслуживающих аппаратов (ОА), т.е. каналов обслуживания, равно количеству рабочих станций (терминалов). Вторая одноканальная фаза этой СМО отражает обработку входящих (в ЦОД) и исходящих (из ЦОД)сообщений в канале связи в соответствии с логикой протокола HDLC. Третья многоканальная фаза этой СМО отражает собственно обработку запросов в ЦОД. На этой фазе каждому активному терминалу соответствует один процесс в ЦОД, т.е. количество ОА равно количеству рабочих станций.
Структура данной СМО приведена на рис.1, где приняты следующие обозначения:
T, ..., - ОА, соответствующие терминалам(рабочим станциям), а R -
количество терминалов, подключенных к каналу связи (КС);
Cl, ..., Сд - ОА, представляющие в совокупности параллельные процессы обработки запросов в ЦОД;
Ar - время обдумывания пользователя за терминалом г(время подготовки входного сообщения);
W - время ожидания момента начала передачи входного сообщения от терминала r через КС;
BIr - время передачи входного сообщения от терминала r по КС;
Ar - время обработкисообщения от терминала гв ЦОД;
Wor - время ожиданияначала передачипо КС выходного сообщения (ответа на входное сообщение)на терминалг;
Bor - время передачи по КС выходного сообщения на терминалг.
В каждой из очередей Ц, ..., L^ может находиться либо 0, либо 1 заявка, а в очереди L0 не более (R-1) заявок. Всего в СМО циркулирует R заявок, по одной для каждого терминала. Алгоритм обслуживания заявок из очередей L, ..., L^ , L0 в КС следующий. Очереди L, ..., L^ обслуживаются циклически, заявки из очереди L0 имеют более высокий приоритет, чем заявки из очередей L, ..., L^ (приоритет передачи). Это соответствует алгоритму управления КС по протоколу HDLC в конфигурации «точка-многоточка» в режиме нормального ответа NRM [3].
Первые два момента ФРВ времен A, Ar, B, Bor, r = 1, R заданы.
Первые моменты соответствующей случайной величины будем обозначать строчными буквами, соответствующими ее имени.
Время реакции Tr ЦОД на запросы r-го терминала есть сумма вида:
Tr = Wr + Br + Acr + W0r + B0r.
Переходя к средним значениям, получим:
Tr = WIr + bIr + aCr + w0r + b0r
Т.е. для определения тг - среднего значения времени реакции ЦОД на запросы r-го терминала, требуется определить w и w - средние значения времен W и W , соответственно, r = 1, R .
Решение задачи
Для определения wIr и w0r - средних значений W!r и W0rвоспользуемся т.н. методом «меченой заявки», предложенным Кобхэмом [11].
Заметим заявку от терминала r, поступающую из Cr в очередь L0. Для случайного времени W0r ожидания этой заявкой начала передачи по КС можем записать:
Г-1 г-1 l0k к _
Wor = D0r Я<* ■ Bok +YlLBvok, r = 1,R (1)
к= 1 к=1 vk=0
Здесь:
Dr - остаточное время обслуживания заявки, находившейся в КС в момент прихода меченой заявки;
0, если в очереди Lq не было заявки на вывод от терминала к CJçg. — "|е момёнг прихода меченой заявки от терминала г;
lok = 0 или 1 - случайное число заявок терминалак, которые придут в очередь за время W0r, причем В'^, □ 0 .
Переходя к средним из (1 ), получим:
г-1
г-1
Баг + £Чек ■ ЪОк + £О ■ЪОк, г =
WOг = Пег +
к=1
к=1
Здесь:
Баг = £
к=1 к Фг
Ъ(2) Ъ(2) Ъек + Къп ък
\ ЪОк 1 КкЪ1к
2Ъ,
Ок
2Ъ
1к
к=1 к Фг
К ЪОк + ъ<?>)"
ЧОк = К*ЩОк =
IОк = аг =
Ок
ЩОк + ЪОк + аТк + Щ1к + Ъ 1к + «Ск
Щ,
Ог
ЩОк + ЪОк + «к + Щ1к + Ъ1к + «Ск
(2)
(3)
(4)
(5)
В выражениях (3), (4) и (5) К* = (лу0£ + Ъ^ + аи + щ + Ъл + ^) 1 есть интенсивность
поступления заявки от терминала к в очередь , а Ъок и Ъ\к' суть вторые начальные моменты ФРВ времен Вок и В1к соответственно. Для остаточного времени обслуживания Б0г использованы результаты работы [13].
Подставляя (3), (4) и (5) в (2), получим Я уравнений с 2Я неизвестными - ( щ , щ0г ), г = ЦЯ.
П ............" ЪОк (®ок +®ог)
к=1 к Фг
ЪО2
2(Wok + ЪОк + аТк + Щ1к + Ъ1к + аСк )
к=1 ЩОк + ЪОк + аТк + Щ1к + Ъ1к + аСк
; г = 1, я (6)
Еще Я уравнений получим, рассматривая поступление меченой заявки от терминала г из Т в очередь Ьг (очередь входных сообщений).
Для случайного времени Щг ожидания меченой заявкой момента начала ее передачи
по КС, учитывая тот факт, что исходящие сообщения имеют более высокий приоритет перед входящими, запишем:
г -1
Г-1 1Л
г» = Бг + £ Ч к ■ Вок + £ £ Вок + Оцо, г
к=1 ук =0
к=1
(7)
Здесь:
Б/г - остаточное время обслуживания заявки, находившейся в КС в момент прихода меченой заявки, причем = Бог.
Чг = Чог, см. (4);
= 0 или 1 - случайное число заявок терминала к, которые придут в очерель за время IV 1г, причем В'('Я: □ 0 .
БЦОг- случайное время задержки начала ввода меченой заявки, связанное с циклическим опросом терминалов Т, ..., ТК ведущим узлом.
Для Б ц 0,г можно записать:
я
°цо,г =£ Рг {к|г}-Бкг
(8)
к=1
Здесь:
1. Рг {к | г} - вероятность того, что предыдущий обслуженный из очередей , ..., запрос был от терминалак при условии, что поступает меченая заявка от
терминала г, к = 1, Я, г = 1, Я, к Ф г, Рг {г | г} = 0. Очевидно, что
Рг {к|г} = Л*/ л; (9)
Я _
где Х* см. (5), а Л* = £Х г = 1, Я.
к=1 к Фг
2. Экг - случайная задержка, связанная с обслуживанием заявок на ввод из очередей с номерами, лежащими между к-м и г-м по ходу опроса.
Для Экг можно записать:
^ =
г-1
£ Ш +1))В,,
если к < г,
)=к+1
'кг
(10)
£ (Ш) +1) В) + £ (Ш) + 1) ) В), если к
)=к+1 )=1
> г
Здесь:
В2.- =
/. =
1= если в момент прихода меченой заявки в очереди Ц была заявка на ввод через КС; 0: противном случае.
1если в течение времени И'*1г в очередь Ь. поступит заявка от терминала^ причем раньше, чем начнет обслуживаться любая из заявок терминалов I (г >1 > у) из_очередей Ь- на ввод; 0: в противном случае.
ГР =
1 если в течение времени И71г в очередь ¿. поступит заявка от терминала/, причем ранып е: чем начнет обслуживаться любая из заявок от терминалов / < Л >= I > шш (1 =< I < г): О в противном случае.
Переходя к средним из (7) с учетом (8) и (9), получим:
_ г-1 _ г -1 _ Я Х* _
Е'г + £ ч пЪок+£ ~1лЪок +
к=1
к=1
к=1
1 Л
(11)
Здесь:
Вгг = , см. (3); Чк = Чок , см. (4).
<
™ г =
hk = л>/г =
w
Ir
WOk + bOk + aTk + WIk + bIk + «Ck
(12)
Для Dkr имеем из (10):
Dkr =
r-1
£ (m1 + ~lJ )bIj,
У=k+1
£ (my +1j )bj + £ (my +1y)bj.
j=k+1 j=1
если k < r если k > r
(13)
Здесь:
mj =^WIj =
w.
WOj + bOj + aTj + WIj + bIj + aCj
r-1
h=(л"~)'""wIr, л^)=£;
j ,(r-1)
-
lj = (- j
l =j-
R r-1
A"
0 •"*WIr, j-1) =£ "+£ "
j ,(r-1)
I j = (■
A*
-o ,
i=j
т.е. l j= l j
i=1
(14)
(15)
(16) (17)
j ,(r-1)
Соотношения (6) и (11) ^ (17) совместно с (3), (4) и (9) определяют систему из 2R
нелинейных алгебраических уравнений с 2R неизвестными (WIr, W0r), r = 1, R . В
векторной форме эта система запишется следующим образом:
w = р( w) (18)
где w = (wn,...,wm,wm,...,wOR), а оператор р задается соотношениями (6) и (9)^ (17).
Поскольку оператор р определяет трехузловую замкнутую СеМО с консервативной дисциплиной обслуживания, то, как показано в работе [9], существует единственное решение системы уравнений типа (18), и для отыскания решения пригоден модифицированный метод Ньютона-Канторовича [9]. Начальное приближение w0 = (0,0,...,0)- нулевой вектор.
Теперь рассмотрим вариант для конфигурации КС «точка-точка». При этом допустимы режим нормального ответа NRM и асинхронный сбалансированный режим (Asynchronous Balanced Mode, ABM) . Этот вариант управления каналом связи применяется для соединения двух маршрутизаторов на концах выделенного канала. На одном конце канала - ЦОД, на другом - маршрутизатор локальной сети, к которой подключены терминалы (рабочие станции). Предполагается, что скорость передачи сообщений по локальной сети существенно выше, чем скорость передачи по выделенному КС, поэтому временем задержки в локальной сети можно пренебречь.
Нетрудно видеть, что аналитическая модель для этого варианта является частным случаем полученной выше модели для конфигурации «точка- многоточка». Нужно только в выражении (7) вместо Dq0r использовать выражение (19):
<
R
Dr =£ mkBlk (19)
k=1
k Фг
Здесь:
Dr - случайное время ожидания меченой заявкой начала обслуживания, связанное с обслуживанием заявок на ввод от других терминалов, которые (заявки) уже находились во входных очередях в момент прихода меченой заявки;
mk - случайное число (0 или 1) заявок от терминала к в очереди Lk в момент
прихода меченой заявки.
Переходя к средним из (19) получим:
_ R
Dr = £ mblk (20)
k=1
k Фг
Здесь m определяется соотношением (14).
Заключение
1. Получена формализация процесса взаимодействия с ЦОД удаленных рабочих станций, подключенных по выделенному каналу связи, работающему под управлением протокола HDLC, в виде замкнутой трехфазной СеМО, в которой первая фаза соответствует этапу обдумывания (подготовки запроса) на рабочей станции, вторая фаза соответствует этапу передачи сообщений по КС и третья фаза соответствует этапу собственно обработки сообщения в ЦОД.
2. Разработана аналитическая модель в виде системы нелинейных алгебраических уравнений для оценки средних значений времени реакции ЦОД для двух конфигураций КС под управлением протокола HDLC - «точка - многоточка» и «точка - точка». Обосновано существование единственного решения полученной системы уравнений.
3. Предложена эффективная в вычислительном отношении процедура решения полученной системы уравнений.
4. Разработанный подход применим также и для оценки дисперсий времени реакции ЦОД.
Список литературы
1. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. 512 с.
2. Назаров А.Н., Разживин И.А., Симонов М.В. АТМ: Технические решения создания сетей: Справочное издание. М.: Горячая Линия-Телеком, 2001. 376 с.
3. ISO/IEC 13239:2002. Information technology -- Telecommunications and information exchange between systems -- High-level data link control (HDLC) procedures // ISO: organi-
zation website. Режим доступа:
http://www.iso.org/iso/catalogue_detail.htm?csnumber=37010 (дата обращения 28.07.2015).
4. Руководство по технологиям объединённых сетей. Настольный справочник специалиста по сетевым технологиям: пер. с англ. 4-е изд. М.: Вильямс, 2005. 1040 с.
5. Forrest L. Pierson, Jr. Method and system for processing an HDLC message: patent US 6195346 B1. 2001.
6. From ATM to IP/Ethernet: Three Strategies for Cost-Effective Network Convergence. White Paper. Tellabs, 2011.
7. IP/MPLS, ATM and Frame Relay Forum Specifications. Режим доступа: https://www.broadband-forum.org/technical/ipmplstechspec.php (дата обращения 28.07.2015).
8. The Point-to-Point Protocol (PPP). RFC 1661, STD 51 / ed. by W. Simpson. Режим доступа: https://tools.ietf.org/html/rfc1661 (дата обращения 28.07.2015).
9. Нестеров Ю.Г. Декомпозиционный метод анализа замкнутых сетей массового обслуживания // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 2. С. 263-276. DOI: 10.7463/0214.0700018
10. Нестеров Ю.Г. Анализ характеристик замкнутой системы массового обслуживания с относительными приоритетами // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2014. № 3. С. 242-254. DOI: 10.7463/0314.0702664
11. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Изд-во ЛКИ, 2007. 400 с.
12. Клейнрок Л. Теория массового обслуживания: пер. с англ. М.: Машиностроение, 1979. 432 с.
13. Кёниг Д., Штойян Д. Методы теории массового обслуживания: пер. с нем. М.: Радио и связь, 1981. 128 с.
Science and Education of the Bauman MSTU, 2015, no. 09, pp. 250-261.
DOI: 10.7463/0915.0801172
Received: Revised:
14.08.2015 29.08.2015
Science^Education
of the Bauman MSTU
I SS N 1994-0408 © Bauman Moscow State Technical Unversity
Model for Estimation of the Data Center Response Time
Yu.G. Nesterov1'* 'W:gbm5tu-ru
:Bauman Moscow State Technical University, Moscow, Russia
Keywords: queuing system, queuing network, node, transaction, labeled transaction, input message,
output message, queue, non-preemptive priority, facility, leased line, protocol, configuration, data
center, service time, waiting time, response time
The article presents an analytical model to estimate the mathematical expectation of the data center (DC) response time to the interactive requests from remote users connected to the DC via leased lines (LL), which run under control of HDLC-type protocols for configurations "pointpoint» and "point - multipoint » in Normal Response Mode, NRM. In the logic connection DC acts as the host (primary node) and remote stations play the role of the slave units (secondary nodes).
The objective of research is to obtain analytical expressions to define the following:
- Mathematical expectation of waiting time required for input and output messages of each class to start transmitting via leased line;
- Mathematical expectation of total DC response time to requests of each class.
The process of interaction between remote workstations and DC is formalized as a closed three-node queuing network (QN), wherein the first multi-channel node corresponds to the phase of request deliberation (preparation) to DC on the workstation. In this phase, the number of facilities, i.e. service channels, is equal to the number of workstations (terminals), R. The second single-channel node of this QN reflects processing of input and output messages to the LL in accordance with the logic of HDLC protocol. The third multi-channel node of this NQ reflects, as a matter of fact, processing query to DC. In this node one process in DC corresponds to each active terminal, i.e., the number of facilities is equal to the number of workstations R.
It is shown that the problem of determining the DC average response time to requests of remote users is reduced to the problem of determining the average waiting time for the input and output messages to start transmitting messages by LL - that sort of unknown average waiting time turns out to be 2R. The first two points of the probability distribution functions of reflection time, LL transmission time, and time of message processing, as a matter of fact, in DC are assumed to be specified.
To create a system of algebraic equations in regard to the unknown average waiting time for the input and output messages to start LL sending a so-called method of "labeled transaction"
is used. The system of equations is constructed, initially, to provide the "point-multipoint configuration." Then it is shown how to obtain a system for configuration "point-point" as a special case.
The first phase considers an arrival of the "labelled transaction" submitting output message in QN and builds R equations in regard to the unknown average waiting time for the output message to start its sending by LL from DC to the workstation.
The second phase considers an arrival of the "labelled transaction" submitting input message in QN and builds R equations in regard to the unknown average waiting time for the input message to start its sending by LL from the workstation to DC.
The result is a system of the 2R algebraic equations in regard to 2R unknown average waiting time for a start of message transmission by LL. The existence of a unique solution of the resulting system of equations is proved, and a computationally efficient procedure for determining solution as a modified Newton-Kantorovich method is proposed.
The paper shows how to obtain a system of equations for the "point-point" configuration, as a special case, from the system of equations for the "point-multipoint" configuration. It presents the formulas for calculating the DC average response time to remote users' requests for each workstation.
References
1. Vishnevskiy V.M. Teoreticheskie osnovy proektirovaniya komp'yuternykh setey [Theoretical bases of designing of computer networks]. Moscow, Tekhnosfera Publ., 2003. 512 p. (in Russian).
2. Nazarov A.N., Razzhivin I.A., Simonov M.V. ATM: Tekhnicheskie resheniya sozdaniya setei [ATM: Technical solutions of networking]. Moscow, Goryachaya Liniya-Telekom Publ., 2001. 376 p. (in Russian).
3. ISO/IEC 13239:2002. Information technology -- Telecommunications and information exchange between systems -- High-level data link control (HDLC) procedures // ISO: organization website. Available at: http://www.iso.ors/iso/catalogue detail.htm?csnumber=37010 , accessed 28.07.2015.
4. Internetworking Technologies Handbook. Cisco Press, 2003. 1128 p. (Russ. ed.: Rukovodstvo po tekhnologiyam ob"edinennykh setei. Nastol'nyi spravochnik spetsialista po setevym tekhnologiyam. Moscow, Williams Publishing House, 2005. 1040 p.).
5. Forrest L. Pierson, Jr. Method and system for processing an HDLC message. Patent US 6195346 B1. 2001.
6. From ATM to IP/Ethernet: Three Strategies for Cost-Effective Network Convergence. White Paper. Tellabs, 2011.
7. IP/MPLS, ATM and Frame Relay Forum Specifications. Available at: https://www.broadband-forum.org/technical/ipmplstechspec.php , accessed 28.07.2015.
8. Simpson W., ed. The Point-to-Point Protocol (PPP). RFC 1661, STD 51. Available at: https://tools.ietf.org/html/rfc 1661 , accessed 28.07.2015.
9. Nesterov Yu.G. Decomposition method for analysis of closed queuing networks. Nauka I obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2014, no. 2, pp. 263-276. DOI: 10.7463/0214.0700018 (in Russian).
10. Nesterov Yu.G. Feature analysis for closed queuing system with non-preemptive priorities. Nauka i obrazovanie MGTU im. N.E. Baumana = Science and Education of the Bauman MSTU, 2014, no. 3, pp. 242-254. DOI: 10.7463/0314.0702664 (in Russian).
11. Gnedenko B.V., Kovalenko I.N. Vvedenie v teoriyu massovogo obsluzhivaniya [Introduction to queuing theory]. Moscow, LKI Publ., 2007. 400 p. (in Russian).
12. Kleinrock L. Queueing Systems. Vol. 1. Theory. New York, John Wiley and Sons, 1975. (Russ. ed.: Kleinrock L. Teoriia massovogo obsluzhivaniia. Moscow, Mashinostroenie Publ., 1979. 432 p.).
13. Konig D., Stoyan D. Metody teorii massovogo obsluzhivaniya [Methods of queuing theory]. Transl. from German. Moscow, Radio i svyaz' Publ., 1981. 128 p. (in Russian).