CC BY
61
Зикий Анатолий Николаевич - Южный федеральный университет; e-mail: zikiy50@mail.ru; 347922 г. Таганрог, ул. Чехова, 2; кафедра информационной безопасности телекоммуникационных систем; к.т.н.; с.н.с.; доцент.
Зламан Павел Николаевич - e-mail: otdel24d@.nkbmius.ru; 347900, г. Таганрог, ул. Петровская, 81; научно-конструкторское бюро моделирующих и управляющих систем; ведущий инженер-конструктор.
Zikiy Aatoliy Nikolaecich - Southern Federal University; e-mail: zikiy50@mail.ru; 2, Chekhova street, Taganrog, 347900, Russia; the department of information security of telecommunication systems; cand. of eng. sc.; senior researcher; assistant professor.
Zlaman Pavel Nikolaevich - e-mail: otdel24d@.nkbmius.ru; 81, Petrovskaya street, Taganrog, 347900, Russia; scientific and design Bureau of modelling and controlling systems; lead design engineer.
УДК 004.724 DOI 10.18522/2311-3103-2016-9-121133
С.В. Галич, М.С. Деогенов, В.Г. Карташевский, А. О. Пасюк, Е. С. Семенов
ИССЛЕДОВАНИЕ ПРОИЗВОДИТЕЛЬНОСТИ ПКС-КОНТРОЛЛЕРА OPENDAYLIGHT НА СЕТЯХ РАЗНЫХ МАСШТАБОВ
Программно-конфигурируемые сети (ПКС) - одна из наиболее обсуждаемых тем в современной индустрии информационных технологий. Данная концепция организации сетей подразумевает, что весь функционал управления сетью сконцентрирован в едином логическом центре, также называемом ПКС-контроллером. Контроллер представляет собой программное обеспечение, выполняющее функции управления сетью и развёрнутое на одиночном сервере или вычислительном серверном кластере. Статья посвящена исследованию производительности контроллера программно-конфигурируемых сетей OpenDaylight. Данный контроллер представляет собой кроссплатформенное программное обеспечение с открытым исходным кодом на основе виртуальной машины Java (JVM). В соответствии с рекомендациями Инженерного совета Интернета определены ключевые метрики производительности контроллера, а именно задержка и пропускная способность. Показано, что требования к производительности контроллера определяются масштабом сети, а именно числом коммутаторов и оконечных узлов. Разработаны сценарии тестирования задержки и пропускной способности контроллера OpenDaylight с помощью утилиты Cbench. На основании экспериментальных данных установлены зависимости указанных метрик производительности от числа управляемых контроллером коммутаторов и оконечных узлов в сети. Особое внимание уделено влиянию технологии логической многопоточности центрального процессора Intel Hyper-Threading на задержку и пропускную способность ПКС-контроллера. Предложен способ расчёта метрики производительности ПКС-контроллера как суммы метрик задержки и пропускной способности, нормированных на диапазон [0;1]
с помощью линейной функции. В результате показано, что использование технологии Hyper-Threading позволяет увеличить производительность ПКС-контроллера. Данный способ может быть использован операторами при расчёте технических норм функционирования сетей связи, закрепленных в договоре об уровне обслуживания (SLA).
Программно-конфигурируемые сети; ПКС-контроллер; OpenDaylight; производительность; задержка; пропускная способность; виртуальная машина Java; логическая многопоточность; центральный процессор; договор об уровне обслуживания.
S.V. Galich, M.S. Deogenov, V.G. Kartashevskii, A.O. Pasiuk, E.S. Semenov
OPENDAYLIGHT SDN CONTROLLER: A STUDY OF PERFORMANCE SCALING ON NETWORKS OF DIFFERENT SIZES
The software-defined networking (SDN) concept is the most discussed topic in the IT industry of recent years. The key idea of SDN is to segregate control plane from data plane in the network. The control plane is moved to a centralized server called the SDN controller. In this article we present a study of OpenDaylight SDN controller performance scaling on networks of different sizes. The Open Daylight controller is an open-source software based on Java Virtual Machine and it can be run on any OS and Metal as long as it supports Java. Factors influencing to SDN controller performance have been explored by IETF workgroup. Two key metrics of controller performance are latency and throughput. Performance requirements are specified by size of network, namely number of switches and hosts. In this article we discussed in detail the test bed and the methodology of experiments. Latency and throughput of SDN controller are measured by Cbench utility. OpenDaylight performance is studied with particular attention to the impact of Intel Hyper-Threading technology. The correlations between two key metrics of performance and size of network were established from experimental data. We obtained a metric of controller performance as a sum of latency and throughput, which have been normalized to the range [0;1]. Results indicate that Hyper-Threading essentially improves performance of OpenDaylight SDN controller. Network providers can use this method to calculate some performance and quality metrics, that service-level agreement (SLA) may include.
Software-defined networks; SDN controller; OpenDaylight; performance; latency; throughput; Cbench; Java Virtual Machine; Hyper-Threading; CPU; Service Level Agreement.
Введение. В настоящее время в отрасли инфокоммуникационных технологий высок интерес к теме программно-конфигурируемых сетей (далее ПКС, англ. SDN). Правительство РФ еще в 2014 году опубликовало перечень приоритетных научных задач, имеющих ключевое значение для социально-экономического развития страны. В этот перечень в пункте 3 включены и научные исследования в области программно-конфигурируемых сетей и виртуализации сетевых сервисов [1]. В сентябре 2016 года ПАО «Ростелеком» в сотрудничестве с ЦПИКС внедрили на один из сегментов действующей сети отечественные разработки, реализующие идеи ПКС [2].
В концепции ПКС особую роль в сети играет контроллер, выполняющий функции централизованного управления всеми узлами. Популярный интернет -ресурс SDx Central, посвященный тематике программно-конфигурируемых сетей и виртуализации сетевых функций, в первой половине 2016 года провёл опрос, целью которого было выявить наиболее популярные ПКС-контроллеры, внедренные в эксплуатацию. Фокус-группой являлись телеком-операторы, провайдеры облачных сервисов и различные организации, имеющие собственные корпоративные сети. При этом респонденты могли выбрать несколько вариантов ответов. Согласно результатам данного опроса [3], представленным на рис. 1, наиболее популярным является контроллер OpenDaylight, используемый в своих сетях такими компаниями, как Orange, China Mobile, AT&T, T -Mobile, Telefonica, China Telecom, Deutsche Telekom и другими. OpenDaylight представляет собой программное обеспечение на основе виртуальной машины Java (JVM), а значит может функционировать в среде любой операционной системы, поддерживающей Java [4].
Open Virtual Netv
CpenDayl
OpenCpn
r^ir.n'i
flooil
Про
Of
61%
10
20
30 40
Проценты
50
60
Рис. 1. Популярные ПКС-контроллеры, внедренные в эксплуатацию (по результатам опроса SDx Central)
В связи с вышеизложенным можно сделать вывод, что особую актуальность приобретают исследования, результаты которых могут быть использованы при проектировании или эксплуатации сетей связи, реализующих концепцию ПКС. Одной из ключевых задач операторов связи и провайдеров информационных сервисов является выполнение обязательств по предоставлению услуг потребителям. Регулирование взаимоотношений оператора и абонента осуществляется договором об уровне обслуживания Service Level Agreement (SLA). В SLA определяется в том числе размер компенсаций в случае нарушения оператором своих обязательств. Таким образом, производительность ПКС-контроллера является ключевым фактором, влияющим на уровень качества предоставляемой услуги в программно-конфигурируемых сетях.
Существуют работы отечественных авторов из Центра прикладных исследований компьютерных сетей (далее ЦПИКС) [5-6], посвященные тестированию производительности различных ПКС-контроллеров. Однако последнее исследование ЦПИКС в рамках данной тематики датировано мартом 2014 года, и соответственно не включает результаты контроллера OpenDaylight, первая версия которого вышла несколько позже. Российским коллективом авторов из СПбГУТ [7-8], а также иностранными исследователями [9-12] OpenDaylight тестировался, однако не достаточно внимания было уделено влиянию аппаратной платформы на производительность контроллера. В частности, авторы не исследовали влияние технологии логической многопоточности центрального процессора (далее ЦП) Intel Hyper-Threading. Данную технологию поддерживают все современные серверные процессоры Intel. Однако согласно результатам исследований [13-16], эффективность Intel Hyper-Threading зависит от оптимизации конкретного программного обеспечения под многопоточные вычисления, особенно в случае Java-приложений. Следовательно, актуальной задачей является исследование вопроса целесообразности активации в настройках ЦП технологии Intel Hyper-Threading на сервере ПКС-контроллера OpenDaylight.
Целью данной статьи является разработка способа расчёта метрики производительности ПКС-контроллера, который может быть использован операторами для определения технических норм функционирования сетей связи, обеспечивающих требуемый уровень качества предоставляемых услуг.
Метрики производительности ПКС-контроллера. В проекте рекомендации Инженерного совета Интернета (IETF) [17] определены две ключевые метрики, применяемые для оценки производительность ПКС-контроллеров: задержка (англ. delay) и пропускная способность (англ. throughput).
Определение 1 : Задержка есть время, необходимое контроллеру на обработку одного асинхронного сообщения, отправляемого для установки нового потока на коммутаторе. Единицами измерения являются миллисекунды. Чем меньше задержка, тем выше производительность контроллера [17].
Определение 2: Пропускная способность есть максимальное число обработанных контроллером за время одного теста сообщений асинхронного типа, отправляемых для установки нового потока на коммутаторе. Единицами измерения является число установленных потоков в секунду. Чем выше пропускная способность, тем выше производительность контроллера [17].
Кроме того, проект рекомендации [17] содержит сведения и о способе измерения задержки ПКС-контроллера. При экспериментальном исследовании задержки для повышения точности получаемых результатов рекомендуется повторять каждый тест минимум 10 раз, после чего высчитывать среднее из полученных значений.
Требования к производительности, определяемые сферой применения. Сфера применения контроллера определяет требования к производительности контроллера как программно-аппаратной платформы. OpenDaylight и его коммерческие версии позиционируется в первую очередь как контроллер для центров обработки данных (ЦОД), но так же возможно его использование на сетях телеком-провайдеров и в корпоративных сетях [4, 18].
В [19] было проведено исследование трафика 10 ЦОД, территориально расположенных в США. Авторы выявили среднее количество коммутаторов и серверов в сетях ЦОД [19]. Полученные данные представлены в табл. 1.
Таблица 1
Размеры сетей ЦОД в США
Масштаб ЦОД Число коммутаторов, шт. Число серверов, шт.
Университетский До 36 До 1100
Корпоративный (частный) До 100 До 2000
Публичный До 763 До 15000
Как следует из табл. 1, ГГ-инфраструктура ЦОД может включать в свой состав весьма большое число физических серверов и коммутаторов (вплоть до десятков тысяч). Таким образом, производительность контроллера (задержка и пропускная способность) должна хорошо масштабироваться с изменением размера сети.
Утилита тестирования ПКС-контроллеров Cbench. Для тестирования производительности ПКС-контроллеров применяется утилита Cbench. Принцип ее действия заключается в генерации асинхронных OpenFlow-сообщений packet_in, отправляемых для установки нового потока на коммутаторе. Cbench имеет два режима работы. В режиме latency каждый коммутатор отправляет контроллеру сообщение packet_in и дожидается ответа flow_mod на отправленный запрос, прежде чем отправить следующий. Таким образом, режим latency служит для определения времени обработки одного сообщения, или задержки. Режим throughput позволяет определить пропускную способность контроллера, поскольку каждый коммутатор отправляет сообщение pack-et_in, не дожидаясь ответа на предыдущее; после теста возвращается число установленных потоков в секунду. Cbench позволяет задавать длительность одного теста, количество тестов за один запуск, количество оконечных узлов, подключенных к коммутатору и количество коммутаторов в сети.
Сценарии тестирования. С использованием утилиты Cbench были разработаны несколько сценариев тестирования производительности ПКС-контроллера. Для тестирования задержки применялись следующие сценарии: 1) Зависимость задержки от количества управляемых контроллером коммутаторов. Cbench запускается в режиме latency, при этом в ходе теста количество оконечных узлов остается постоянным и равняется 105 штук, а число коммутаторов принимается равным 1, 2, 4, 8, 16, 32, 64, 128, 256;
2) Зависимость задержки от количества оконечных узлов в сети. Cbench запускается в режиме latency, число управляемых контроллером коммутаторов в ходе теста постоянно, число оконечных узлов последовательно задается равным 101, 102, 103,104,105, 106, 107.
Для тестирования пропускной способности использовались следующие сценарии:
3) Зависимость пропускной способности от количества управляемых контроллером коммутаторов. Утилита Cbench запускается в режиме throughput. В ходе теста количество оконечных узлов остается постоянным и равняется 105 штук, а число коммутаторов принимается равным 1, 2, 4, 8, 16, 32, 64, 128, 256.
4) Зависимость пропускной способности контроллера от количества оконечных узлов в сети. Утилита Cbench запускается в режиме throughput. В ходе теста число коммутаторов остается фиксированным и равняется 32, а число оконечных узлов последовательно задается равным 101, 102, 103,104,105,106,107 штук.
На каждой конфигурации проводилось 10 тестов продолжительностью 10 секунд каждый, после чего высчитывалось среднее значение исследуемого параметра. Тестирование проводилось при 4 активных ядрах ЦП для случаев с активированной и деактивированной технологией HT.
Тестовый стенд. В качестве аппаратной платформы для ПКС-контроллера используется сервер под управлением ОС Ubuntu Server 14.04, снабженный ЦП Intel Xeon CPU E3-1241 v3 3,5 ГГц (4 ядра, 8 потоков, поддержка Hyper-Threading), материнской платой Supermicro X10SLA-F v3.0, оперативной памятью объемом 16 Гб. В роли контроллера выступает OpenDaylight версии Beryllium-SR1, выпущенный в марте 2016 года. Контроллером используется версия Java 8.0 (платформа Java SE 1.8.0_101-b13). В соответствии с проведенным ранее анализом [18] можно утверждать, что аппаратная платформа сервера удовлетворяет минимальным системным требованиям как открытой версии OpenDaylight, так и коммерческим версиям данного контроллера.
Конфигурация сервера-нагрузчика, имеет следующий вид: ЦП Intel Core i5 4590 3,3 ГГц (4 ядра), оперативная память объемом 32 Гб, ОС Windows 7 Professional x64. Утилита Cbench была запущена в виртуальной машине Oracle Virtual Box 5.0.20 в среде операционной системы Ubuntu 14.04. Виртуальной машине были выделены 4 ядра процессора и 24 Гб оперативной памяти.
Оба сервера соединены каналом с пропускной способностью 1 Гбит/с. Включение технологии Intel HT осуществлялось в настройках BIOS материнской платы сервера. Чтобы оценить эффект от добавления логических ядер ЦП, необходимо исключить влияние на производительность динамического повышения тактовой частоты, а значит технологию Intel TurboBoost следует отключить в BIOS. Схема тестового стенда приведена на рис. 2.
Коммутатор 1 Коммутатор 2 Коммутатор N
• OPEN ffi ffi ffi
Packetjn
ABB <- ц И~Л
ПКС-контроллер Ethernet TOOOBase T Сервер-нагрузчик
OpenDaylight Cbench
Рис. 2. Схема лабораторного стенда
Зависимость задержки от числа управляемых контроллером коммутаторов. В ходе проведенных тестов были получены средние значения задержки контроллера при увеличении количества коммутаторов с 1 до 256.
Рис. 3. Зависимость задержки от числа коммутаторов
Как видно из рис. 3, задержка начинает расти, когда число коммутаторов превышает значение 16. Стоит отметить тот факт, что использование технологии Intel HT приводит к росту задержки при малом числе коммутаторов (до 4 штук); дальнейшее же увеличение числа коммутаторов показывает, что технология логической многопоточности даёт выигрыш в производительности до 30 %.
Зависимость задержки от количества оконечных узлов в сети. Результаты тестов представлены на рис. 4 и 5. Можно сделать ряд выводов:
1. При увеличении числа оконечных узлов с 10 до 107 величина задержки существенно не изменяется независимо от числа управляемых контроллером коммутаторов (как при 1, так и при 32 коммутаторах);
2. При малом числе коммутаторов использование технологии HT приводит к росту задержки независимо от числа оконечных узлов.
0.5
0.4
5 0.3
0.2
0.1
0.0
—•— Hyper-Threading включен —Hyper-Threading отключен
ь-________ _ ____
■ W 1
_—_ Т Т__—_Ш
103 ICH 105
Количество хостов, шт.
Рис. 4. Зависимость задержки от числа оконечных узлов (1 коммутатор)
1.6
0.4
0.2 Hyper-Threading включен
Hyper-Threading отключен
0.0
10' ю- 10'1 10J КГ- 10° 10;
Количество хостов, шт.
Рис. 5. Зависимость задержки от числа оконечных узлов (32 коммутатора)
Зависимость пропускной способности от количества управляемых контроллером коммутаторов. В ходе проведенных тестов были получены средние значения пропускной способности контроллера при увеличении количества коммутаторов с 1 до 256. Результаты представлены на рис. 6.
1600D0
5 еоооо
I
I «ООО
с
о
I& 20000 -Hyper-Threading отключен —Hyper-Threading включен
0
1 2 4 0 16 32 И 12В 256 Количество коммутаторов, шт.
Рис. 6. Зависимость пропускной способности от числа коммутаторов
Как видно из представленных результатов, использование технологии Intel HT даёт прирост пропускной способности до 40 %.
Зависимость пропускной способности от числа оконечных узлов в сети. Результаты тестирования пропускной способности при изменении числа оконечных узлов в сети при фиксированном числе коммутаторов представлены на рис. 7.
При увеличении числа оконечных узлов с 10 до 107 пропускная способность падает не более чем на 7 % независимо от использования технологии HT. Однако использование логической многопоточности даёт ощутимый прирост производительности.
Рис. 7. Зависимость пропускной способности от числа оконечных узлов
(32 коммутатора)
Способ расчёта метрики производительности ПКС-контроллера. Как было сказано ранее, производительность ПКС-контроллера определяется его задержкой и пропускной способностью. Введём понятие веса метрики производительности, физический смысл которого-показать долю данной метрики в результирующей производительности. Тогда: а е [0; 1] - вес задержки; ß е [0; 1] - вес пропускной способности. При этом а + ß = 1. Введём следующие обозначения: P - производительность ПКС-контроллера; L - задержка;
T - пропускная способность. Тогда справедлива формула:
P = ах L + ßxT. (1)
Пусть ПКС контроллер обеспечивает максимальную производительность при P = 1, а значение P = 0 соответствует отказу контроллера обрабатывать поступающие заявки. Тогда согласно данным ранее определениям задержки и пропускной способности, P = 1 при максимальной пропускной T = 1 и минимальной задержке L = 1. Однако величины L и T имеют разный физический смысл, а следовательно, и разные единицы измерения. Значит необходимо нормировать обе метрики производительности на диапазон [0;1].
Нормирование осуществляется с использованием линейной функции [20] вида
, (b - a)(x - x)
v —h — -_/У max /
Лнорм = b , (2)
x - x
max min
где x - фактическое значение показателя; x - минимально допустимое значение показателя; x - максимально допустимое значение показателя; xmpM - нормированное значение показателя; b - максимальное значение диапазона; a - минимальное значение диапазона.
Тогда для нормирования пропускной способности формула (2) принимает
вид
(T - T)
j _1 _ У max_'_
норм rji '
(3)
Поскольку лучшим значением задержки является меньшее, то формула (2) принимает вид
(¿тах - ц
LHOpM
L
(4)
Осуществив нормирование двух рассматриваемых метрик производительности на диапазон [0;1] и полагая, что и задержка, и пропускная способность имеют одинаковый вес х = / = 0,5 , получим график зависимости производительности от размера сети, показанный на рис. 8.
Рис. 8. Зависимость производительности от размера сети (при а = ¡ = 0,5)
Из рис. 8 видно, что общая производительность ПКС-контроллера убывает с ростом числа коммутаторов. Однако технология многопоточности Intel Hyper-Threading позволяет достичь более высокого уровня производительности. Кроме того, как показывает график на рис. 8, при одинаковом значении параметра P = 0.8 использование технологии HT позволяет увеличить число коммутаторов в сети с 32 до 128.
Следует заметить, что веса а и 3 можно варьировать в зависимости от того, какой метрике производительности в конкретной ситуации предпочтительней отдать приоритет.
Заключение. В ходе осуществленного исследования было выявлено, что производительность Java-контроллера OpenDaylight масштабируется в зависимости от размера сети. При этом увеличение числа управляемых контроллером коммутаторов оказывает негативное влияние на такие метрики производительности ПКС-контроллера, как задержка и пропускная способность, в то время как увеличение числа оконечных узлов, подключенных к коммутаторам, существенного влияния на производительность не оказывает. В данной статье предложен способ расчёта метрики производительности ПКС-контроллера, получаемой как сумма задержки и пропускной способности, нормированных на диапазон [0;1].
Такой подход позволил выявить, что активация технологии ЦП Intel Hyper-Threading на сервере ПКС-контроллера приводит к росту производительность системы, что в свою очередь позволяет увеличить размер сети, управляемой данным контроллером.
Данный способ оценки производительности ПКС-контроллера может быть использован операторами связи и провайдерами информационных сервисов при проведении испытаний ПКС-контроллеров. Установив экспериментально значение параметра P, при котором технические нормы функционирования сетей связи обеспечивают требуемый уровень качества предоставляемых услуг, оператор сможет в дальнейшем осуществлять мониторинг и проверку исполнения SLA^ также планировать модернизацию сети.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. О приоритетных научных задачах, для решения которых требуется задействовать возможности федеральных центров коллективного пользования научным оборудованием // Правительство Российской Федерации. - URL: http://government.ru/orders/selection/405/ 10326/ (дата обращения: 16.09.2016).
2. «Ростелеком» осваивает SDN. - URL: http://www.comnews.ru/content/102788/2016-07-11/rostelekom-osvaivaet-sdn (дата обращения: 16.09.2016).
3. The Future of Network Virtualization and SDN Controllers: Market Report // SDNCentral, LLC. - URL: https://www.sdxcentral.com/reports/network-virtualization-sdn-controllers-download-2016/ (дата обращения: 16.09.2016).
4. Галич С.В., Сердюкова И.К., Сафонова О.Е. Обзор архитектуры SDN-контроллера OpenDaylight // Проблемы передачи информации в инфокоммуникационных системах: Cборник докладов и тезисов VI Всероссийской научно-практической конференции, 18 мая 2015 г. - Волгоград: Изд-во ВолГУ, 2015. - С. 18-25.
5. IvashchenkoP., ShalimovA., Smeliansky R High performance in-kernel sdn/openflow controller // Proceedings of the 2014 Open Networking Summit Research Track, USENIX, March 3-5.
- Santa Clara, USA, 2014.
6. Shalimov A., Zuikov D., Zimarina D. et al. Advanced study of sdn/openflow controllers // 9th Central and Eastern European Software Engineering Conference in Russia, CEE-SECR 2013.
- ACM International Conference Proceeding Series. - Moscow, Russian Federation, 2013. DOI:10.1145/2556610.2556621.
7. Владыко А.Г., Матвиенко Н.А., Новиков М.И., Киричек Р.В. Тестирование SDN-контроллеров на базе модельной сети // Информационные технологии и телекоммуникации. - 2016. - Т. 4, № 1. - С. 17-28.
8. Владыко А. Г., Киричек Р. В., Великоречин М. А., Думин Д. И. Комплексная методика тестирования фрагмента программно-конфигурируемой сети // Информационные технологии и телекоммуникации. - 2015. - № 2 (10). - С. 20-29.
9. Salman O., Elhajj I. H., Kayssi A., Chehab A. SDN controllers: A Comparative Study // 18th Mediterranean Electrotechnical Conference MELECON 2016, April 18-20, 2016. - Limassol, Cyprus, 2016. DOI:10.1109/MELCON.2016.7495430.
10. Khattak Z. K., Awais M., Iqbal A. Performance evaluation of OpenDaylight SDN controller // 20th IEEE International Conference on Parallel and Distributed Systems, December 16-19, 2014. DOI:10.1109/PADSW.2014.7097868.
11. Rowshanrad S., Abdi V., Keshtgari M. Performance evaluation of SDN controllers: Floodlight and OpenDaylight // IIUM Engineering Journal. - 2016. - Vol. 17, No. 2. - P. 47-57.
12. Suh D., Jang S., Han S., Pack S., Kim T., Kwak J. On performance of OpenDaylight Clustering // 2016 IEEE NetSoft Conference and Workshops, June 6-10, 2016. DOI:10.1109/NETSOFT.2016.7502476.
13. Saini S., Jin H., HoodR., Barker D., Mehrotra P., Biswas R. The impact of hyper-threading on processor resource utilization in production applications // Proceedings of the 2011 18th International Conference on High Performance Computing, December 18-21, 2011. - Denver, Colorado, USA, 2011. - P. 1-10. DOI:10.1109/HiPC.2011.6152743.
14. GuerinX., Tan W., Liu Y., Seelam S., Dube P. Evaluation of Multi-core Scalability Bottlenecks in Enterprise Java Workloads // Proceedings of the 2012 IEEE 20th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems, August 07-09, 2012. - P. 308-317. DOI:10.1109/MASCOTS.2012.43.
15. Chen K.-Y., Chag J. M., Hou T.-W. Multithreading in Java: Performance and Scalability on MultiCore Systems // IEEE Transactions on Computers, December 02, 2010. - P. 1521-1534. DOI: 10.1109/TC.2010.232.
16. Femminella M., Maccherani E., Reali G. Performance Management of Java-based SIP Application Servers // Proceedings of the 12th IFIP/IEEE International Symposium on Integrated Network Management, May 23-27, 2011. - Dublin, Ireland, 2011.
17. Vengainathan B., Basil A., Tassinari M. et al. Internet-Draft Benchmarking Methodology for SDN Controller Performance. - URL: https://tools.ietf.org/html/draft-ietf-bmwg-sdn-controller-benchmark-meth-01 (дата обращения 16.09.2016).
18. Галич С.В., Деогенов М.С., Пасюк А.О., Семенов Е.С. Аналитический обзор коммерческих ПКС-контроллеров на основе OpenDaylight // Огарев-online. - 2016. - № 18. - URL: http://journal.mrsu.ru/arts/analiticheskij-obzor-kommercheskix-pks-kontrollerov-na-osnove-opendaylight.
19. Benson T., Akella A., Maltz D.A. Network traffic characteristics of data centers in the wild // Proceedings of the 10th ACM SIGCOMM conference on Internet measurement: IMC '10. -New York, NY, USA: ACM, 2010. - P. 267-280.
20. Митяков Е. С., Корнилов Д. А. К вопросу о выборе весов при нахождении интегральных показателей экономической динамики // Труды НГТУ им. Р.Е. Алексеева. - Н. Новгород, 2011. - № 3 (90). - С. 289-299.
REFERENCES
1. O prioritetnykh nauchnykh zadachakh, dlya resheniya kotorykh trebuetsya zadeystvovat' vozmozhnosti federal'nykh tsentrov kollektivnogo pol'zovaniya nauchnym oborudovaniem [On priority research problems whose solution requires the use of Federal centers for collective use of scientific equipment], Pravitel'stvo Rossiyskoy Federatsii [Government of the Russian Federation]. Available at: http://government.ru/orders/selection/405/ 10326/ (accessed 16 September 2016).
2. «Rostelekom» osvaivaet SDN ["Rostelecom" develops SDN]. Available at: http://www.comnews.ru/content/102788/2016-07-11/rostelekom-osvaivaet-sdn (accessed 16 September 2016).
3. The Future of Network Virtualization and SDN Controllers: Market Report, SDNCentral, LLC. Available at: https://www.sdxcentral.com/reports/network-virtualization-sdn-controllers-download-2016/ (accessed 16 September 2016).
4. Galich S.V., Serdyukova I.K., Safonova O.E. Obzor arkhitektury SDN-kontrollera OpenDaylight [Architecture overview SDN controller OpenDaylight], Problemy peredachi informatsii v infokommunikatsionnykh sistemakh: Sbornik dokladov i tezisov VI Vserossiyskoy nauchno-prakticheskoy konferentsii, 18 maya 2015 g. [Problems of information transmission in information and communication systems: a Collection of papers and abstracts of the VI all-Russian scientific-practical conference, may 18, 2015]. Volgograd: Izd-vo VolGU, 2015, pp. 18-25.
5. Ivashchenko P., Shalimov A., Smeliansky R. High performance in-kernel sdn/openflow controller, Proceedings of the 2014 Open Networking Summit Research Track, USENIX, March 3-5. Santa Clara, USA, 2014.
6. Shalimov A., Zuikov D., Zimarina D. et al. Advanced study of sdn/openflow controllers, 9th Central and Eastern European Software Engineering Conference in Russia, CEE-SECR 2013. ACM International Conference Proceeding Series. Moscow, Russian Federation, 2013. DOI:10.1145/2556610.2556621.
7. Vladyko A.G., Matvienko N.A., Novikov M.I., Kirichek R.V. Testirovanie SDN-kontrollerov na baze model'noy seti [Testing of SDN-based controllers a model of the network], Informatsionnye tekhnologii i telekommunikatsii [Information technologies and telecommunications], 2016, Vol, 4, No. 1, pp. 17-28.
8. Vladyko A.G., Kirichek R.V., Velikorechin M.A., Dumin D.I. Kompleksnaya metodika testirovaniya fragmenta programmno-konfiguriruemoy seti [The integrated testing method of a fragment of software-defined networks], Informatsionnye tekhnologii i telekommunikatsii [Information technologies and telecommunications], 2015, No. 2 (10), pp. 20-29.
9. Salman O., Elhajj I. H., Kayssi A., Chehab A. SDN controllers: A Comparative Study, 18th Mediterranean Electrotechnical Conference MELECON 2016, April 18-20, 2016. Limassol, Cyprus, 2016. DOI:10.1109/MELCON.2016.7495430.
10. Khattak Z. K., Awais M., Iqbal A. Performance evaluation of OpenDaylight SDN controller, 20th IEEE International Conference on Parallel and Distributed Systems, December 16-19, 2014. DOI:10.1109/PADSW.2014.7097868.
11. Rowshanrad S., Abdi V., Keshtgari M. Performance evaluation of SDN controllers: Floodlight and OpenDaylight, IIUMEngineering Journal, 2016, Vol. 17, No. 2, pp. 47-57.
12. Suh D., Jang S., Han S., PackS., Kim T., Kwak J. On performance of OpenDaylight Clustering // 2016 IEEE NetSoft Conference and Workshops, June 6-10, 2016. DOI:10.1109/NETSOFT.2016.7502476.
13. Saini S., Jin H., HoodR., Barker D., Mehrotra P., Biswas R. The impact of hyper-threading on processor resource utilization in production applications, Proceedings of the 2011 18th International Conference on High Performance Computing, December 18-21, 2011. Denver, Colorado, USA, 2011, pp. 1-10. DOI:10.1109/HiPC.2011.6152743.
14. GuerinX., Tan W., Liu Y., Seelam S., Dube P. Evaluation of Multi-core Scalability Bottlenecks in Enterprise Java Workloads // Proceedings of the 2012 IEEE 20th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems, August 07-09, 2012. - P. 308-317. DOI:10.1109/MASCOTS.2012.43.
15. Chen K.-Y., Chag J. M., Hou T.-W. Multithreading in Java: Performance and Scalability on MultiCore Systems, IEEE Transactions on Computers, December 02, 2010, pp. 1521-1534. DOI: 10.1109/TC.2010.232.
16. Femminella M., Maccherani E., Reali G. Performance Management of Java-based SIP Application Servers, Proceedings of the 12th IFIP/IEEE International Symposium on Integrated Network Management, May 23-27, 2011. Dublin, Ireland, 2011.
17. Vengainathan B., Basil A., Tassinari M. et al. Internet-Draft Benchmarking Methodology for SDN Controller Performance. Available at: https://tools.ietf.org/html/draft-ietf-bmwg-sdn-controller-benchmark-meth-01 (accessed 16 September 2016).
18. Galich S.V., Deogenov M.S., Pasyuk A.O., Semenov E.S. Analiticheskiy obzor kommerche-skikh PKS-kontrollerov na osnove OpenDaylight [Analytical review of commercial SDN controllers based on OpenDaylight], Ogarev-online [Ogarev-online], 2016, No. 18. Available at: http://journal.mrsu.ru/arts/analiticheskij-obzor-kommercheskix-pks-kontrollerov-na-osnove-opendaylight.
19. Benson T., Akella A., Maltz D.A. Network traffic characteristics of data centers in the wild, Proceedings of the 10th ACM SIGCOMM conference on Internet measurement: IMC '10, New York, NY, USA: ACM, 2010, pp. 267-280.
20. Mityakov E.S., Kornilov D.A. K voprosu o vybore vesov pri nakhozhdenii integral'nykh pokazateley ekonomicheskoy dinamiki [The question of the choice of weights when finding the integral indicators of economic dynamics], Trudy NGTU im. R.E. Alekseeva [Proceedings of NSTU them. R. E. Alekseev]. Nizhniy Novgorod, 2011, No. 3 (90), pp. 289-299.
Статью рекомендовал к опубликованию д.т.н., профессор К.Е. Румянцев.
Галич Сергей Владимирович - ФГАОУ ВО «Волгоградский государственный университет»; e-mail: sergeygali4@gmail.com; 400062, г. Волгоград, пр-т Университетский, 100; тел.: +79044362417; кафедра телекоммуникационных систем; аспирант.
Деогенов Михаил Сергеевич - e-mail: deogenov.ms@gmail.com; тел.: +79275000097; кафедра телекоммуникационных систем; аспирант.
Пасюк Алексей Олегович - e-mail: molodoj88@gmail.com; тел.: +79616670291; кафедра телекоммуникационных систем; аспирант.
Семенов Евгений Сергеевич - e-mail: essemenov@mail.ru; тел.: +79272522211; кафедра телекоммуникационных систем; зав. кафедрой; к.т.н.; доцент.
Карташевский Вячеслав Григорьевич - ФГБОУ ВО «Поволжский государственный университет телекоммуникаций и информатики»; e-mail: kartash@psati.ru; г. Самара, ул. Льва Толстого, 23; тел.: 88463331313; кафедра мультисервисные сети и информационная безопасность; зав. кафедрой; д.т.н.; профессор.
Galich Sergei Vladimirovich - Volgograd State University; e-mail: sergeygali4@gmail.com; 100, Universitetsky, Volgograd, 400062, Russia; phone: +79044362417; the department of telecommunication systems; postgraduate student.
Deogenov Mikhail Sergeevich - e-mail: deogenov.ms@gmail.com; phone: +79275000097; the department of telecommunication systems; postgraduate student.
Pasiuk Aleksei Olegovich - e-mail: molodoj88@gmail.com; phone: +79616670291; the department of telecommunication systems; postgraduate student.
Semenov Evgenii Sergeevich - e-mail: essemenov@mail.ru; phone: +79272522211; the department of telecommunication systems; head of department; cand. of eng. sc.; associate professor.
Kartashevskii Viacheslav Grigorevich - Povolzhskiy State University of Telecommunications and Informatics; e-mail: kartash@psati.ru; 23, L'va Tolstogo street, Samara, Russia; phone: +78463331313; the department of multiservice networks and information security; head of department; dr. of. eng. sc.; professor.
