CC BY
19
КОРПОРАТИВНЫЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ
УДК 621.326
МЕТОДЫ И СРЕДСТВА РЕЗЕРВИРОВАНИЯ ЕМКОСТИ КАНАЛОВ ДЛЯ СЛУЖБ УДАЛЕННОГО ДОСТУПА К ВЫЧИСЛИТЕЛЬНЫМ РЕСУРСАМ РЕГИОНАЛЬНОГО ЦЕНТРА ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ
ВЫЧИСЛЕНИЙ
© 2004 г. А.А. Букатов, О.В. Шаройко
Введение
Выполнение научных исследований на современном уровне зачастую связано с проведением сложных вычислительных экспериментов, требующих применения высокопроизводительных вычислений. В то же время далеко не всякое учебное или научное учреждение в состоянии самостоятельно приобрести и квалифицированно обслуживать высокопроизводительные вычислительные системы. Поэтому в рамках ФЦП «Интеграция» в период с 1999 по 2002 гг. был проведен комплекс работ по созданию и развитию сети региональных центров высокопроизводительных вычислений (ЦВВ) и телекоммуникационной среды удаленного доступа к ним. Одним из проектов указанной ФЦП стал проект № В0011, в задачи которого входило создание в Ростовском государственном университете (РГУ) регионального ЦВВ РГУ [1] и развитой среды удаленного доступа к ресурсам этого ЦВВ [2]. Это обеспечило возможность удаленного использования высокопроизводительных вычислительных ресурсов ЦВВ РГУ учеными тех научно-образовательных организаций региона, компьютерные сети которых подключены к региональной телекоммуникационной среде ЦВВ РГУ.
Из соображений экономической эффективности телекоммуникационная среда доступа к ЦВВ не имеет выделенных каналов передачи данных, а построена на базе региональной научно-образовательной сети [3], каналы которой существенно загружены, так как используются для доступа к другим научно-образовательным сетям и сети Интернет. Загруженность каналов приводит к дискомфорту при удаленной работе с ЦВВ, поэтому на очередном этапе развития среды доступа к ЦВВ была поставлена и решена задача динамического резервирования емкости телекоммуникационных каналов для служб удаленного доступа к ЦВВ РГУ [4, 5], составляющая основной предмет настоящей статьи.
Службы удаленного доступа к вычислительным ресурсам и их требования к параметрам коммуникационных каналов
Основными службами удаленного доступа к ЦВВ являются службы удаленного терминала (протоколы telnet, ssh) и службы пересылки файлов (протоколы ftp, sftp, scp). Требования, предъявляемые этими службами к пропускной способности и величине задержки в телекоммуникационных каналах различны.
Наиболее слабые требования к пропускной способности каналов предъявляют протоколы терминального доступа. Пиковые нагрузки на канал при их использовании возникают при выдаче на экран удаленного терминала текстового сообщения достаточно большой длины, переполняющего экран монитора. Объем таких сообщений превышает 1000 байт. Если предположить, что 20 % передаваемой информации составляют служебные данные, то для обеспечения нормального темпа выдачи таких сообщений на терминал в течение не более чем одной секунды необходимо наличие свободной полосы пропускания канала не менее 10 Kbps. Вместе с тем протоколы удаленного терминального доступа предъявляют существенные требования к величине задержки пакетов, которая не должна превосходить 100 мс (0,1 с), чтобы не приводить к заметному дискомфорту при вводе команд с удаленного терминала. Для того, чтобы средняя величина задержки не превышала 100 мс, необходим резерв емкости канала, несколько превышающий 10 Kbps.
Требования, предъявляемые к каналам передачи данных при пересылке файлов, существенно зависят от размеров этих файлов. Типичный размер программных файлов и файлов исходных данных, передаваемых на вычислительные системы ЦВВ РГУ, составляет порядка 1 МВ, типичный размер файлов-результатов, пересылаемых в обратном направлении, составляет 10-20 МВ. Таким образом, при использовании канала передачи данных, имеющего средний
резерв пропускной способности 256 Kbps, пересылка каждого файла входных данных или исходного текста программы займет более 30 с, а для пересылки файла результатов потребуется более 4 мин. Очевидно, что увеличение этих значений в несколько раз резко снизит удобство интерактивного взаимодействия удаленных пользователей с ЦВВ, поэтому требование наличия свободной полосы пропускания порядка 256 Kbps является существенным. Однако, поскольку протоколы пересылки файлов способны полностью занять полосу пропускания существенно более скоростных каналов и препятствовать нормальному функционированию других служб ТСВВ, актуальной задачей (наряду с резервированием требуемой полосы пропускания), становится и задача ограничения сверху полосы пропускания, выделяемой для пересылки файлов.
Методы расчета емкости каналов при использовании ст атистического мультиплексирования
параллельных потоков
Для обеспечения резервирования емкости каналов для служб удаленного доступа к ЦВВ РГУ разработаны специальные программные средства динамического резервирования емкости каналов для служб интерактивного (терминального) доступа и пересылки файлов [4, 5]. При этом при резервировании каналов для параллельных (во времени) терминальных соединений используются методы статистического мультиплексирования так, что резервирование выполняется для группы терминальных соединений и выделяемая емкость оказывается меньше суммы емкостей, требуемых для каждого из соединений. Для протоколов передачи необходимо резервировать емкость индивидуально для каждого соединения. При этом необходимо ограничить сверху доступную каждому из этих соединений полосу пропускания. Такой подход обусловлен особенностями протоколов соответствующих типов. Как отмечалось выше, для протоколов передачи файлов характерно стремление полностью занять всю доступную им емкость в канале, в то время как протоколы терминального доступа (интерактивного) доступа характеризуются кратковременными пиками, чередующимися с низким уровнем потребления канальной емкости.
Для расчета величины емкости каналов, резервируемой для соединений терминального типа, используется математическая модель, называемая очередью М/М/1 (см. например, [6]). Можно показать, что для того чтобы величина задержки Т не превышала, т с для N потоков терминального доступа, необходимо зарезервировать пропускную способность
V> (10^ + 1/2т) Kbps. (1)
Подставляя значение т =0,1, получим формулу
V > (10^ +5) Kbps, (2)
которую будем стандартно использовать для расчета емкости канала, резервируемого для N терминальных соединений.
Методы и средства резервирования емкости каналов для служб удаленного доступа к ЦВВ
К сожалению, в рамках данной статьи невозможно дать обзор существующих средств и методов, позволяющих создать резерв емкости в телекоммуникационных каналах. Отметим только, что существующие средства нельзя применить для пограничных каналов, так как дальняя по отношению к ЦВВ сторона канала обычно управляется другой организацией, например, оператором, предоставляющим IP услуги.
Для резервирования емкости в пограничных каналах авторами разработаны специальные средства [4, 5], основанные на использовании механизма обратной связи стека протоколов TCP/IP. Для этого на ближней к получателю стороне канала динамически (программно) устанавливаются ограничения, определяемые на основе текущей потребности в емкости канала. Вследствие заданных ограничений часть пакетов отбрасывается, и отправляющая сторона уменьшает размер окна TCP/IP, снижая нагрузку на канал.
Указанные средства основаны на разработанном ранее программном комплексе учета и регулирования уровня загрузки каналов телекоммуникационных сетей [7, 8] и используют его для определения текущей потребности в канальных ресурсах и ограничений на каналах. Основу средств составляет программа-демон, выполняющая пересчет ограничений канальной емкости, выделяемой той или иной группе потребителей. Группы потребителей трафика могут быть общего или некоторого специального типа. Общие группы обычно соответствуют подсетям корпоративной сети РГУ, не связанным с ЦВВ и создающим некоторую нагрузку на внешние каналы обращениями к произвольным сетевым службам. Специальные группы используются для учета особенностей организации удаленного доступа к ЦВВ. В настоящее время реализован учет особенностей лишь протоколов, используемых для доступа к ЦВВ. При этом предусмотрены возможности расширения для учета особенностей других протоколов. Особенности протоколов удаленного доступа к ЦВВ предполагается учитывать с помощью двух специальных типов информационных потоков: потоки интерактивной работы (терминального доступа) с ЦВВ и потоков файлового обмена с ЦВВ.
Для настройки средств резервирования емкости пограничных каналов администратором ЦВВ должна быть задана определенная конфигурационная информация, включающая описание групп потребителей канальных ресурсов, с указанием их типа. Группы определяются множествами IP адресов отправителей и получателей информации. Параметром, обязательным для групп всех типов является приоритет. Значение приоритета используется для распределения емкости канала в случае, когда текущая потребность превышает пропускную способность канала, а также при распределении «излишка» пропускной способности, т. е. той емкости канала, которая остается нераспределенной после выполнения резервирования. Дополнительные параметры для групп различного типа
различны. Для каждой группы общего типа дополнительно могут быть заданы значения минимальной и максимальной канальной емкости доступной данной группе. Группам файлового обмена с ЦВВ указываются ограничения доступной канальной емкости сверху и снизу, причем для групп файлового обмена эти ограничения определяют параметры каждого индивидуального потока, а не всей их совокупности. Дополнительно к этому может быть задано максимально допустимое количество потоков файлового обмена. Для групп, определяющих потоки интерактивной работы с ЦВВ, дополнительные параметры могут отсутствовать. В этом случае расчет размера необходимой полосы пропускания осуществляется по формуле (2) лишь на основе динамически определяемого количества потоков этой группы. При необходимости в качестве дополнительной информации может быть задана допустимая величина средней задержки пакетов, учитываемая в формуле (1).
Разработанные программные средства резервирования емкости каналов доступа к ЦВВ включают основную программу, функционирующую на одном из серверов ЦВВ, и множество идентичных программ-мониторов, выполняющихся на каждой из вычислительных систем ЦВВ, допускающих внешний доступ к ним. Основная программа, работающая в режиме демона, выполняет все действия, связанные с расчетом и установкой ограничений трафика для каждой из групп соединений с целью резервирования полосы пропускания канала для приоритетных соединений доступа к ЦВВ за счет необходимого ограничения полосы прочих сетевых соединений. Программы-мониторы (которые также являются демонами) ведут учет количества активных сеансов интерактивного доступа и файлового обмена удаленных пользователей соответствующей вычислительной системы.
Пересчет текущих ограничений выполняется основной программой по следующей схеме. Пусть в конфигурационной информации некоторого канала задано N1 групп общего типа (Gg^.Ggм), N2 групп файлового обмена (Gfl..GfN2) и N3 групп интерактивной работы ^/'ь^/дв). Пусть также заданы следующие параметры групп: для Ggi это Pgi - приоритет группы, Mngi - минимальная необходимая емкость в канале, Mxgi - максимальная допустимая емкость в канале; для Gfi - аналогично Р/, Mnfi и Mx//; и Gii может быть задана допустимая величина средней задержки т/. Первым шагом при вычислении новых ограничений является определение текущего количества интерактивных соединений и резервирование для каждой из определенных администратором групп Gii емкостей , вычисляемых по формулам (1) или (2) в зависимости от того, задана ли допустимая величина средней задержки. После этого выполняется резервирование полосы для каждого информационного потока, входящего в одну из групп Gfi, а также, для интегральных потоков каждой из групп Ggi. Для каждого из таких потоков резервируется емкость Mnfi или Mngi, соответственно. Затем для каждой из групп общего типа и групп файлового обмена определяется
занимаемая ими на данный момент полоса в канале. Если существуют группы, достигшие уровня, установленного при предыдущем пересчете, но при этом не выбирающие максимально установленной для них в конфигурационной информации канальной емкости, (Mxfi или Mxg,), и в канале есть свободная емкость, то эта свободная емкость распределяется между группами в соответствии с их приоритетами Pgi и Pf. Для групп, не достигших своего предыдущего ограничения, новое ограничение выставляется на величину Delta (задается в конфигурационной информации) больше, чем уровень текущего потребления, но не больше чем Mxgi или Mxfi, соответственно. Такой подход позволяет освободить неиспользуемую емкость в канале для более активных потребителей и, в то же время, оставить небольшой запас, по изменению которого можно судить о росте потребностей данной группы.
Когда новые значения ограничений определены, они выставляются на маршрутизаторах и начинается цикл ожидания, после которого процедура вычисления повторяется снова.
Теоретически данный метод применим на любом канале, однако, так как для управления информационными потоками используется механизм обратной связи TCP/IP, то, к сожалению, метод не может обеспечить очень высокой степени динамичности. Кроме того, поскольку перевычисление ограничений выполняется дискретно, то возможны кратковременные всплески, нарушающие заданную приоритетность. Однако разработанные средства способны осуществлять дифференцированное распределение канальных ресурсов с учетом приоритетов, там, где не могут работать стандартные протоколы, обеспечивающие требуемое качество обслуживания QoS (такие, как RSVP, DiffServ и др.), например, когда один из концов «узкого» канала управляется другой организацией. Отметим также, что рассмотренные средства динамически адаптируются к текущему уровню загрузки каналов и, в частности, при незагруженном канале не накладывают излишних ограничений на полосу пропускания, занимаемую любыми группами соединений.
Рекомендации по обеспечению качества удаленного доступа к региональному ЦВВ
Важно понимать, что для достижения высокого качества удаленного доступа к ресурсам ЦВВ необходимо применять совокупность средств для поддержания качества обслуживания по всей сети. При этом, когда речь идет о применении механизмов QoS по всей сети, имеется в виду не только распространение работы необходимых служб по всей сети «в ширину», но и поддержка механизмов обеспечения качества обслуживания «в глубину», т.е. по всем уровням модели стека сетевых протоколов.
С учетом особенностей различных средств и методов резервирования емкостей в каналах удаленного доступа к ЦВВ можно дать следующие рекомендации по повышению качества удаленного доступа к ЦВВ:
- для периферийных участков сети корпоративного абонента ЦВВ наиболее правильным методом повышения качества удаленного доступа к ЦВВ из этих участков сети является простое увеличение пропускной способности каналов передачи данных. Если это по тем или иным причинам выполнить невозможно, то допустимо использовать стандартные протоколы QoS для TCP/IP (RSVP, DiffServ [7,8], MPLS [8] и т.п.);
- для магистрального участка сети удаленного абонента ЦВВ также подходят методы, связанные с расширением каналов и применением стандартных протоколов QoS, однако возможностей для расширения магистральных каналов обычно меньше;
- для пограничных каналов между сетью ЦВВ и сетями, обеспечивающими доступ к его ресурсам удаленных пользователей, где обычно не удается создать резерв увеличением емкости канала или применением стандартных протоколов предлагается использовать специальные разработанные авторами средства, рассмотренные в предыдущем разделе.
Заключение
Основным результатом, рассматриваемым в рамках настоящей работы, является разработка специальных методов и средств, предназначенных для обеспечения качественного удаленного доступа к ЦВВ РГУ из внешних телекоммуникационных сетей. Требуемое качество обслуживания достигается путем динамического резервирования необходимой пропускной способности для активных соединений удаленных пользователей ЦВВ. Главные отличия разработанных методов и средств от других средств резервирования каналов состоят в следующем. Во-первых, в отличие от известного протокола RSVP, резервирующего полосу в канале по специальному запросу, и от протоколов DiffServ и MPLS, обеспечивающих приоритетное обслуживание потоков и не предоставляющих гарантированной полосы, разработанные средства автоматически определяют пропускную способность, необходимую для эффективного обслуживания лишь активных соединений с ЦВВ, и осуществляют динамическое резервирование требуемой полосы. Во-вторых, в отличие от упомянутых средств, применимых лишь внутри сети, находящейся под единым административным управлением, разработанные средства предоставляют возможность резервирования емкости пограничных каналов сети, внешняя сторона которых управляется другими операторами связи.
Ростовский государственный университет
Разработанные методы могут и должны применяться совместно с другими методами резервирования емкости телекоммуникационных каналов, что позволит добиться максимального эффекта за счет комбинированного применения положительных возможностей каждого из методов.
Литература
1. Букатов А.А., Дацюк В.Н., Крукиер Л.А. Центр высокопроизводительных вычислений коллективного пользования Ростовского государственного университета // Материалы второго междунар. науч.-практ. семинара «Высокопроизводительные параллельные вычисления на кластерных системах». Н. Новгород, 2002. С. 48-55.
2. Bukatov А.А. The Telecommunication Environment of the Rostov State University's Educational High Performance Computing Center // Искусственный интеллект. 2001. № 3. Донецк, 2001. C. 193-198.
3. Белоконь А.В., Букатов А.А., Крукиер Л.А. Создание научно-образовательной сети Ростова-на-Дону, Ростовской области и Южного федерального округа на базе телекоммуникационной сети РГУ // Тр. Междунар. науч.-метод. конф. «Телематика'2001», СПб., 2001. С. 37-38.
4. Букатов А.А., Шаройко О.В. Организация эффективного удаленного доступа к центру высокопроизводительных вычислений РГУ из региональной научно-образовательной сети // Тр. Всерос. науч.-метод. конф. «Телематика'2002», СПб., 2002. С. 160.
5. Букатов А.А., Шаройко О.В. Организация средств динамического резервирования каналов удаленного доступа к региональному центру высокопроизводительных вычислений // Материалы конф. «Relarn-2002». Н. Новгород, 2002. С. 17-18.
6. Уолренд Дж. Телекоммуникационные и компьютерные сети: Вводный курс. М., 2001.
7. Букатов А.А., Шаройко О.В. Программный комплекс учета загруженности информационных каналов IP сетей сложной топологии // Тр. Междунар. науч.-метод. конф. «Телематика'2001». СПб., 2001. С. 39.
8. Букатов А.А., Шаройко О.В. Программный комплекс учета и регулирования уровня загрузки каналов IP-сетей сложной топологии // Материалы конф. «Relarn-2001». Петрозаводск, 2001. С. 6-8.
9. Кульгин М.В. Коммутация и маршрутизация IP/IPX тра-
фика. М., 1998.
10. Олифер В.Г, Олифер Н.А. Новые технологии и оборудование IP сетей. СПб., 2001.
23 декабря 2003 г.
