CC BY
17
КОРПОРАТИВНЫЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ
УДК 621.326
РАЗРАБОТКА И ПРИМЕНЕНИЕ ЭФФЕКТИВНЫХ МЕТОДОВ ПОСТРОЕНИЯ ТРАНСПОРТНОЙ ИНФРАСТРУКТУРЫ РЕГИОНАЛЬНЫХ НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ ТЕЛЕКОММУНИКАЦИОННЫХ СЕТЕЙ
© 2004 г. А.А. Букатов, М.И. Монастырский
Введение
Высокая актуальность задачи создания развитых научно-образовательных телекоммуникационных сетей (НОТС) определяется высокой важностью широчайшего внедрения в образовательный процесс и в научные исследования современных информационных технологий, существенная часть которых полностью или частично базируется на применении НОТС. Эта актуальность, в частности, нашла отражение в целях и задачах федеральных целевых программ «Развитие единой информационной образовательной среды на 2001-2005 годы» и «Электронная Россия».
При построении и развитии региональных НОТС крайне важно применять технические решения, позволяющие, с одной стороны, наиболее эффективно использовать ограниченные средства, выделяемые для развития НОТС и, с другой - обеспечить высокие эксплуатационные характеристики региональных НОТС. В работе [1], обобщающей результаты работ [2-4], полученные при создании и развитии НОТС Южного федерального округа (ЮФО) РФ, проведен сравнительный анализ телекоммуникационных технологий с точки зрения их применимости для создания НОТС территориального и регионального масштаба. В результате указанного анализа сделаны выводы о предпочтительности применения технологий семейства Ethernet (Fast Ethernet, Gigabit Ethernet) в качестве технологий построения магистральной части НОТС. В настоящей статье рассматриваются методические рекомендации по построению инфраструктуры региональных НОТС на базе преимущественного применения технологий семейства Ethernet и построение региональной НОТС ЮФО [5, 6] на базе указанных рекомендаций.
Методические рекомендации по построению НОТС на базе сочетания различных телекоммуникационных технологий
Рассмотрим способы построения инфраструктуры НОТС, обеспечивающие как эффективное (экономное) использование средств, выделяемых на создание, развитие и эксплуатацию НОТС, так и высокие эксплуатационные характеристики созданной сети.
В целях дальнейшего рассмотрения выделим следующие компоненты транспортной инфраструктуры НОТС: междугородная магистральная инфраструктура, территориальные магистральные сети; инфраструктура подключения абонентских сетей. Рассмотрение этих компонентов мы начнем с организации территориальных магистральных сетей, поскольку именно эти сети имеют наивысшую функциональную и техническую сложность.
Территориальная магистральная сеть (ТМС) -это сеть масштаба города, обеспечивающая магистральную инфраструктуру для подключения корпоративных сетей абонентов (научно-образовательных организаций) и осуществляющая связь с внешними телекоммуникационными сетями и подчиненными НОТС из других городов и регионов. В структуру ТМС входит множество коммуникационных узлов, соединенных сетью высокоскоростных каналов передачи данных. В множестве коммуникационных узлов можно выделить внешние коммуникационные узлы (ВКУ) и территориальные (ТКУ). ВКУ (их может быть несколько) обеспечивают соединение ТМС с внешними сетями (их тоже может быть несколько) и подключение к ТМС междугородными каналами иерархически подчиненных региональных сегментов НОТС и, дополнительно, могут предоставлять функции, свойственные ТКУ. ТКУ обеспечивают инфраструктуру, необходимую для подключения к ТМС корпоративных сетей абонентов. При этом в качестве такой инфраструктуры могут предоставляться не только точки подключения каналов «последней мили», но и виртуальные сети, способные обеспечить подключение и соединение нескольких территориально удаленных ЛВС корпоративного абонента. Следует также отметить, что для обеспечения приемлемого уровня надежности работы ТМС сеть каналов, соединяющих коммуникационные узлы, должна включать резервные каналы, обеспечивающие бесперебойную работу сети в случае выхода из строя тех или иных основных каналов.
Междугородная магистральная инфраструктура (ММИ) НОТС представляет собой совокупность междугородных магистральных узлов (ММУ), в роли которых могут выступать ВКУ территориальных сетей.
Указанные ММУ соединяются каналами передачи данных, арендуемыми у сторонних операторов связи. Топология сети каналов связи обычно имеет древовидную структуру, определяемую, в основном, в соответствии с иерархией НОТС. Резервирование каналов на уровне ММИ одной и той же НОТС, как правило, не осуществляется. Тем не менее, региональные НОТС могут подключаться более чем к одной внешней НОТС и тем самым обеспечивать необходимое резервирование выхода во внешние сети.
Инфраструктура подключения абонентских сетей должна обеспечивать не только точки подключения каналов «последней мили», но и предоставлять возможности объединения нескольких территориально удаленных ЛВС абонента в единую корпоративную сеть, подключаемую к ТМС как единое целое. Кроме того, при необходимости, при этом должно обеспечиваться требуемое QoS.
В настоящей работе предлагается строить ТМС на базе технологий Fast Ethernet и Gigabit Ethernet. В каждом из коммуникационных узлов (ТКУ и ВКУ) должны устанавливаться коммутаторы Ethernet (Cisco Catalyst), соответствующих моделей (определяются на основе требуемого количества и быстродействия портов). В состав оборудования ВКУ, естественно, включаются маршрутизаторы. Кроме того, в состав оборудования коммуникационных узлов включается оконечное оборудование оптоволоконных каналов и оборудование для подключения абонентских сетей. Быстродействие каналов, соединяющих коммуникационные узлы, определяется таким образом, чтобы предполагаемый уровень загрузки этих каналов не превосходил 10-15 %, и чтобы гарантировать достаточный для НОТС уровень QoS. При необходимости организации каналов производительностью более 1 Гбит/с рекомендуется воспользоваться предоставляемой коммутаторами Cisco Catalyst возможностью агрегации нескольких физических каналов в один логический. Другие возможности управления QoS рассматриваются ниже в настоящем разделе.
Важно отметить, что предлагаемые технологии предусматривают средства работы с избыточными резервными каналами. В качестве такого средства используется протокол STP (Spanning Tree Protocol -протокол построения остового дерева, см. напр., [7]), который искусственно помечает как неиспользуемые избыточные каналы и автоматически переводит требуемые резервные каналы в активное состояние при выходе из строя тех или иных основных каналов. Следует, однако, отметить, что протокол STP имеет некоторые ограничения: алгоритм построения остового дерева перестает сходиться в требуемое время, если в графе связи коммуникационных узлов имеются контуры, содержащие больше 9 узлов. Нами предложены методы преодоления этого ограничения [8], основанные на сегментации сети каналов и соединении сегментов через маршрутизаторы.
На базе физически единой структуры ТМС могут быть построены несколько наложенных сетей средствами построения виртуальных сетей VLAN, предос-
тавляемыми коммутаторами Ethernet. VLAN, построенные при помощи этих средств, полностью изолируются друг от друга на физическом уровне и могут взаимодействовать друг с другом только через маршрутизаторы. Это предоставляет такие функциональные возможности, как изоляция сегментов магистральной сети друг от друга и организация на базе отдельных VLAN виртуальных магистральных сетей корпоративных абонентов, соединяющих в единую сеть ЛВС этих абонентов, расположенные в территориально распределенных зданиях.
Выше отмечалось, что требуемое QoS может быть обеспечено наличием большого резерва пропускной способности каналов передачи данных. Однако если в результате преднамеренных или непреднамеренных действий тех или иных пользователей сети текущий уровень загрузки каналов сети окажется существенно выше спрогнозированного при создании сети, требуемое QoS может быть не обеспечено. Для обеспечения гарантированного QoS (CIR) рекомендуется на требуемых сегментах сети дополнительно к Ethernet использовать технологию MPLS. Более подробно это обсуждается ниже при рассмотрении способов соединения ВКУ ТМС и способов подключения к ТМС абонентских сетей. Отметим также, что авторами разработаны специальные методы динамического резервирования емкости каналов для активных сетевых соединений с вычислительными ресурсами регионального центра высокопроизводительных вычислений [9].
Перейдем к вопросам построения междугородной магистральной инфраструктуры (ММИ) региональной НОТС и к вопросам организации взаимодействия ВКУ ТМС НОТС. ММИ региональной НОТС имеет иерархическую структуру, соответствующую административной иерархии регионов. В каждом из узлов иерархии располагается либо главный коммуникационный узел (ГКУ) соответствующего региона, либо территориальная магистральная сеть (ТМС) центра региона, включающая несколько ВКУ, в совокупности обеспечивающих функции распределенного ГКУ региона. Топология каналов связи между ГКУ обычно строится на базе дерева иерархического подчинения регионов. При этом, однако, возможна оптимизация, при которой регионы дополнительно группируются в кластеры и с охватывающим регион каналом соединяется центр кластера; прочие регионы кластера подключаются к центру кластера. При этом оптимизируемым параметром является суммарная стоимость аренды каналов и технического обслуживания коммуникационных узлов. Практика, однако, показывает, что возможности такой оптимизации крайне ограничены.
При выборе технологии, используемой при соединении ГКУ регионов, рекомендуется исходить из скорости требуемого канала и необходимости разделения емкости этого канала на несколько независимых потоков. При емкости канала не более 8 Мбит/с рекомендуется использовать прямые соединения через последовательные порты, минимизирующие наклад-
ные расходы на передачу служебной информации. При большей емкости каналов рекомендуется использовать технологию Fast Ethernet. При необходимости разделения емкости канала на несколько потоков (канал может использоваться, например, для связи с двумя внешними федеральными НОТС - RUNNet и RBNet, а также - с коммерческими операторами доступа к Интернет) рекомендуется применять для выделения потоков с требуемыми значениями CIR технологию MPLS. Для сегментации последовательных потоков можно также воспользоваться гибкими мультиплексорами или модулями Chanalyzed маршрутизаторов Cisco.
В случае распределенной организации ГКУ региона в виде совокупности ВКУ ТМС центра этого региона важной задачей является организация соединений каждого из ВКУ с другими ВКУ одним или несколькими цифровыми потоками. Как отмечалось выше, каждый из ГКУ региона и входящих в его распределенную структуру может быть связан с внешними сетями несколькими цифровыми потоками. При этом в случае распределенной реализации ГКУ в виде совокупности нескольких ВКУ ТМС центра региона абоненты потока, приходящего к одному из ВКУ, могут быть физически подключены к другому ВКУ. В этом случае указанные ВКУ должны быть соединены потоком требуемой пропускной способности. Для организации требуемых потоков с заданными значениями CIR между ВКУ рекомендуется использовать технологию MPLS. Описание детальной методики расчета количества и емкостей потоков, соединяющих различные ВКУ, выходит за рамки настоящей работы.
Последняя группа вопросов настоящего раздела касается организации подключения компьютерных абонентов НОТС к ТМС. Способы подключения сетей абонентов определяются как требованиями к скорости подключения к ТМС и к конкретным внешним каналам этой сети, так и возможными требованиями к объединению ЛВС распределенных зданий абонента (здания крупных вузов часто рассредоточены по территории города). Кроме того, эти способы определяются имеющейся инфраструктурой решения задач «последней мили» коммуникационного узла, к которому выполняется подключение.
Высокие требования к скорости подключения к ТМС (свыше 10 Мбит/с) предъявляются, как правило, компьютерными сетями крупных вузов и научно-исследовательских учреждений. Для реализации такого подключения необходимо создание оптоволоконного канала от коммуникационного узла подключаемой сети к одному из ТКУ или ВКУ ТМС. Естественно, что в качестве технологии, применяемой на этом канале, рекомендуется использовать Ethernet. При необходимости обеспечить требуемые параметры CIR потока к определенному внешнему каналу вполне применима технология MPLS.
Подключение к ТМС оптоволоконным каналом является достаточно дорогим решением. В случае применения для этого телефонного кабеля подключение может быть удешевлено благодаря использова-
нию уже существующей линии, поэтому размещение ТКУ на площадках городских АТС является крайне важным для удешевления подключения. В случае наличия выделенной телефонной пары между сетью абонента и ТКУ рекомендуется применять в качестве оконечного оборудования этой пары мосты-модемы Ethernet. Если же выделенные телефонные пары отсутствуют, можно брать невыделенную (задействованную для подключения телефонного аппарата) телефонную линию, применяя технологию ADSL с установкой в ТКУ концентратора ADSL с портом Ethernet, используемым для подключения к коммутатору ТКУ.
Если подключаемая сеть абонента является совокупностью ЛВС рассредоточенных зданий, порты коммутаторов различных ТКУ, используемых для подключения отдельных ЛВС, рекомендуется выделить в отдельные VLAN. Для того чтобы обеспечить соединение отдельных ЛВС потоками с определенными параметрами CIR для организации таких потоков, применяют технологию MPLS.
Построение НОТС Ростова-на-Дону и Южного
федерального округа на базе разработанных методов
Рассмотренная методика была разработана и использована при создании НОТС Ростова-на-Дону и Южного федерального округа (ЮФО) РФ [1-4]. Данная НОТС базируется на высокоскоростной ТМС Ростова-на-Дону, построенной совместными усилиями Ростовского государственного университета (РГУ) и ООО «Цифровые телефонные сети» (ЦТС). ТКУ указанной магистральной сети размещены в большинстве АТС г. Ростова-на-Дону. Кроме того, в состав указанной сети входят 4 ВКУ, расположенные на площадках 3 основных операторов связи, действующих на территории региона (в ТЦМС-9 «Ростелекома», PMTC «Ростовэлектросвязи» и помещении «Кав-казТрансТелекома») а также в помещении ЮГИНФО (ВЦ) РГУ, являющегося оператором НОТС Ростова-на-Дону и ЮФО.
Упрощенная схема центральной части ТМС Ростова-на-Дону изображена на рис. 1.
Все каналы, соединяющие коммуникационные узлы, работают по технологии Ethernet. На приведенном рисунке жирными стрелками изображены гигабитные каналы, а тонкими стрелками - 100 мегабитные. На рис. 1 также показаны 2 контура в графе коммуникационных каналов, обеспечивающие резервирование работы гигабитной магистрали. Для выполнения динамического резервирования и динамической реконфигурации резервных каналов используется протокол STP. Фактически указанные контуры исчерпывают множество контуров МТС Ростова-на-Дону, «замыкаемые» на оборудовании физического уровня. Более длинные контуры разбиты на независимые сегменты, взаимодействующие друг с другом через маршрутизаторы в соответствии с рекомендациями, разработанными в [8].
К городам региона
Л
на МОСКВУ ( RUNNet + RBNet )
Спутник, канал
на С-Петербург ft
АТС - 51 -
Ж
АТС - 64
К городам региона
Л
ТЦМС - 9
ЗНБ РГУ
Рис. 1. Упрощенная схема центральной части ТМС Ростова-на-Дону
Указанная сеть соединена с внешними научно -образовательными сетями Ethernet потоком Ростов -Москва емкостью 35 Мбит/с, приходящим в ВКУ, расположенный в «КавказТрансТелекоме». Внутрь этого общего потока инкапсулированы 2 MPLS потока, ведущих к российским научно-образовательным сетям RUNNet и RBNet. Кроме того, сеть соединена резервным спутниковым каналом Ростов - Санкт-Петербург с сетью RUNNet.
Абонентские сети научно-образовательных организаций Южного федерального округа (11 крупных научно-образовательных организаций из 6 субъектов федерации ЮФО) подключаются через 4 ВКУ МТС г. Ростова-на-Дону последовательными потоками скоростью до 2 Мбит/с. Способы подключения этих сетей к научно-образовательным сетям российского масштаба различны. Часть региональных сетей подключается только к сети RBNet, часть - только к сети RUNNet, корпоративные сети РГУ, Волгоградского государственного университета и Таганрогского радиотехнического института подключены одновременно к каждой из указанных внешних сетей. Для того чтобы обеспечить подключение каждой из абонентских сетей к необходимой внешней сети, организуется соответствующий MPLS-поток требуемой емкости между коммуникационным узлом, расположенным в «Кавказ-ТрансТелекоме» и коммуникационным узлом, к которому подключена соответствующая абонентская сеть.
Отметим, что магистральная инфраструктура корпоративной сети РГУ построена как логическая надстройка над структурой ТМС г. Ростова-на-Дону.
Магистральная сеть РГУ формируется на базе соответствующей VLAN TMC и нескольких MPLS потоков, наложенных на структуру указанной VLAN. В перспективе предполагается построить аналогичным образом магистральную инфраструктуру распределенных корпоративных сетей нескольких вузов Ростова-на-Дону.
Рассмотрим способы подключения научно -образовательных и иных бюджетных организаций Ростова-на-Дону к рассмотренной территориальной сети. Несколько крупных вузов города и Администрация Ростовской области подключены к сети 100 мегабитными оптоволоконными каналами (по технологии Fast Ethernet). Для подключения ряда организаций используются выделенные телефонные линии, в качестве оконечного оборудования которых применяются мосты-модемы Ethernet. Для подключения большинства небольших организаций используется технология ADSL. К настоящему моменту на базе этой технологии подключено более 60 школ города. Следует отметить интересный технический прием, используемый при таком подключении. Как правило, школы подключаются к концентраторам ADSL, включенных в VLAN ЦТС, являющегося владельцем этих концентраторов. Тем не менее весь трафик подключенных таким образом школ и других научно-образовательных учреждений направляется через каналы НОТС г. Ростова-на-Дону, а не через каналы ЦТС. Для обеспечения именно такого режима работы используются средства маршрутизации «от источника» (source routing) технологии IP-маршру-тизации.
Заключение
Настоящая статья обобщает более чем черырех-летний опыт работ по эффективному построению научно-образовательных телекоммуникационных сетей территориального и регионального масштаба. В статье на основе проведенного анализа основных телекоммуникационных технологий мотивируется выбор технологий семейства Ethernet, традиционно использовавшихся главным образом для построения локальных сетей в качестве базовых технологий для эффективного построения (в смысле объема затрат на создание и высоких эксплуатационных характеристик) магистральной инфраструктуры распределенных телекоммуникационных сетей масштаба города и региона.
Несмотря на обилие публикаций, посвященных как общему, так и детальному рассмотрению различных телекоммуникационных технологий, авторам неизвестно как попыток систематического сравнения рассмотренных в настоящей статье технологий с точки зрения оценки эффективности построения на базе этих технологий магистральной инфраструктуры распределенных сетей, так и выработки обоснованных рекомендаций по построению магистральных территориальных телекоммуникационных сетей на базе технологий семейства Ethernet (в комбинации с другими технологиями). Тем не менее следует отметить, что ориентировочно с 2002 г. в печати стали появляться публикации об опыте построении сетей операторов связи на базе технологий семейства Ethernet и технологии MPLS (см., напр., [10]). Однако и эти публикации не содержат конкретных рекомендаций по способам построения магистральной инфраструктуры сети и инфраструктуры обеспечения решений «последней мили». В связи с этим авторы надеются, что материал настоящей статьи окажется полезным не только операторам НОТС, но и любым другим организациям, занимающимся созданием и эксплуатацией распределенных телекоммуникационных сетей.
Ростовский государственный университет
Литература
1. Букатов А.А., Букатов С.А., Монастырский М.И., Шаройко О.В. Анализ эффективных методов построения транспортной инфраструктуры региональных научно-образовательных телекоммуникационных сетей // Изв. вузов. Сев.-Кавк. регион. Техн. науки. 2004. № 3. С. 12-17.
2. Букатов А.А. Опыт и технологии создания научно-
образовательных сетей городского и регионального масштаба // Тр. Всерос. науч. конф. «Научный сервис в сети Интернет». М., 2001. С. 168-169.
3. Букатов А.А., Шаройко О.В. Методы построения и основные службы научно-образовательных сетей Ростовской области и Южного федерального округа // Тр. Всерос. конф. «Научный сервис в сети Интернет». Новороссийск, 2002. С. 207-210.
4. Монастырский М.И. Методы построения транспортной
инфраструктуры магистральных территориальных и региональных сетей // Тез. докл. науч.-метод. конф. «Современные информационные технологии в образовании: Южный федеральный округ». Ростов н/Д., 2003. С. 123-126.
5. Белоконь А.В., Букатов А.А., Крукиер Л.А. Создание научно-образовательной сети Ростова-на-Дону, Ростовской области и Южного федерального округа на базе телекоммуникационной сети РГУ // Тр. Междунар. науч.-метод. конф. «Телематика'2001». СПб., 2001. С. 37-38.
6. Белоконь А.В., Букатов А.А., Крукиер Л.А. Развитие научно-образовательной сети Ростова-на-Дону, Ростовской области и Южного федерального округа на базе телекоммуникационной сети РГУ // Тр. Всерос. науч.-метод. конф. «Телематика'2002». СПб., 2002. С. 155-166.
7. Кульгин М.В. Коммутация и маршрутизация IP/IPX тра-
фика. М., 1998.
8. Букатов А.А., Букатов С.А., Шестаков С.А. Методы
оптимизации физической структуры территориальных Ethernet сетей с множественными резервными каналами // Тез. докл. Междунар. конф. ИМС-2003. Таганрог, 2003. Т. 1. С. 229-231.
9. Букатов А.А., Шаройко О.В. Методы и средства резервиро-
вания каналов удаленного доступа к вычислительным ресурсам регионального центра высокопроизводительных вычислений // Искусственный интеллект: Науч.-техн. журн. Академии наук Украины. Киев, 2003. № 3. С. 32-38.
10. Вудс Д. Ethernet-новаторы и операторы старожилы // Сети и системы связи. 2002. № 10.
23 декабря 2003 г.
УДК 65.012.12: 65.012.122
АЛГОРИТМ ОПТИМИЗАЦИИ СЛОЖНЫХ ТРАНСПОРТНЫХ ПРОЦЕССОВ ПО СТЕПЕНИ ОСУЩЕСТВИМОСТИ С ПРИМЕНЕНИЕМ ВЫЧИСЛИТЕЛЬНОЙ
СХЕМЫ МЕТОДА ВЕТВЕЙ И ГРАНИЦ
© 2004 г. А.В. Лозовский, В. Ф. Золотухин, И.В. Клименко
Традиционно сложилось так, что большинство задач менеджмента качества (его оценивания, сохранения, улучшения) формулируется и решается при-
менительно к качеству продукции и технических систем различного назначения. В меньшей мере исследуется качество имеющих важное практическое
