Научная статья на тему 'Имитационное моделирование процессов передачи трафика в вычислительных сетях'

Имитационное моделирование процессов передачи трафика в вычислительных сетях Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
4549
505
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МОДЕЛИРОВАНИЕ ВЫЧИСЛИТЕЛЬНЫХ СЕТЕЙ / ТЕО­РИЯ МАССОВОГО ОБСЛУЖИВАНИЯ / ИМИТАЦИОННОЕ МОДЕЛИРО­ВА­НИЕ / СЕТИ ПЕТРИ / COMPUTING NETWORKS MODELING / QUEUING THEORY / SIMULATION MODELING / PETRI NETWORK

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Гудов Александр Михайлович, Семехина Марина Вячеславовна

Рассматривается подход к имитационному моделированию локальных вычислительных сетей (ВС) на основе раскрашенных временных сетей Петри (СП) с очередями. Вводится понятие ролевых функционалов и операций над ними. Приводится пример построения СП для фрагмента локальной сети, предложен общий алгоритм работы имитационной модели.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Гудов Александр Михайлович, Семехина Марина Вячеславовна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

We consider an approach to simulation of local area computing networks. The approach uses colored Petri networks with time mechanism and queues. We offer the notion of role functionals and define operations on them. We also provide an example of Petri net design for the fragment of a local area network and suggest the general algorithm of simulation run.

Текст научной работы на тему «Имитационное моделирование процессов передачи трафика в вычислительных сетях»

УДК 021.8 + 025.1 ББК 78.34

ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ ПРОЦЕССОВ ПЕРЕДАЧИ ТРАФИКА В ВЫЧИСЛИТЕЛЬНЫХ СЕТЯХ

Гудов А. М.1, Семехина М. В.2

(Кемеровский государственный университет, Кемерово)

Рассматривается подход к имитационному моделированию локальных вычислительных сетей (ВС) на основе раскрашенных временных сетей Петри (СП) с очередями. Вводится понятие ролевых функционалов и операций над ними. Приводится пример построения СП для фрагмента локальной сети, предложен общий алгоритм работы имитационной модели.

Ключевые слова: моделирование вычислительных сетей, теория массового обслуживания, имитационное моделирование, сети Петри.

1. Введение

Сегодня к компьютерным сетям как к вычислительной платформе предприятия предъявляются все более жесткие требования надежности, скорости и эффективности. Сеть рассматривается как важный, иногда даже критически важный ресурс, который должен быть использован максимально эффективно при минимальных затратах. Чаще всего к основным параметрам работы сети относят [9]:

- пропускную способность (емкость);

1 Гудов Александр Михайлович, кандидат физико-математических наук, доцент кафедры ЮНЕСКО по НИТ (good@kemsu.ru).

2 Семехина Марина Вячеславовна, аспирант (semehina@kru.ru).

- скорость;

- надежность.

Высокие требования к качеству работы сети обеспечивают интерес к мониторингу и моделированию вычислительных сетей. Средства мониторинга доступны сегодня в широком ассортименте, начиная от системных консольных утилит и заканчивая программными комплексами с возможностью управления и с применением экспертных систем (HP OpenView NNM [11], NetView (Tivoli) от IBM, Spectrum от Cabletron). В области моделирования ВС дело обстоит иначе, поскольку здесь необходимы не только технические знания, но и понимание теоретических основ процессов передачи и обработки данных, происходящих в вычислительных сетях.

К группе средств, моделирующих работу сетей, можно отнести ComNet от CACI Products Company, OPNET от OPNET Technologies (ранее - MIL3), NetCracker, OMNeT++, NS-2, NS-3 и другие (таблица 1).

Каждая из этих систем предназначена для решения конкретных задач разной степени абстракции. Проект COMNET позиционировался как система моделирования ВС с развитыми средствами визуализации и модульной структурой, позволяющей облегчить труд системных администраторов. Среди основных подсистем COMNET можно выделить блок стохастического моделирования, подсистему быстрого временного анализа Predictor, подсистему мониторинга Enterprise Profiler, пакет анализа производительности сети NETWORK. В настоящее время пакет COMNET не поддерживается, компания развивает симуляционный пакет SIMPROCESS.

Система Opnet Modeler оперирует узлами трех типов -процессорными узлами, узлами-маршрутизаторами и коммутаторами. Узлы могут присоединяться с помощью портов к коммуникационным каналам любого типа, от каналов локальных сетей до спутниковых линий связи. Узлы и каналы могут характеризоваться средним временем наработки на отказ и средним временем восстановления для моделирования надежности сети.

Моделируется не только взаимодействие компьютеров в сети, но и процесс разделения процессора каждого компьютера

между его приложениями. Каналы связи моделируются путем задания их типа, а также двух параметров - пропускной способности и вносимой задержки распространения. Единицей передаваемых по каналу данных является кадр. Пакеты при передаче по каналам сегментируются на кадры. Каждый канал характеризуется минимальным и максимальным размером кадра, накладными расходами на кадр и интенсивностью ошибок в кадрах.

Рабочая нагрузка создается источниками трафика. Каждый узел может быть соединен с несколькими источниками трафика разного типа.

Источники планируемой нагрузки генерируют данные, используя зависящее от времени расписание. При этом источник генерирует данные периодически, используя определенный закон распределения интервала времени между порциями данных. Источники «клиент-сервер» позволяют задавать не трафик между клиентами и сервером, а приложения, которые порождают этот трафик.

К сильным сторонам OPNET Modeler можно отнести графические средства построения модели ВС. Система позволяет решать следующие задачи: планирование и оптимизация сети; создание и проверка аналитических моделей сети; создание и проверка протокола связи. К недостаткам относятся отсутствие трассировки моделей и недостаточная гибкость: используется собственная, нерасширяемая библиотека устройств и ограниченный набор отчетов.

Из бесплатных пакетов для задач имитационного моделирования можно отметить такие средства зарубежных разработчиков, как jist/swans, NS-2, NS-3, GloMoSim, Parsec.

NS-2 (Network Simulator 2) - бесплатный пакет, ядро которого реализовано на языке C++. Характерным свойством программного обеспечения OSS является возможность модификации ядра программы и гибкая настройка в соответствии с требованиями конкретного пользователя, а также мультиплат-форменность - работоспособность существующих версий для SunOS, Solaris, Linux, FreeBSD, Windows 5/98/ME/NT/2000.

Таблица 1. Сравнительный анализ программных средств моделирования ВС

Продукт COMNET NetMaker ОРХеЛ ОМХеТ++ SES/ Strategizer Ш-2 Net Cracker

Производи- тель CACI Products Make Systems OPNET Scientific and Engineering Software NetCracker technology

Наличие библиотеки устройств + + + + + + +

Настройка библиотеки устройств + + + + +

Пошаговая трассировка + - - + + + +

Генерация отчетов + + - + + - +

Прочие особенности Возможность ввода данных о трафике в режиме реального времени, простота ввода гипотез о трафике. Высокая производительность; Наличие библиотек устройств разных производителей; Удобство проектирования объектов сети, гибкость полученных моделей. Симулятор дискретных событий, обладает высоким уровнем абстракции. Для моделирования используется Простота применения Ясность схем сети Использование двухуровневого программирования (язык С++ и OTcl) и объектно-ориентиро- Простота построения схем сети и настройка параметров сетевых компонент и потоков трафика;

Продукт COMNET Хе1Макег ОРХеЛ OMNeT++ SES/ Strategizer т-2 Net Cracker

Возможность тонкой подстройки параметров сети. Наличие до-полнитель-ных модулей для различных задач язык описания структуры модели NED и C++. ванного подхода обеспечивает гибкую настройку моделей и сценариев их работы. анимация

Стоимость, долл от 20 000 за базовую конфигурацию от 40 000 от 17 000 бесплатно от 10 000 бесплатно бесплатно

Недостатки Сложность внедрения. Трудность восприятия схем сети. Неясность некоторых отчетов, высокая стоимость Высокая стоимость, Потребность в дополнительном ПО. Требуется дополнительное обучение Высокая стоимость, недостаточные возможности импорта и настройки существующих компонент продукта Проблемы с внедрением, сложность обучения пользователей Потребность в дополнительном ПО. Слабая визуализация. Слабая визуализация; ограниченность библиотеки компонент; Сложность моделей и анализа результатов Слабые возможности анализа информации; невозможность импорта данных из реальной сети

Также требует от пользователя навыков программирования на C++ и OTcl (Object oriented Tool Command Language), который используется в качестве интерпретатора. За счет использования двухуровневого программирования обеспечивается высокая степень настройки модели. Среди слабых мест пакета отмечают также сложность использования OTcl, проблемы переносимости кода, ограниченные возможности эффективного использования памяти при моделировании, недостаточная развитость режима трассировки и средств сбора статистики при работе модели, а также слабую визуализацию.

Высокая стоимость, сложность внедрения и интеграции, ограниченные возможности некоторых существующих программных продуктов, в совокупности с существующим спросом, заставляет исследователей искать новые решения для анализа и моделирования ВС [2, 3, 5, 8, 10, 12]. Фрактальные свойства сетевого трафика исследуются в работах Ильницко-го С.В. [3] и коллектива американских исследователей

(Taqqu M.S., Wilson D. V., Leland W.E.) [12]. В Пермском государственном университете разрабатывается распределенная имитационная система Triad.Net [5], которая использует трехуровневое описание имитационной модели в формате M = {STR, ROUT, MES}, где STR - слой структур; ROUT - слой процедур (рутин), описывающих алгоритм взаимодействия структур, и MES - слой сообщений, которыми обмениваются структуры.

Исследователи из Пензенского государственного университета (Вашкевич Н.П. Дубинин В.Н., Зинкин С.А.) [2] формализуют ВС с помощью языка описания сетевых моделей (ЯОСМ) и далее используют статистические методы обработки полученной модели. В ряде прочих работ используется анализ временных рядов, полученных из статистических данных о сетевом трафике, а также аппарат нейронных сетей, например, для решения задачи оптимального распределения источников трафика в корпоративной ВС. Методология гибридного моделирования ВС на основе аналитических методов и дискретных систем подробно рассматривается в работе Ярославцева А.Ф. [10]

Интерес к данной теме со стороны ведущих /Г-компаний и независимых ученых определяет актуальность исследований в этой области.

В настоящей статье представлен имитационный подход к моделированию ВС на базе сетей Петри, который используется авторами в комплексе с аналитическими методами, что позволяет оптимальным образом решать широкий спектр задач моделирования.

На основе описанного подхода и комплексного использования методов аналитического и имитационного моделирования ВС, дополняющих друг друга, создан прототип информационной системы, основными задачами которой являются:

Создание адекватных моделей ВС на основе данных трех типов:

данные о топологии сети;

данные о маршрутах и характеристиках потоков трафика;

данные о вычислительных мощностях сетевых устройств.

Аналитический расчет сетевых параметров для представленных моделей.

Проведение имитационного эксперимента по передаче трафика в рамках построенной модели сети.

Анализ полученных результатов с целью выявления «критичных» участков сети с низкой или нестабильной скоростью обработки/передачи сообщений.

Система позволит оценить ВС на этапе ее проектирования или модернизации, а также будет полезна для оценки эффективности уже функционирующих сетей и выработки рекомендаций для их оптимизации.

2. Информационная модель вычислительной сети

Будем рассматривать вычислительную сеть, состоящую из устройств различных типов, в которой циркулируют пакеты данных. Модель вычислительной сети, в общем виде, можно представить в нотации RDF [7] (рис. 1).

£_

-содержит-

Сетевое УСТРОЙСТВО

Сеть

содержит

Блок обработки

Передает сообщения Передает сообщения Источник трасЬика

содержит

Блок приема/передачи

генерирует

поступают

Ґ Тип тоасЬика \

ч у

характеризуется

ґ Пакет ч -^содержит— Поток тоасЬика ч

ч У

Рис. 1. Информационная модель сети

Здесь представлены основные информационные объекты и связи между ними.

Объект «Сеть» описывает реальную ВС и может включать в себя в качестве подсетей другие объекты этого типа.

Объект «Сетевое устройство» моделирует устройства, входящие в состав сети. Это абстрактный объект, функцией которого является обработка пакетов, т.е. задержка их в устройстве на некоторое время и возможная модификация пакета (например, изменение его типа). Каждый экземпляр объекта характеризуется в первую очередь значением своего параметра «тип». Типами сетевого устройства могут являться: рабочие станции, коммуникационное, периферийное оборудование, каналы передачи данных. Тип определяет конкретную структуру «Сетевого устройства».

Объект «Блок обработки пакетов» характеризует основной элемент сетевого устройства, ответственный за скорость и дисциплину обработки сетевых пакетов. Для однопроцессорных сетевых устройств «Блок обработки» моделирует работу центрального процессора и содержит данные о его мощности (в операциях в секунду). Для многопроцессорных устройств каж-

дый «Блок обработки» характеризует один процессор. Для сетевых каналов передачи данных «Блок обработки» является виртуальным объектом и характеризует скорость передачи данных (байт(бит)/секунда).

Объект «Блок приема-передачи» входят в состав «Сетевого устройства» и служит для описания входа и выхода потока сетевого трафика. Блок приема-передачи для сетевых узлов связан с их сетевыми интерфейсами.

Собственно исследуемый сетевой трафик описывается объектами «Тип трафика», «Источник трафика», «Поток» и «Пакет».

Объект «Тип трафика» содержит информацию о группе потоков сообщений в сети, обладающих общими параметрами. К этим параметрам относятся:

- используемые протоколы;

- службы или приложения, создающие этот трафик (например, служебный, передача видео, /р-трафик);

- приоритет данного типа трафика;

- коэффициент задержки, связанный с обслуживанием данного типа трафика (например, од1-запросы могут обслуживаться дольше, чем служебный трафик даже при одинаковом размере пакетов);

- закон распределения, характеризующий количество пакетов, сгенерированных в единицу времени;

- закон распределения, характеризующий размер пакетов, сгенерированных в единицу времени;

Объект «Источник трафика» является отправной точкой нескольких потоков однотипного трафика из одного устройства к нескольким. Источник трафика характеризуется «Блоком приема-передачи» устройства, с которым он связан, «Типом трафика» а также моментом начала генерации сообщений, который может задаваться статически или определяться в момент работы устройства. Все сообщения, сгенерированные «Источником трафика», в общем случае с различной вероятностью поступают к нескольким адресатам (если адресат один, то

и вероятность поступления каждого сообщения к нему соответственно равна 1).

Объект «Поток» служит для общего описания всех сообщений, сгенерированных одним «Источником трафика» и направленных к одному «Блоку приема-передачи» узла по одному маршруту, т.е. через некоторую однозначно определенную в некоторый момент времени последовательность «Сетевых устройств».

Объект «Пакет» описывает один сетевой пакет потока. Детализация до этого уровня необходима только при имитационном моделировании, поскольку ее запуск связан с отслеживанием пути каждого пакета. В результате формируется статистика по трафику в целом.

3. Математическая модель ВС на основе СП

Для моделирования используются иерархические раскрашенные СП с временным механизмом [4, 6], где цвет (тип меток) соответствует типу трафика. Метки могут быть двух типов

- «сообщения» и «служебные маркеры», означающие факт занятости ресурса обработкой меток-«сообщений». Количество меток в позициях соответствует состоянию сети, переходы изменяют это состояние, перемещая метки в другие позиции. Время в модели принимается дискретным и измеряется тактами. В течение одного такта метка может совершить не более одного перемещения через разрешенный переход. В классических СП без временных задержек один такт соответствует срабатыванию одного (любого) разрешенного перехода. Но поскольку СП ценны именно для моделирования параллельных систем, в большинстве интерпретаций и расширений СП такт понимается шире - как промежуток, в течение которого срабатывают все разрешенные в начальном состоянии переходы. Каждый сетевой объект (рабочая станция, канал передачи, коммуникационное устройство) моделируется как подсеть Петри.

3.1. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ

1. Теоретико-множественное определение СП можно представить в следующем виде [4, 6]:

Ж = {Р, Т, I, О, М}, где Р = {рь ..., рп} - конечное множество позиций;

Т = {¿ь ..., ^т} - конечное множество переходов сети;

I-: Т — Р - входная функция инцидентности, сопоставляющая переходу множество его входных позиций (Г^, р) = 1, если р -входная позиция для ¿, Г^, р) = 0 в противном случае); Г: Т —— Р - выходная функция инцидентности, сопоставляющая переходу множество его выходных позиций (Т+(^, р) = 1, если р -выходная позиция для ¿, 1+(/, р) = 0 в противном случае); М = (М(р1), ..., М(рп)) - вектор распределения меток по позициям (маркировка).

Однако для целей моделирования ВС в нашем случае удобнее ввести следующее определение:

Ж = {Р, Т, В, ТЯ}, где Р - множество позиций; Т - множество переходов; В - множество дуг; ТЯ - множество типов трафика; ТЯ(р) -множество типов меток, которые могут находиться в позиции р; т(^г, р) - метка типа ¿г, находящаяся в позиции р.

Инцидентность в данном определении выражается с помощью дуг, наличие дуги от перехода к позиции равнозначно утверждению о том, что данные переход и позиция инцидентны друг другу следующим образом:

ё^, р) О I + (¿, р) = 1 О I - (р, ¿) = 1, й(р, ¿) О I + (р, ¿) = 1 О I - (¿, р) = 1.

2. "(¿, г), ^ е Т, г е ТЯ, Зд е Я - временная задержка на каждом переходе определяется для каждого типа трафика.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3. Введем понятие очереди для типов меток для описания ситуации, когда в момент обработки метки во входную позицию перехода могут поступать новые метки разных типов. Логически метки-«сообщения» должны обрабатываться в порядке прямой или обратной очереди (возможны и иные дисциплины обслуживания). В том случае, когда в данной позиции присутствует только один тип трафика, понятие очереди аннулируется, ибо с точки зрения сети Петри метки одного типа принципиаль-

но не отличаются друг от друга и, таким образом, при наличии нескольких меток во входной позиции и разрешенном переходе перемещается любая метка из них. Если же через позицию проходит смешанный трафик, выбор типа метки для перехода должен учитывать очередность их поступления:

"р е Р, "¿гъ ..., ¿гм е Тг : М(р) = {¿гь ...,^}

З {{к,; г}}, I = 1, ., N : к, е 2 = Г(т(Гг,р)).

То есть для любой позиции р и разрешенных для нее типов трафика определен набор пар {к; ¿г,}, где к - момент времени поступления метки типа ¿г,. Тип следующей метки для обработки выбирается выбором ¿г^ при минимальном к.

4. Переход является разрешенным, если во всех входных позициях находятся метки и переход не находится в состоянии «занят». Это можно выразить следующим образом:

Я(0 = 1 О (5(0 = 1) & (ПМ(р) > 0), где рь ...,рк е Р - входные позиции для перехода ¿; Я(0 - функция «разрешенности» перехода ¿, а Б{() - функция «незанятости» перехода ¿.

Переход находится в состоянии «занят» в течение времени обслуживания, после чего переходит в состояние «свободен». Предполагается, что в начальный момент времени работы имитационной модели переход находится в состоянии «свободен»

(5(0 = 1).

3.2. ПРЕДСТАВЛЕНИЕ ОСНОВНЫХ УСТРОЙСТВ СЕТИ

Функционально каждое сетевое устройство может выступать в нескольких «ролях»: передатчика, приемника или генератора трафика. Причем одно и то же устройство может сочетать в себе несколько ролей, при этом набор ролей носит статический характер, т.е. определяется в момент моделирования устройства и не меняется в течение работы модели. Сеть Петри, выполняющую одну из перечисленных функций, будем называть ролевым функционалом. Это понятие вводится для удобства моделирования сетевых устройств, каждое из которых может выступать в одной или нескольких из перечисленных ролей. При таком подходе модель любого сетевого устройства строит-

ся из таких ролевых функционалов с помощью операций, приведенных ниже.

Формально определение ролевого функционала для нерас-крашенной СП можно представить следующим образом:

Р: {т(рг\\ ..., т(ртп)} —

— {тХрП), т’(р'пп); т ’’(р^и\), т’’(рои,)},

т т г-’ ои ои

где р 1, ..., р п - входные позиции р; р ь ..., р х - выходные позиции Р; т(р) - количество меток, входящих в позицию р извне; т’(р) - количество меток, которые остаются в позициир после одного срабатывания всех разрешенных переходов в Р; т ’’(р) - количество меток, выходящих из позиции р за пределы Р после одного срабатывания всех разрешенных переходов в Р.

Определим основные ролевые функционалы и представим их в виде простых СП.

Функционал - приемник/передатчик трафика (рис. 2А): элементарная сеть Петри, на основе которой строятся все остальные функционалы. Состоит из двух позиций 1 и 2, перехода ^ и двух дуг (от позиции 1 к переходу ^ и от перехода ^ к позиции 2). Трафик будет поступать в позицию 1 и передаваться в позицию 2, т.е. при наличии метки в позиции 1 метка попадает через переход в позицию 2. С переходом связана задержка обслуживания.

Рис. 2. Ролевые функционалы: А) приемник/передатчик трафика; Б) независимый генератор трафика; В) зависимый генератор трафика

Р(п, 0) = (0, п), т.е. при входе в позицию 1 п меток и после срабатывания ^ во входной позиции останется 0 сообщений, а в выходной позиции 2 появится п меток.

Функционал - генератор трафика независимый вариант (рис. 2Б): момент поступления новых меток в позицию 2 зависит только от временной задержки перехода.

Р(п, 0) = (п, п); т.е. при входе в позицию р! п меток и после срабатывания ^ во входной позиции опять будет п сообщений, а в выходной позиции появятся п меток.

Функционал - генератор трафика зависимый вариант (рис. 2В): момент поступления новых меток в позицию 2 зависит от временной задержки перехода и от наличия в позиции 3 метки.

Р(п, 0, т) = (п, 0, т + п), однако если для позиций 3 и 2 является разрешенным трафик только типа А, для позиции 1, соответственно, - только трафик типа Б, то, с учетом этих наложенных ограничений, Р(п, 0, т) = (п, 0, т).

Операции с сетями Петри:

Для целей моделирования ВС определим (по аналогии с алгеброй сетей Петри, порождающей класс регулярных сетей [4, 6]) следующие операции над элементами сетей А{ - позициями р;, переходами ¿к, дугами ^ (/, ], к, I е 2).

1. Отождествление позиций «~» с параметрами (Аьрк е А\; А2,рп е А2) и аналогично - отождествление переходов «~» с параметрами (Аь е А!; А2, ¿2 е А2). Отождествление позиций из сетей А1 и А2 дает в результате одну общую сеть А с общей позицией ркп. Запись: (рк(А\) ~рп(А2))(ркп). При этом по умолчанию определим, что М(ркп) = М(рк) и М(рп). Если новое наименование позиции (ркп) пропущено, то считаем, что позиция сохраняет наименование из первой сети. Для одновременного отождествления нескольких позиций (переходы аналогично) запись будет выглядеть следующим образом:

((рк\(А\) ~рп\(А2)); ...; (рМАО ~рМА2)У)(рк\,п\), •••, (ртшМ). Инцидентные отождествляемым переходам и позициям дуги сливаются, если имеют одни и те же входы и выходы.

2. Добавление дуги «->» с параметрами (А!, ¿к е Аг;

А2,р^ е А2)). Запись: (¿к(Аа) ->рп(А2)) - для связывания перехода и позиции; запись: (рк -> А2^п) с параметрами

(Аьрк е А1; А2, е А2) - для связывания позиции и перехода.

Операция по умолчанию не затрагивает изменения множества типов меток, допустимых для переходов или позиций.

3. Исключение дуги «!->» с параметрами (А, ё е А), запись: (!-> ё(А)). Операция по умолчанию не затрагивает изменения множества типов меток, допустимых для переходов или позиций.

4. Переименование позиций «/» с параметрами (А, р1 = р\) и аналогично - переименование переходов «/» с параметрами (А, ¿1 = ¿’\). Запись - (рк/р’к)(А). Переименование может быть полезно для подготовки подсетей к отождествлению при позициях/переходах, имеющих аналогичные имена в объединяемых сетях. По умолчанию переименование никак не влияет на множество типов меток, допустимых для переименовываемых позиций и переходов. Для конструирования иерархических СП, которые моделируют ВС, будем использовать также операции объединения СП и их расщепления. Объединение является отождествлением позиций и переходов в объединяемых СП:

5. Объединение СП «&» с параметрами (Аь А2;

рь • ••,рк е Аь р’1, ...,р’к е А2; ¿1, ..., 4 е Аь Л, ..., е А2).

Объединение в общем случае является групповой операцией отождествления множеств позиций и переходов двух сетей.

А’ = ((р\(А\) ~р\(А2))(р\); .; (рк(А\) ~р’к(А2))(р’к);

(¿1(А1) ~ t’\(A2))(t’\); ...; (4(А\) ~ Г^))^)).

6. Расщепление СП «%» с параметрами (А\, А2; t е А\, ¿’ь ¿’2 е А2,), где t - переход из первой сети, который заменяется на вторую сеть в переходах ¿’\ и ¿’2. Записывается как А = А\(0 % А2(^ь ¿’2). Расщепление можно представить через операции «~» и «!->», обозначив за d_\(t), ..., ёк(0 дуги из А\, являющиеся входными для t (ё(р\0, ..., d(pkt)), и за ё+ДО, ., ё+г(0 - дуги из А2, являющиеся выходными для t (ё(р), ..., ё(р)).

А’ = ((¿(А\) ~ ¿’\(А2))(^\); (¿(А\) ~ ¿2(А2))(^2)),

А’’ = (!-> (ё-\(^2), ..., ё-к(Г2)(А’)),

А = А’’’ = (!-> (ёЖ), ..., г(Г\)(А’’)).

То есть СП А’ получается отождествлением перехода t исходной СП А и переходов ’ и ¿’2 сети А\. При таком отождеств-

лении вместо дуг ё-!(0, ё-к({) и () в новой сети

А’ появляются дуги <ЗТ^\), ..., ё-к^’{), ..., ё+г^\), а

также ё-^’2), ..., ёТк(^2), &’2), Д^).

Теперь любой объект в модели ВС может быть представлен с помощью вышеописанных функционалов К1, К2, К3 (рис. 3) и операций ->, !->, /. Приведем несколько примеров.

Пример 1. Построим СП для рабочей станции с одним сетевым интерфейсом. Пусть рассматриваемый сетевой узел принимает сообщения-запросы, обрабатывает их и отправляет в сеть сообщения-ответы. В этом случае узел является приемником трафика типа а и зависимым от меток типа а генератором трафика типа в (рис. За). Получим сеть В путем связывания позиции 1 сети В и позиции 3 сети С’ (добавлена дуга а).

В =р1(В) -> р3(С’), где М(В) = а, М(С’) = в. М(В) изменим следующим образом: М(р1) = М(р2) = М(р3) = а;

М(р4) = М(р5) = в.

б)

г)

о*§

ш©

—-о

Рис. 3. Модели сетевых устройств: а) рабочая станция; б) концентратор; в) коммутатор-мост; г) маршрутизатор

Пример 2. Узел-концентратор (hub) принимает сообщения с одного порта, передает на все. Каждый порт выполняет функцию разветвленного передатчика трафика (рис. 3б). Для каждо-

го i (счетчик портов концентратора) первоначально задается исходная сеть типа А - передатчик трафика (рис. 2а). На каждом шаге цикла по j (счетчик портов) новая сеть типа А объединяется с сетью, полученной на предыдущем шаге, путем отождествления входных позиций и переходов. В итоге для каждого i получается СП, соответствующая одному входному порту с выходными позициями для всех остальных портов. Далее эти сети объединяются путем отождествления соответствующих выходных позиций.

Алгоритм построения устройства типа hub:

Для (i = 1; i <= NumPorts; i++) Цикл Лг = Ai,1 = A(p1/p1,i, p/pu);

Для (j = 1; j < NumPorts; j++) Цикл

Aij+i = A(pi/pu, p2/p2j+i);

Ai = (Ai, pi,i ~ Atj+i, pi,i; Ai, t ~ Aij+i, t)(pi,i)(ty) КонецЦикла по j Если (i = 1) Тогда

A = Ai;

Иначе

A = (A, p2,1 ~ Ai, p2,1; A, p2,2 ~ Ai, p^;. • •

Л, p2JNumPorts ~ Ai p2,NumPorts);

КонецЕсли

КонецЦикла по i.

Пример 3. Узел-мост (switch) принимает сообщения, анализирует, передает на один/несколько/все порты (рис. 3в).

Пример 4. Узел-маршрутизатор (router) принимает сообщения, анализирует и, при передаче из одной среды передачи в другую, преобразует сообщение, передает его на один, несколько или все порты (рис. 3г).

Позиции 1-4 на рис. 3г вместе с переходами моделируют ситуацию перехода пакета в сеть с иной средой передачи (например, входящий в позицию 1 пакет является пакетом Ethernet, конечный адресат пакета находится в сети Token Ring), в этом случае механизм преобразования следующий:

- пакет из позиции 1 переходит в позицию 2 с задержкой обработки;

- позиция 2 является стоком для сообщений Ethernet, после того как для этого пакета сгенерирован новый пакет Token Ring;

- в позиции 3 находится метка - пакет Token Ring;

- мгновенный переход к позиции 4 становится разрешенным, и в выходной позиции 4 появляется пакет Token Ring, за счет того, что для позиции 4 запрещены пакеты типа Ethernet;

- если преобразования типов не требуется, пакет сразу переходит от входной позиции к выходной (например, из позиции 1 в 5).

Приведем алгоритм построения СП для маршрутизатора на основе аналогичного алгоритма для концентратора. Отметим, что в данном случае для моделирования связи между разными средами передачи используется сеть типа «приемник» вместо сети типа «передатчик», чтобы не оставлять открытую дугу из выходной позиции. В то же время за счет слияния подсети «приемник» и подсети «зависимый генератор» получаем сеть, передающую трафик.

Для (i = 1; i <= NumPorts; i++) Цикл

Если (выходной порт j подключен к иной среде передачи, чем входной порт i), Тогда A \ = B(p1/pu, p2/pu);

A’2 = C’(p1/p3,i, p2/p2,1, p3/pu);

Ai = Ai,1 = (A’b pi,3 ~ A’2, pu); M(p0) = M(pu);

M(p3,i) = M(p>2,1)

Иначе // среда передачи одинаковая Ai = Ai,1 = A(p1/pu, p^n);

Конец Если;

Для (j = 1; j < NumPorts; j++) Цикл

Если (выходной порт j подключен к иной среде передачи чем входной порт i), Тогда A \ = B(p1/pu, p2/pi,3);

A’2 = C’(p1/p3i, p2/p2j+1, p3/pi,3);

Aij+1 = (A’1, pi,3 ~ A’2, pi,3); Mp3) = M(p1,i);

М(р3,,) = Мр^+О Иначе // среда передачи одинаковая Лу+1 = Л(р1/ри, р2р2^+1);

Конец Если;

Лг = (Л„ ри ~ Лу+1, рм)

Конец Цикла по ]

Если (г = 1) Тогда Л = Лг;

Иначе

Л = (Л, р2,1 ~ Лг, р2,1; Л, р2,2 ~ Лг, р2,2; •••';

Л1 р2^итРо№ ~ Лг р2,ЫитРог1,^);

Конец Если Конец Цикла по г

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Пример 5. Полудуплексный канал с потерями (рис. 4А). Позиция 8 - содержит метку особого типа - признак занятости ресурса. Переходы ¿1°, ¿40 - мгновенные, ¿2, ¿3 - с задержками обслуживания. Позиция 7 - «сток» для недоставленных сообще-

ний.

Прямой алгоритм построения такой сети следующий:

1. V1 = £(ґ/ґі0);

2. У2 = Л(рі/р2, р2/рз, ґ/ґ2);

3. Кз = В(рі/р8, Г/Гі0);

4. ^4 = В(рі/р2, Р2/Р8, Г/Г2);

5. К5 = В(рі/р2, Р2/Р7, Г/Г2);

6. V’ = (р2(Кі) ~ р^));

7. V’’ = (гДИ ~ Гі0(Кз);

Р2(П ~ Р2^));

8. V’’’ = (Г^’’) ~ ^(^4);

P2(V ') ~Р2(К4); Р^К”) ~Р8(К4));

9. V = Р(Г”) ~P2(V5); г^’’’) ~ №);

10. ^і = В(рі/р4,Р2/Р5, Г/Г4

Г40);

іі.

і2.

13.

14.

15.

16.

і7.

і8

і9

^2 = А(рі/р5, Р2/Р6, Г/Г2);

^ = В(Рі/Р8, Г/Г40);

^4 = В(Рі/Р5, Р2/Р8, Г/Гз);

^5 = В(Рі/Р5, Р2/Р7, Г/Гз);

^’ = Р5(^і) ~Р5(^2);

Г” = (Г40(^’) ~ Г40(^з);

Р5(^’) ~ Р5(^з));

Г’’’ = (Гз(^”) ~ Гз(^4);

(Р5(^”) ~Р5(^4);

Р8(^’’) ~ Р8ТО);

^ = (Р5(^’’’) ~ Р5ТО;

Гз(^’’’) ~ Гз(^5));

^ = (Р,(Р) ~ Р8(^); Р7(^) ~ Р7(Ш)).

Рис. 4. Каналы связи: А) полудуплексный; Б) полнодуплексный

Можно построить более короткий алгоритм, используя операцию расщепления переходов на подсети, как это сделано в примере 7.

Пример 7. Дуплексный канал с потерями. Строится аналогично полудуплексному, но имеет более простую структуру (рис. 4Б), так как не содержит позиции для меток разделения ресурса и соответствующих связей (дуг и переходов).

Аналогичным образом можно показать конструирование и других типов сетевых устройств.

Приведенные алгоритмы наглядно демонстрируют простоту реализации и имеют линейную сложность для всех представленных типов устройств.

Можно обобщить запись операции отождествления, если опустить параметры отождествляемых позиций и устройств и определить в этом случае отождествление по всем позициям и переходам с идентичным наименованием. Тогда запись

«С = ((A, t1; B, t1); (A, p2; B, p2))» будет аналогична записи

«С = (А; В)» при условии, что все элементы (позиции и переходы) в обеих сетях имеют различное наименование, кроме t1 и p2.

Можно также определить операцию макетирования на основе операции переименования, например, для сети типа В -«приемник»: «C = ((B, 1/B, p1); (B, 2/B, p2))», будет аналогична записи «С = B(p1, p2, ¿)».

1. Fj = B(pj/p5, t/¿4, p2/pe);

2. F2 = В^/^, t/¿4, p2/pv);

3. F3 = B(pi/p8, t/t6, p2/pe);

4. F4 = B(pi/p8, t/t6, p2/pv);

5. F5 = B(pj/p6, t/t3, p2/p5);

6. F6 = B(pj/p6, t/t5, p2/ps);

7. Г = (p5(Fi) ~ p5(F2);

(t4(Fi) ~ t4(F2));

8. F” = (P5(F’) ~ p5(F5);

p6(F’) ~ p6(F5));

9. F* = (B, t1) % (F’’, t3, t4);

10. F’ = foF) ~ p8(F4);

t6(F3) ~ t6(F4));

11. K” = p(F’) ~p6(F6); pCf) ~ p8(F6));

12. F** = (B(pfp3, tft2, p2p), t4) %

% (F’’, t5, t6);

13. W = (p6((F*) ~ p6(F**);

p7(F*) ~ p7(F**)).

3.3.АЛГОРИТМ РАБОТЫ ПОСТРОЕННОЙ МОДЕЛИ

Ниже приводится обобщенный алгоритм для реализации процессов передачи сообщений в имитационной модели на основе сконструированной и размеченной СП. Под событием понимается перемещение метки из одной позиции в другую, т.е. множество вида S = <P1, P2, T, tr, t>, где P1, P2 - соответственно входная и выходная позиции; T - переход; tr - тип трафика; t - момент времени, в которое произойдет событие.

Общий алгоритм:

- Определение размера временного шага для модели.

- Определение кол-ва шагов N (времени моделирования).

- Установка признака модифицированности сети Петри (ПМСП) = 1;

- Для i = 1 по N Цикл (i - счетчик шагов)

Проверка модифицированности сети Петри, установка ПМСП = 0/1.

~ Если ПМСП = 1, Тогда

Цикл по всем источника трафика Цикл по всем потокам

Вычисление маршрутов Конец Цикла Конец Цикла;

~ Конец Если;

Получение списка событий для данного шага.

~ Если шаг нулевой, тогда

Формирование списка событий:

Цикл по всем источника трафика Цикл по всем потокам

Вычисление события S(Pj):

Выбор следующего перехода и следующей позиции (из маршрута), расчет момента t;

Добавление S в список

Конец Цикла;

Конец Цикла;

~ Иначе Если список пуст и шаг не нулевой

- переход на следующий шаг;

~ Иначе

- Цикл по событиям из списка

Проверка на разрешенность события (соответствующего перехода)

Если Событие разрешено -Выполнение:

Формирование следующего собы-

т1Ля $ПеХ£:

Выбор следующего перехода и следующей позиции (из маршрута), расчет момента 8„ехР

Добавление Б„ех1 в список Конец Если Конец Цикла;

~ Конец Если;

- Конец Цикла по /.

4. Общие принципы применения модели

Практическое применение предложенного имитационного моделирования ВС предполагает следующие этапы:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

I. Определение модельной платформы ВС.

II. Имитация процессов и событий, происходящих в ВС.

III. Анализ результатов и верификацию моделей.

I. Определение модельной платформы ВС опирается на общую Я^^-модель (рис. 1) и включает в себя следующие задачи:

1. Создание структурной модели ВС:

1.1. Определение топологии ВС, входящих в ее состав подсетей, устройств обработки трафика (рабочих станций, серверов,

периферийного и коммуникационного оборудования), каналов передачи трафика.

2. Создание структурно-функциональных моделей устройств ВС:

2.1. Описание входящих в состав ВС устройств с точки зрения его функций по обработке трафика;

2.2. Выделение в устройстве взаимосвязанных блоков различных типов: приема-передачи трафика, его обработки, генерации.

3. Создание моделей потоков сетевого трафика:

3.1. Описание типов, источников, потоков трафика и характеристик сетевых пакетов;

3.2. Описание маршрутов потоков трафика.

На текущем этапе реализации подсистема имитационного моделирования и анализа ВС СиМАКС позволяет определить таким образом модельную платформу исследуемой ВС.

II. Сетевой трафик, циркулирующий в ВС, смоделированной таким образом, может быть в общем случае, описан процессами и событиями, приведенными в таблице 2.

Эти события могут быть детализированы либо напротив, агрегированы и формализованы в зависимости от целей моделирования. Поскольку приоритетным направлением системы СиМАКС является расчет и анализ задержек на обработку и передачу трафика в сети, в ней моделируются следующие процессы и события (таблица 3).

Таким образом, процессы 1 и 2 объединяются, и исключается процесс моделирования разбиения сообщения на пакеты. Также на данном этапе реализации СиМАКС объединяются процессы обработки сообщения в сетевом интерфейсе и на уровне приложения в сетевом устройстве. Такой подход позволяет рассчитать задержки на передачу пакета и на обработку его в сетевом устройстве. Модель допускает в будущем более высокий уровень детализации процессов за счет усложнения структуры сетей Петри для устройств ВС.

III. Анализ результатов. Реализуемая система использует комплекс методов моделирования ВС. Помимо имитационного моделирования применяется аналитическое моделирование, а также вейвлет-анализ временных рядов, полученных путем замера показателей сетевого трафика.

Таблица 2. Общие процессы и события передачи и обработки сетевого трафика_________________________________________

Процессы События

1. Процесс генерации сетевого сообщения Определение источника сообщения

Определение момента генерации сообщения

Определение адресата сообщения

Определение характеристик сообщения: размер, приоритет и т.п.

2. Процесс формирования сетевых пакетов из сообщения Разбиение сообщения на пакеты

Добавление к каждому пакету заголовков в соответствии с используемыми в сети протоколами

3. Передача сетевого пакета в зависимости от используемой в сети технологии передачи данных (каналов связи, сетевых интерфейсов, коммуникационного оборудования) Выбор маршрута

Передача пакета до очередного узла

4. Обработка сетевого пакета Обработка на уровне сетевого интерфейса

Обработка на уровне приложения

Таблица 3. Процессы и события передачи и обработки сетевого трафика СиМАКС______________________________________________

Процессы События

Процесс генерации сетевых пакетов в соответствии с используемыми в сети протоколами Определение источника пакетов

Определение момента генерации пакетов

Определение адресата пакетов

Определение характеристик пакетов: размер, приоритет и т.п.

Передача сетевого пакета в зависимости от используемой в сети технологии передачи данных (каналов связи, сетевых интерфейсов, коммуникационного оборудования) Выбор маршрута

Передача пакета до очередного узла с задержкой передачи

Обработка сетевого пакета Обработка в сетевом устройстве с задержкой обработки

5. Апробация модели

Приведем результаты практического использования описанного в статье имитационного подхода, который реализуется в программном комплексе СиМАКС (Система моделирования и анализа компьютерных сетей) в Кемеровском государственном университете

Для расчетов использовалась сетевая статистика по протоколу иБР за 2,5 часа в учебной аудитории. На основе собранных данных аналитически (метод «анализа средних» [1]) рассчитывались средняя очередь сообщений в каждом узле и среднее время собственно обработки сообщений (без учета ожидания в очереди) Т(№). В примере оцениваются параметры

рабочих станций и коммуникационного устройства типа мост для однородного трафика.

Таблица 4. Исходные данные замеров

Сетевой узел Средняя длительность обслуживания с ожиданием

1 4,09812

2 1,31622

3 2,74547

4 7,75227

5 7,46318

6 0,93915

Маршрутная матрица Рц потоков задается следующим образом:

( 0 0 1 0 0 0 ^

0 0 1 0 0 0

0,02 0,32 0 0,03 0,49 0,14

0 0 1 0 0 0

0 0 1 0 0 0

0 0 1 0 0 0

ч

В таблице 5 приведены результаты аналитических расчетов. Таблица 5. Результаты расчетов

Р Р12 . 1Р 6

Р21 2 2 6 2 Р

Р31 2 3 . Р„ =

V Р61 Р 62 . р66 ^

Номер сетевого узла Средний размер очереди сообщений в узле Среднее время обработки сообщения в узле

1 0,01343 0,24728

2 1,8201 2,09358

3 7,26422 2,67383

4 0,01062 0,13036

5 0,2167 0,162

6 0,67484 1,77427

Результаты имитационного расчета:

Модель ВС на основе СП отражена на рис. 5.

Для получения результатов модель запускалась на выполнение для двух значений времени выполнения: 7=100. Т = 1000 и Т = 5000 тактов. Для каждого значения модель выполнялась по три раза, после чего рассчитывались средние значения, приведенные в таблице 6.

Данные таблицы 5 показывают относительную погрешность и ее максимальные значения во всех вариантах работы модели (Т = 100, Т = 1000, Т = 5000).

С увеличением количества тактов погрешность уменьшается, и результаты имитационного моделирования сходятся к результатам аналитического моделирования.

Рис. 5. Имитационная модель ВС

Таблица 6. Результаты работы имитационной модели (Т = 100)

Номер сетевого узла 1 2 3 4 5 6

Средний размер очереди сообщений в узле Т II о о 0,0224 2,171 6,0184 0,0723 0,3601 0,8984

Т = 1000 0,012 2,0284 6,849 0,0682 0,2001 0,723

Т = 5000 0,0129 1,984 7,191 0,0382 0,221 0,665

Среднее время обработки сообщения в узле Т II 0 О 0,3657 1,8791 2,6733 0,0969 0,1004 2,1321

Т = 1000 0,2041 1,9789 2,5309 0,1144 0,1702 1,8802

Т = 5000 0,2157 2,089 2,69 0,1312 0,167 1,8247

Таблица 7. Расчет погрешности

№ узла 1 2 3 4 5 6 Мах. Е (%)

Очередь: отн. погр. (Е) Т = 100 0,672 0,193 -0,172 0,717 0,662 0,331 72

Т = 100 0 -0,105 0,114 -0,057 0,151 -0,077 0,071 15

Т = 500 0 -0,037 0,09 -0,01 0,076 0,019 -0,015 9

Время обработки: отн. погр. (Е) Т = 100 0,479 -0,103 -0,0001 -0,257 -0,38 0,202 48

Т = 100 0 -0,174 -0,055 -0,053 -0,123 0,051 0,059 17

Т = 500 0 -0,128 -0,002 0,006 0,006 0,031 0,028 13

6. Заключение

В работе описан подход к имитационному моделированию архитектуры и передачи данных в вычислительных сетях, на основе модифицированных сетей Петри. Этот механизм целесообразно использовать для сложных задач проектирования сетей и анализа потоков трафика или совмещать описанный подход с аналитическим моделированием (применяя аналитические методы для расчета некоторых характеристик и используя эти результаты для имитационного моделирования).

В работе предложен механизм построения сетей Петри для основных объектов ВС, формализованы функции сетевых объектов в виде примитивных СП - функционалов. Предложены операции над СП, позволяющие легко конструировать модель ВС. Для демонстрации построенной модели, приведен пример построения СП для фрагмента локальной сети, рассмотрены вопросы маршрутизации в имитационной модели, предложен укрупненный алгоритм работы имитационной модели.

Полученные результаты используются для практической реализации программного комплекса СиМАКС (Система моделирования и анализа компьютерных сетей), который разрабатывается в Кемеровском государственном университете и используется для анализа топологии и связностей корпоративной сети.

Литература

1. ВИШНЕВСКИИ В.М. Теоретические основы проектирования компьютерных сетей. - М.: Техносфера, 2003.

2. ДУБИНИН В.Н. Организация и проектирование интеллектуальных распределенных вычислительных систем с групповыми взаимодействиями // Вычислительная техника в автоматизированных системах контроля и управления: Межвуз. сб. науч. тр. - Пенза: ПГУ, 1999. - Вып.26. -С.31-38.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

3. ИЛЬНИЦКИИ С.В. Работа сетевого сервера при самоподобной нагрузке. - URL: http://314159.ru/ilnickis/ilnickis1.pdf.

4. КОТОВ В.Е. Сети Петри. - М.: Наука, 1984.

5. МИКОВ А.И., ЗАМЯТИНА Е.Б. Система имитации с удаленным доступом // Материалы третьей междисциплинарной конференции с международным участием (НБИТТ-21), 21-23 июня 2004 г., Петрозаводск. - С. 73.

6. ПИТЕРСОН ДЖ. Теория сетей Петри и моделирование систем. - М.: Мир, 1984.

7. Среда описания ресурса (RDF): Понятия и абстрактный синтаксис. - URL: http://www.w3.org/2007/03/ rdf_concepts_ru/Overview.html (дата обращения 02.04.2009).

8. ТАРАСОВ В.Н. Вероятностное компьютерное моделирование сложных систем для анализа их производительности: Дисс. докт. техн. наук. - Оренбург, 2002.

9. ОЛИФЕР Н.А., ОЛИФЕР В.Г Средства анализа и оптимизации локальных сетей. - URL: http://

www.citforum.ru/nets/optimize/index.shtml (дата обращения 28.04.09).

10. ЯРОСЛАВЦЕВ А.Ф. Методы и программные средства гибридного моделирования мультисервисных сетей большой размерности: Дисс. докт. техн. наук. - Новосибирск, 2006.

11. HP OpenView Network Node Manager. - URL: http:// www.openview.ru/nnm_2.htm (дата обращения 24.02.2009).

12. LELAND W.E., MURAD S. TAQQU, WILLINGER W., SHERMANN R. Proof of a Fundamental Result in Self-Similar Traffic Modeling / ACM SIGCOMM’95, San-Fransisco, 1995.

TRAFFIC TRANSFER PROCESSES SIMULATION IN COMPUTING NETWORKS

Alexander Goodov, Kemerovo State University, Kemerovo, Cand.Sc., assistant professor (good@kemsu.ru).

Marina Semekhina, Kemerovo State University, Kemerovo, postgraduate (semehina@kru.ru).

Abstract: We consider an approach to simulation of local area computing networks. The approach uses colored Petri networks with time mechanism and queues. We offer the notion of role functionals and define operations on them. We also provide an example of Petri net design for the fragment of a local area network and suggest the general algorithm of simulation run.

Keywords: computing networks modeling, queuing theory, simulation modeling, Petri network.

Статья представлена к публикации членом редакционной коллегии В. М. Вишневским

Уважаемые читатели! С радостью сообщаем о выходе Специального выпуска 30.1 «Сетевые модели в управлении» Сборника трудов «Управление большими системами», посвященного применению подходов теории графов к постановке и решению задач управления. Подробная информация о Спецвыпуске, включая полные тексты статей, доступна на официальном сайте Сборника трудов «Управление большими системами» ubs.mtas.ru.

i Надоели баннеры? Вы всегда можете отключить рекламу.