Система распределённой обработки данных Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.1; 519. 248

© Г.В. Попков, В.К. Попков ОТСТЕМА РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ДАННЫХ

В статье рассматривается гиперсетевой подход, связанный с обработкой информации, передаваемой по разнотипным сетям передачи данных. Данный подход обеспечивает универсальную технологию для любых видов информации.

Ключевые слова: гиперсети, обработка информации, системы распределения информации.

© G.V. Popkov, V.K. Popkov A SYSTEM OF DISTRIBUTED DATA PROCESSING

In the article a hyper network approach concerned with processing of information transmitted over polytypic networks of data transmission is considered. This approach provides universal technology for any sort of information.

Keywords: hyper networks, information processing, systems of information distribution.

Введение

В прикладных задачах транспорта, связи, систем управления и др. систем часто возникает задача обработки разнообразной и разнотипной информации для принятия решений или других действий. Для этой цели используются сети передачи информации разного вида по разнотипным каналам. В данной работе предлагается вариант такой системы, основанной на применении теории S - гиперсетей [1]. Эта теория позволяет описывать взаимодействие сетей различного типа с учетом их пространственного расположения. Т.е. метрическое пространство всего круга взаимодействующих сетей задается первичной сетью S - гиперсети и тем самым определяется как минимум пространственное взаимодействие сетей. Узел первичной сети при этом рассматривается не как точка, а как некоторая замкнутая область, в которую отображаются все вторичные сети. Структура вторичных сетей задается не только графами и гиперграфами, но и гиперсетями. Таким образом, отобразив вершины в первичную сеть, можно написать процедуру отображения ребер этих сетей в ветви первичной сети. Аналогичным образом поступаем с сетями 2-го уровня, отображая их вершины в вершины вторичных сетей 1 -го уровня, затем каждому ребру сети второго уровня сопоставляем маршрут в некотором графе вторичной сети 1-го уровня. И так далее согласно структурному дереву T(SH) S- гиперсети (рис.1).

Рис.1. Структурное дерево гиперсети SH = (P, W11,( W12 W22), W21 (W32))

1. Основные определения

В своей основе математическая модель системы распределенной обработки данных (СРОД) представляет собой многоуровневую нестационарную S-гиперсеть, в которой в качестве узлов первичной сети выступают программные модули различного назначения и которые объединяются в группы (узлы-сети) с целью организации «спец-вычислителей», предназначенных для реализации различных процессов (как в пространстве, так и во времени). Очевидно, что каждому сообщению в данной S-гиперсети будет соответствовать некоторое «виртуальное» ребро, которое сопоставляется цепочке из разных процессов. Вообще говоря, процессу также сопоставляется либо закрепленная, либо «виртуальная» последовательность, состоящая из последовательности модулей.

Для понимания постановки задачи дадим некоторые определения из теории гиперсетей.

Шестерка, состоящая из трех множеств и трех отображений S=(X,V,R; P,F,W), называется гиперсетью, если:

УуеУ | Р(у) I =2,

УгеЯ|\¥(г)|=2,

УгеЯ множество Р(г)сУ составляет маршрут в графе Р8=(Х,У).

Таким образом, первичная PS и вторичная сети WS гиперсети S являются графами, а F отображает ребра WS=(X,R) в маршруты графа PS=(X,V).

Так как множество F(г) является маршрутом, то отображение F единственным образом определяет отображение W. Действительно, концевые вершины маршрута F(г) являются одновременно концами ребра г, то есть гиперсеть S можно задать пятеркой (Х^Д; P,F).

В гиперсети вида .V = 7, V, Л узел у с V заменяется на граф вида у= - граф узла у

структурированной гиперсети, где х\ - _)-я вершина вторичной сети отображенная в узел у

структурированной гиперсети 8А = У.V.(ЦХ^II^ . Таким образом, в отличие от гиперсетей,

вершины вторичных сетей помещаются в узлы первичной сети независимо друг от друга, без ограничения на характер отображения, т.е. возможны варианты отображения нескольких вершин одной вторичной сети в один узел первичной сети.

Дадим формальное определение 8 - гиперсети. Пусть задано множество графов (гиперграфов) О0 = (Х0,У),О1 = = (Хк,11к) и корневое дерево где

2 = гк,Я = гх,...,гк, определяющее вложение графов (}, в (г, (г < у) аналогично вложени-

ям, определяемым в гиперсетях, за тем лишь исключением, что вершины Хк и хI графов ^ и ^ не тождественны, а инцидентны. Очевидно, что одной и той же вершине х’к могут быть инцидентны несколько вершин Хк = {х]к},х]к*,...,хк} из / графов {(/, },5 = 1,...,/. На множестве вершин Хк определяется и = (Хк,Е) . Вершины хк и хк смежны в I] , если соответствующие графы(}. и (./, в вершине х'к имеют некоторую системообразующую связь I(х1, х1*) . В противном случае эти вершины не связаны. Так же, как в гиперсетях, ребру и\ е О. в графе (г сопоставляется цепь или некоторая связная часть между соответствующими вершинами из ^ . Здесь необходимо отметить, что системообразующие связи типа {l(x,y)}, вообще говоря, могут иметь разную природу и, как правило, существенно зависят от времени. В некоторых случаях, например, в сетях разного типа (кабельные, ВОЛС, лазерные линии связи и др.). В этом случае имеет смысл рассматривать объединение всех вторичных сетей. Однако для некоторых задач имеет смысл рассматривать сумму всех графов гиперсети Н, включая и первичную сеть PS, т.е. О = О,, + О1 + ...+ Оп+ {Ь1}. Более подробно об этом можно прочитать в [2].

S-гиперсеть состоит из разного типа сетей:

- иерархический граф в виде дерева с четырьмя уровнями (граф первичной сети);

- полносвязный граф между вершинами (узлы-сети), который вкладывается в граф первичной сети;

- цепочки различной природы, соответствующие технологическим последовательностям обработки различных сообщений;

- связные компоненты для отображения очередей процессов обработки с обратными связями. Кроме того, определяется оптимальное расписание работы элементов S-гиперсети с целью оптимальной упаковки цепей различного вида, предназначенных для оптимизации обработки потока сообщений.

В результате на построенной S-гиперсети и составленного расписания работы ее элементов можно находить многопродуктовый поток заданной величины и минимальной стоимости. При этом модель позволяет управлять многими параметрами и тем самым изучать ее различные свойства и показатели в зависимости от входного многопродуктового потока.

В качестве прототипа разрабатываемой модели на основе S-гиперсетей можно взять нестационарные абстрактные гиперсети [1]. Инструментальные возможности теории нестационарных S-гиперсетей позволяют строить адекватные структурные модели очень сложных инфо-коммуникационных сетей и, в частности, построить математическую модель СРОД для решения широкого спектра структурных задач рассматриваемой системы.

Для описания динамических систем сетевой структуры вводится понятие нестационарной S-гиперсети, которое позволяет параметры, структуру и атрибуты S - гиперсети сделать зависимыми от времени. В этом случае над множеством S-гиперсетей определяется система управления, которая согласно заданному расписанию видоизменяет значения параметров S-гиперсети и существование ее элементов в определенный момент времени. Причем расписание работы S- гиперсети может быть как детерминированным, так и случайным. Вершины S-гиперсети являются не абстрактной точкой, а некоторой системой, способной перерабатывать входящий поток и хранить содержимое этого потока в определенном месте. Таким образом, определенный математический объект (нестационарная S-гиперсеть) можно подвергнуть классификации, приведенной ниже и подробно описанной в [2].

2. Отображения и классификация нестационарных S-гиперсетей

Многообразие отображений вторичных сетей в первичную сеть делает возможным отображение различных коллизий, возникающих между реальными сетями.

2.1. Отображения

При отображении графа вторичной сети Ж8 в первичную сеть Р8 возникают четыре класса вложений ребер Ж? в ветви Р8 .

Для гиперсети Н — (Р8, ]¥8) :

1. Ребра вторичной сети Ж8 не отображаются в ребра первичной, т.е. отображаются только вершины №8 в вершины Р8 . Таким образом, матрицы Ык (Ьар ) в представлении гиперсети отсутст-

ЭКС

вуют (рис.2в). Здесь имеют место экс-отображения 1¥8 —> Р8 и соответственно экс-гиперсеть.

2. Если ребра вторичной сети = (Х \ 11) идут рядом (параллельно) с ветвями первичной се-

р

ти Р8 = (X ,V). то имеет место пара-отображение 1¥8—»Р8 (рис.2с), которое порождает парагиперсеть Н — (Ж8,Р8).

3. В том случае, когда ребра вторичной сети располагаются на «плоских» ветвях первич-

ЭК

ной сети Р8 , то имеет место экто-отображение IV8 —> Р8 (см. рис.2с1) и соответственно эктогиперсети.

4. В последнем случае ребра вторичных сетей располагаются внутри ветвей первичной сети. На

ЭН

рис.2е. приведен пример эндо-отображения 1У8 Р8, которое порождает эндо-гиперсеть.

Вершины также могут по-разному отображаться друг в друга. Здесь так же, как с ребрами, имеем, те же четыре способа отображения:

1. Вершина вторичной сети х абстрактно отображается в вершину у первичной сети, если их взаимное расположение безразлично, т.е. имеет место экс-отображение.

2. Если эта вершина х отображается рядом с узлом у, то имеет место пара-отображение.

3. При экто-отображении вершин одна вершина располагается на другой.

4. И наконец, при отображении одной вершины вовнутрь другой имеет место эндоотображение вершин.

Рис.2. Примеры вложений вторичной сети в первичную

Соответственно, 8-гиперсети можно называть согласно отображениям элементов. Очевидно, что в одной и той же 8-гиперсети разные элементы одновременно могут отображаться в другие разными способами. Таким образом, формально определенное взаимоотношение вторичных сетей в первичной позволит более подробно и адекватно описывать взаимоотношение вторичных сетей в первичной.

2.2. Классификация 8-гиперсетей

Широта применения математической теории определяется не только свойствами математического объекта, но его пластичностью. В частности, подробная классификация 8-гиперсетей даёт представление о её возможности адекватно описывать различные системы для их структурного анализа и оптимизации.

Системная типология

СТ-1. Системная типология 8- гиперсетей:

Классификационные признаки: характеристики S-гиперсетей Типы вложений: экс- / пара- / экто- / эндо- гиперсеть

Размерность: конечная / бесконечная

Потоковая функция: дискретная / непрерывная

Атрибуты: детерминированная / случайная

Стабильность: стационарная /нестационарная

Структура гиперсети: каскадная / смешанная / параллельная

Разнообразие вторичных сетей: однотипная / К-типная

СТ-2. Системная типология первичных и вторичных сетей:

Классификационные признаки: Тип математического объекта: Ориентация:

Сложность:

Однородность:

Весовые характеристики: Атрибуты:

Стабильность:

характеристики сетей граф / гиперграф / гиперсеть

ориентированный / смешанный / неориентированный

пустой / дерево / планарный / полный / произвольный

однородный / неоднородный

взвешенный / невзвешенный

детерминированная / случайная

стационарная / нестационарная

СТ-3. Системная типология элементов:

Классификационные признаки: характеристики элементов

Типы элементов: узлы (вершины) / ветви (ребра) / полюса (полусвязь)

177

Весовые характеристики: Ориентация:

Время существования: Представление:

Число полюсов:

взвешенные / невзвешенные ориентированный / неориентированный постоянно / по расписанию / случайное абстрактное / геометрическое всех полюсов / свободных полюсов

СТ-4. Системная типология связей:

Классификационные признаки: характеристики связей

Способ соединения: слияние / инцидентность / слабая инцидентность / смежность

Ориентация:

Время существования связи: Надежность соединения: Связь точечных элементов: Связь элементов:

ориентированный / неориентированный постоянно / по расписанию / случайное с резервированием / без резервирования абстрактная / физическая экс- / пара- / экто- / эндо- вложение

Топологическая типология

ТТ-5. Топологическая типология 8-гиперсетей:

Классификационные признаки: Размерность пространства:

Род поверхности первичной сети: Число уровней в иерархии:

Число сетей на К-ом уровне: Размерность:

топологические характеристики 8-гиперсетей одномерное / двумерное / трехмерное плоская / К-го рода обычная гиперсеть / К уровней (слоев)

^К) число сетей на уровне К конечная / бесконечная

Тип вложений вторичных сетей в первичной: типы вложений в СТ-1 ТТ-6. Топологическая типология вторичных сетей

Классификационные признаки:

Тип математического объекта: Наличие циклов:

Ориентация:

Род графа:

Связанность графов вторичных сетей:

структурные характеристики вторичных сетей граф / гиперграф / ультраграф / гиперсеть циклический / ациклический ориентированный / неориентированный плоский / К-го рода связанные / независимые

ТТ-7. Топологическая типология элементов.

Классификационные признаки: Типы элементов:

Размерность:

Число полюсов:

Представление:

топологические характеристики элементов узел (вершина) / ветвь (ребро) / полюс (полу-связь) без размера / линейный / плоский / объемный без полюсов / К-полюсный абстрактное / геометрическое

ТТ-8. Топологическая типология связей

Классификационные признаки: топологические характеристики связей

Ориентация полюсов:

Число полюсов в элементах: Число типов полюсов: Занятость полюсов:

Тип связи полюсов:

неориентированные / ориентированные неоднородные / однородные однотипные / разнотипные занятые / свободные

слияние / инцидентность / полуинцидентность

Приведенная классификация позволяет практически автоматизировать технологию синтеза 8-гиперсетей для моделирования сложных динамических систем сетевой структуры. В частности, ис-

следование структурных и временных характеристик СРОД, связанных с прохождением данных по иерархической сети этой системы, становится возможным на специально синтезированных нестационарных 8-гиперсетях. Такой подход позволяет создать унифицированное алгоритмическое обеспечение для решения различных задач на гиперсетях разного типа. Из данной классификации следует, что распределенная система обработки данных может быть промоделирована нестационарными 8-гиперсетями с заданными характеристиками и расписанием. Из вышесказанного следует, что модель нестационарной 8-гиперсети для СРОД имеет следующий вид:

К(8Н) = (8Н,А, П,Р,Т), где:

8Н - обобщенная структура 8- гиперсети 8Н;

А - атрибуты и параметры 8Н;

П - память в элементах 8Н;

Р - расписание (таблица значений атрибутов и параметров 8Н, расписанных на временной оси);

Т - период времени работы модели.

Из этого определения следует, что реализация этой модели возможна только на компьютере, поэтому общая схема моделирования N(811) имеет вид:

Рис.3. Блок схема моделирования СРОД

Для данной формулировки обобщенной модели наиболее значимыми становятся задачи поиска кратчайшего пути или максимального потока за период Т в нестационарной гиперсети К(8Н).

3. Модель СРОД на базе теории нестационарных 8-гиперсетей

Теперь рассмотрим концептуальную модель СРОД с привлечением аппарата теории нестационарных 8-гиперсетей. Вполне очевидно, что в общем случае речь идет о большом потоке информации величины 1, протекающей по сети СРОД. При этом часть информации обрабатывается в сети СРОД, хранится в ней и пересылается (возможно с потерей объема) наверх. Другая, возможно более значительная, часть исчезает из СРОД (как ненужная).

Каждому ребру 8-гиперсети 8Н сопоставляется тройка чисел:

е;1- стоимость единицы потока в ц ребре в WH1 вторичной сети;

^ - время прохождения потока в ц ребре в WH1 вторичной сети;

Ь (У;) - ограничение на суммарный поток в у; ребре;

Х; - поток в ц ребре.

Таким образом, при данном условии можно сформулировать две задачи прохождения информации через СРОД.

3.1. Задачи СРОД

1. Найти заданный 8,Ь - поток величины 1 за минимальную стоимость. Соответствует задаче минимизации используемых ресурсов (памяти, вычислительных, канальных) при обнаружении т -сообщений за заданное время /и (ресурсоэффективность).

Минимизировать ср =Хс||х|| (11)

при условиях

к

О,;* я (1.2)

/,7= Л

<Ь(У) (1.3)

(1.4)

$ (5,Й)^Г.

Ограничения (1.2) стандартны для задач поиска потоков. В нашем случае это ограничение поддерживается тем, что в 8-гиперсети 8Н вводится вторичная сеть, на которую уходит поток информации, не нужный для дальнейшей обработки.

Ограничение (1.3) гарантирует, что суммарная величина потока через вершину или ветвь У2 не превосходит заданного значения в (У2). Здесь под суммарной величиной потока понимается либо одновременный объем информации, обрабатываемый в узле У2, либо в ветви У2, (где {У2} - множество элементов первичной сети).

Ограничение (1.4) показывает, что в полученном графе потоков \¥ расстояние по времени между вершинами в,! не превосходит заданную величину /и.

2. Найти заданный 8,Ь - поток, проходящий сеть 8Н за минимальное время. Данная постановка соответствует минимизации времени обнаружения сигналов на заданной совокупности М - сообщений. Чем меньше заданный поток У, тем точнее для заданных М - сообщений решение.

Формально задача ставится следующим образом:

минимизировать у =р^*(8,Ь) (2.1)

при условиях: в найденном графе потока W максимальный

ш(8,Ь) > У, (2.2)

где У - заданная величина потока,

ш(8,Ь) - максимальный поток,

р^*(8,Ь) - длина кратчайшей по времени 8,Ь -цепи в найденном потоковом графе W* .

Условия (1.2) и (1.3) остаются верными и для этой задачи. Относительно стоимости имеет место ограничение

ЕсуХу < С. ^ (2.3)

Т.е. суммарная стоимость всего потока из 8 в Ь в графе W не превосходит величину С.

Так как в задачах присутствуют время и объем пропуска обрабатываемой информации, то мы имеем дело с нестационарной 8-гиперсетью.

3.2. Структура сети СРОД

Все подсистемы СРОД с сетевой составляющей имеют свой аналог в нестационарной 8-гиперсети.

В частности:

1. Каждому функциональному блоку программ П; сопоставляется вторичная сеть WП1 = (х;,ц;).

2. Поток данных, состоящий из различных по типу подпотоков РБ^ направляется на соответствующие данному типу сети обработки данных WODJ (блок НТО).

3. Сети {WП1} и {WODJ} объединяются в одну структуру WO для обработки (передачи) входной информации, которая является аналогом ПУВР.

4. Так как в нестационарной гиперсети очередность срабатываний, показатели, атрибуты и т.д. зависят от времени, т.е. определяются расписанием, то процедура его составления и модификация определяется системой управления СУ(8Н). Здесь можно заметить, что аналогом такой системы управления является нейроэндокринная система человека.

5. Так как во всех алгоритмах существенно используется тот факт, что в любой вершине объем входящей информации равен объему исходящей, то для поддержки этого баланса вводится ориентированная сеть утилизации WU, которая определена на том же множестве вершин, что и обрабатывающий граф. Пропускные возможности ребер этой сети практически неограничены. Однако именно этим параметром (пропускной способностью) можно регулировать процент обрабатываемой информации.

6. Управляющая сеть Wy в данной ситуации создает дополнительную нагрузку на обрабатывающую сеть WO, а управляющее воздействие осуществляет Cy(SH) через таблицы расписаний для SH.

Отсюда следует, что нестационарная S-гиперсеть HS имеет структуру HS = (PS, {Wnj, {WODj}, WO, WU, Wy). Структура отображений определяется отношениями в СРОД и будет определена в процессе реального компьютерного моделирования HS.

Заключение

В работе рассматривается задача обработки в реальном времени информации, проходящей в различных информационных системах на больших территориях, например в системах Интернет, радио, телевидения и т.п. Такие системы представляют интерес для рекламных и информационных агентств и многих других служб, для которых необходима регулярная обработка массовой информации.

Литература

1. Попков В.К. Математические модели связности. - Новосибирск: Изд-во ИВМиМГ СО РАН, 2006. - 490 с.

2. Попков В.К. Применение теории S-гиперсетей для моделирования систем сетевой структуры // Проблемы информатики. - 2010. - №4. - С. 17-40.

Попков Глеб Владимирович, кандидат технических наук, доцент, старший научный сотрудник Института вычислительной математики и математической геофизики СО РАН, моб. тел. 89134789130, e-mail: glebpopkov@rambler.ru

Попков Владимир Константинович, доктор физико-математических наук, профессор, главный научный сотрудник Института вычислительной математики и математической геофизики СО РАН, моб. тел. 89139426496, e-mail: popkov@sscc.ru

Popkov Gleb Vladimirovich, candidate of technical sciences, associate professor, senior researcher, Institute of Computing Mathematics and Mathematical Geophysics SB RAS, mob.ph.: 89134789130, e-mail: glebpopkov@rambler.ru

Popkov Vladimir Konstantinovich, doctor of physical and mathematical sciences, professor, chief researcher, Institute of Computing Mathematics and Mathematical Geophysics SB RAS, mob. ph.: 89139426496, e-mail: popkov@sscc.ru