CC BY
76
УДК 004.75 ББК 32.81
МЕХАНИЗМЫ ВЗАИМОДЕЙСТВИЯ ОБЪЕКТОВ СЕТЕВЫХ ЦИФРОВЫХ СИСТЕМ
Стецюра Г. Г.1
(Учреждение Российской академии наук Институт проблем управления РАН, Москва)
Рассмотрены особенности управления работой сложных цифровых систем обработки данных и управления, имеющих сетевую структуру. Показана необходимость организации быстрых связей в таких системах и приведены некоторые из разработанных в ИПУ РАН механизмов, позволяющих ускорить взаимодействие объектов системы.
Ключевые слова: сетевая система, автономная система, техническая активная система, распределенное управление.
1. Введение
В настоящее время супер-ЭВМ, входящие в первую десятку списка Тор-500, содержат много тысяч вычислительных устройств, в каждом из которых процессор содержит 2-4 независимо работающих вычислительных ядра. Это чрезвычайно сложные системы, но в ближайшее время ожидается их дальнейшее существенное усложнение. Так, фирма 1ВМ объявила, что в ближайшие годы в связи с успехами в области разработки оптических компонентов ЭВМ количество ядер в процессорах этой фирмы возрастет с четырех до многих сотен. Подобные разработки проводятся и в других ведущих фирмах.
1 Геннадий Георгиевич Стецюра, доктор технических наук, профессор (stetsura@ipu.ru).
Усложнение вычислительного устройства (далее «узла») расширяет его возможности по обеспечению собственного функционирования и взаимодействия с другими узлами. При этом увеличение количества узлов системы усложняет управление работой системы из единого центра управления. Поэтому желательно, используя возросшие возможности узлов, предоставить им как можно большую самостоятельность, ввести децентрализацию управления. Техническая система, содержащая большое количество распределенных узлов и децентрализовано решающая вопросы своего поведения - это техническая система с сетевой организацией (далее «ТСС»).
Примеры других сложных систем с сетевой организацией, например социальных, показывают, что введение децентрализации часто является единственно возможным средством решить задачу в заданные сроки. В ТСС, особенно в управляющих системах, несоблюдение временных ограничений жизненно важно. Требуемые времена становятся особенно малыми, если ТСС используется не для взаимодействия с человеком или промышленными объектами, а как объект, находящийся в контакте с другими подобными объектами с быстрой реакцией на события.
Такой контакт принимает две основные формы: противодействие и взаимодействие. Примеры противодействия хорошо известны, в них ТСС - распределенному автомату жизненно важно действовать быстрее противника. Примеров взаимодействия тоже достаточно много: распределение работ, распределение ресурсов между узлами, обнаружение и устранение неисправностей ТСС, выполнение распределенных вычислений. Для выполнения таких действий в ТСС могут в динамике формироваться взаимодействующие между собой сетевые подсистемы.
Таким образом, центр управления, если таковой существует в системе, должен выполнять «стратегические задачи», а все быстрые оперативные решения должны приниматься с жесткими временными ограничениями отдельными узлами или взаимодействующими группами узлов.
Основная цель статьи - показать возможность повышения скорости и гибкости взаимодействия узлов ТСС при использовании механизмов взаимодействия, разработанных в ИПУ РАН.
Дальнейшее изложение строится с учетом трех положений:
1) при создании ТСС количество вычислительных узлов не является ограничивающим фактором;
2) при большом количестве узлов управление состоянием ТСС должно быть децентрализовано;
3) скорость управления работой ТСС должна быть высокой.
Раздел 2 показывает необходимость быстрого и интенсивного взаимодействия узлов ТСС.
В разделе 3 кратко рассмотрены разработанные в ИПУ механизмы быстрого взаимодействия узлов ТСС.
2. Особенности взаимодействия узлов ТСС
2.1.АВТОМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ РАБОТОСПОСОБНОСТИ ТСС (АВТОНОМНЫЕ СИСТЕМЫ)
В 2001 году фирма IBM выступила с концепцией (Autonomic Computing» (АС), как реакцией на возрастающую сложность средств обработки данных и управления [9]. Концепция АС ориентирована на обеспечение без вмешательства человека следующих четырех основных свойств системы: самокон-фигурирование под изменяющиеся условия функционирования, самовосстановление при любых нарушениях в работе системы, непрерывная самооптимизация и самозащита от произвольного вида враждебных воздействий (4 «само»). Эти свойства можно считать необходимыми для систем современных и особенно ТСС ближайшего будущего. Они должны обеспечивать высокую скорость реакции на возникающие события, полностью автоматическое прогнозирование появления неисправностей системы, их обнаружение и устранение.
За прошедшие годы концепция АС поддержана и развивается многими фирмами и исследовательскими коллективами в различных направлениях [10].
ТСС, обладающие указанными выше четырьмя свойствами, можно считать самоорганизующимися. Для поддержки самоорганизации и самонастройки ТСС полезны распределенные эвристические методы, требующие, в частности, разветвленных и быстрых связей между узлами системы.
2.2. ТРЕБОВАНИЯ К СТРУКТУРЕ СВЯЗЕЙ В ТСС
Для АС важна эффективная работа в критических ситуациях, когда не удается заранее спланировать действия системы. Система в целом и ее средства связи при этом работают с наибольшей нагрузкой и должны быстро выполнять реорганизацию системы. Структура связей должна быть гибкой, легко перестраиваемой. Высокое требование к надежности исключает использование центров коммутации. Нежелательно применять параллельную передачу многоразрядных данных, так как это требует хорошей синхронизации передачи отдельных разрядов, что усложняется с повышением скорости передачи данных. Уже сейчас значительная часть средств связи в ЭВМ ориентирована на последовательную пакетную передачу данных. Эта тенденция будет продолжена, и сосредоточенная система будет все более походить на распределенную, сетевую.
2.3. БЕЗОПАСНОСТЬ ФУНКЦИОНИРОВАНИЯ ТСС
Борьбе с внешним враждебным вмешательством посвящено очень много работ, тем не менее, существующая степень защиты систем низкая.
Если система имеет сетевую структуру, то появляется дополнительная возможность для улучшения защиты системы. В отличие от типичной защиты отдельного узла, например, персональной ЭВМ, в ТСС можно упростить задачу защиты от внешнего вмешательства за счет организации одновременного взаимодействия многих источников и приемников данных. В этом случае данные от источников могут посылаться разными путями и поступать на различные приемники, которые должны сопоставить полученные данные и принять решение [6]. Это сопос-
тавление выполняется внутри локальных частей системы и недоступно сторонним наблюдателям. Ценность должна представлять вся совокупность передаваемых данных, а не отдельные ее составляющие. Такое групповое взаимодействие также требует быстрых способов взаимодействия узлов ТСС.
2.4. ТЕХНИЧЕСКИЕ АКТИВНЫЕ СИСТЕМЫ
В разрабатываемой в ИПУ РАН теории активных систем (ТАС) эта теория определена как «раздел теории управления социально-экономическими системами, изучающий свойства механизмов их функционирования, обусловленные проявлениями активности участников системы» [1]. Элементы такой активной системы «обладают собственными интересами и предпочтениями, т. е. осуществляют выбор состояния целенаправленно», «управляемые субъекты стремятся к выбору таких своих состояний, которые являются наилучшими с точки зрения их предпочтений при заданных управляющих воздействиях, а управляющие воздействия, в свою очередь, зависят от состояний управляемых субъектов».
Технические системы в [1] отнесены к пассивным системам, для которых характерно отсутствие «у управляемого объекта свободы выбора своего состояния».
Книга [1] опубликована в 1999 году, но ситуация быстро меняется, прошло немного лет и все, что сказано выше, можно отнести и к техническим системам. Фактически приведенная в 2.1 инициатива IBM предъявляет к ТСС именно такие требования. Однако следует обратить внимание на следующие особенности ТСС:
- решения в ТСС должны приниматься существенно быстрее, чем это допустимо в социально-экономических системах. Часто качеством управления приходится жертвовать в пользу скорости;
- в ТСС нежелательно иметь единый центр управления, так как это противоречит концепции самовосстановления. Оперативное управление должно быть распределенным, централизо-
ванное управление допустимо только для планирования работы системы вне реального времени.
Таким образом, для ТСС полезны «не технические» решения, но последние могут оказаться недостаточно быстрыми, и средством повышения их быстродействия могут служить механизмы следующего раздела.
3. Механизмы сетевого взаимодействия
3.1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТ РАЗДЕЛА 3.
В настоящем разделе предлагаются способы быстрого взаимодействия узлов ТСС, удовлетворяющие жестким временным ограничениям. Они охватывают широкий круг вопросов: ускорение вычислений за счет совмещения вычислений и обмена данными, быстрое устранение конфликтов доступа к ресурсам, устранение тупиков, распределенную коммутацию связей, распределенное программирование и другие вопросы.
3.2. СОВМЕЩЕНИЕ ВЫЧИСЛЕНИЙ И ОБМЕНА ДАННЫМИ Пусть группа узлов объединена последовательным каналом
в цепочку: первый узел передает пакет данных второму, второй узел их обрабатывает и передает третьему и т. д. Данные пакета передаются побитно. Задача состоит в том, чтобы на проведение вычислений над данными не затрачивать дополнительное время по сравнению со временем, требуемым для передачи пакета через эту цепочку без вычислений [3-5].
Это достигается благодаря следующему свойству логических операций и арифметических операций сложения, вычитания, умножения. Представление операндов указанных операций можно выбрать таким, что проведение операции над отдельным битом сводится к изменению в узле пути прохождения сигнала, соответствующего этому биту. При этом каждый узел, учитывая значение хранящегося в нем операнда, не ожидая прихода к узлу очередного бита второго операнда, настраивает путь прохождения сигнала через узел в соответствии с требуемой операци-
ей. Иными словами, вся подготовка к проведению распределенного вычисления над разрядом во всех узлах делается одновременно, и после этого сигнал просто перемещается по заранее подготовленному пути. Поэтому время выполнения распределенной операции не зависит от количества участвующих в ней узлов. При использовании оптических сигналов дополнительная задержка отсутствует. При использовании электрических сигналов каждый узел вносит незначительную задержку на время переходного процесса в переключателе направления передачи сигнала.
3.3. УСТРАНЕНИЕ КОНФЛИКТОВ ДОСТУПА К РЕСУРСУ
Ресурсами могут быть различного вида технические устройства и выполняемые на технических устройствах программы. Эти ресурсы могут объединяться в группы, действующие как единое целое при выполнении конкретной работы. (Ресурсы и узлы можно объединить общим понятием - агенты.) К ресурсу одновременно может поступить несколько заявок и требуется как можно быстрее устранить конфликт, выделив заявку, имеющую наибольший приоритет. Так как рассматриваются сетевые структуры, то конфликт требуется разрешать децентрализовано и при этом с высокой скоростью. С этой целью в ИПУ был разработан класс алгоритмов разрешения конфликтов - децентрализованное приоритетное управление доступом (ДПУ) [2, 4]. Один из вариантов ДПУ - децентрализованное кодовое управление (ДКУ) в несколько урезанной форме широко применяется в различных микроконтроллерах - в первую очередь фирмы Philips, затем и других производителей.
ДКУ имеет очень простую основу. Несколько конфликтующих узлов посылают поразрядно и синхронно сигналы, соответствующие разрядам двоичных кодов своих приоритетов так, что все эти узлы получают сигнал, образовавшийся при наложении переданных сигналов. Узлы, передавшие «0», могут обнаружить в принятом сигнале наличие «1». При обнаружении «1» все указанные узлы должны прекратить борьбу за ресурс,
что в результате приводит к устранению конфликта. В [7, 8] показано, что ДКУ позволяет одновременно устранять многие конфликты в ТСС.
ДПУ - эффективный способ разрешения конфликтов, его использование позволяет быстро (в микросекундном диапазоне) осуществлять реконструкцию связей в ТСС (разделы 3.6 , 3.7).
3.4. РАСПРЕДЕЛЕННАЯ КОММУТАЦИЯ МЕЖСОЕДИНЕНИЙ
Коммутация - системообразующее средство. Следуя общим
правилам построения сетей, коммутация должна выполняться децентрализованными средствами. В [7] предложен использующий оптические средства полностью распределенный коммутатор, в котором каждый узел имеет все необходимые для коммутации активные средства. Для выбора любого из N направлений коммутации узел имеет log2 N логических каскадов, каждый из которых может находиться в одном из двух состояний, и для выбора требуемых состояний каскадов узлу задается log2N битов информации в двоичной нотации. То есть узел содержит минимально возможное количество указанных переключателей. Линии связи между узлами отсутствуют.
Распределенный коммутатор обеспечивает любую перестановку соединений непосредственно между источником и приемником данных. Если требуется произвольный состав соединений с возможными конфликтами, то они устраняются с помощью решений раздела 3.3.
Для проведения распределенных вычислений (раздел 3.2) требуется в динамике формировать последовательные каналы, соединяющие узлы в цепочку, и коммутационное оборудование каждого узла должно обеспечивать одновременно соединение с двумя соседними узлами.
3.5. РАСПРЕДЕЛЕННОЕ ПРОГРАММИРОВАНИЕ
От перемещения между узлами пакетов с данными, общепринятого в сетях, перейдем к пакетам, действующим как команды распределенной программы. Пусть в ТСС создан цепо-
чечный маршрут, последовательно проходящий через группу узлов, и перемещающийся по этому маршруту пакет воспринимается как команда на выполнение указанного в ней действия узлам, «понимающим» эту команду. Помимо инструкции на выполнение действия пакет содержит набор данных, который узлы обрабатывают без задержки, как показано в разделе 3.2. Пакеты имеют переменную длину, и в одном пакете может содержаться несколько подобных команд. Важную роль играют команды управления. Они выполняют условные переходы, передают узлам право передачи пакетов, т. е. право лидерства, а также, что очень важно, позволяют узлам принимать коллективное решение по реструктуризации ТСС. Приведенные команды были названы групповыми, соответственно программы - групповыми программами [4, 5].
Следует отметить, что в настоящее время в мире проводятся исследования сетей, в которых пакеты действуют как команды. Такие сети названы «активными сетями» (Active Networks). При поддержке DARPA исследования по активным сетям проводились и сейчас проводятся в ряде организаций [11, 12]. Исследования по групповым операциям были начаты в ИПУ несколько раньше и отличаются от работ по активным сетям ориентацией на приложения с существенно более быстрой реакцией на события.
3.6. УСТРАНЕНИЕ ТУПИКОВ
При распределенном управлении функционированием ТСС помимо рассмотренных выше конфликтов возможны тупики. Группа узлов находится в тупике, если узлы взаимно исключают доступ к ресурсам. При этом узлу разрешено блокировать доступ одновременно к группе ресурсов и для разных узлов эти группы ресурсов могут сложным образом пересекаться.
В статье [8] предложен следующий способ устранения ситуации, близкой к наличию тупиков. Если узел ожидает доступ к ресурсам в течение интервала времени t (t > T), то он начинает
борьбу за ресурсы. Здесь Т - единый для системы критический временной интервал.
Борьба ведется с использованием ДКУ, и наибольший приоритет имеет узел с наибольшим временем ожидания ^. Алгоритм борьбы отслеживает запросы со стороны всех узлов на все требуемые узлу ресурсы, и удовлетворяет запрос узла, если для всех этих ресурсов приоритет данного узла выше, чем приоритеты других узлов, запрашивающих те же ресурсы. Алгоритм децентрализован, требуется выполнить п повторений ДКУ, где п
- максимально разрешенное количество ресурсов одновременно требуемых любым узлом ТСС.
3.7. ЭЛЕМЕНТЫ САМООРГАНИЗАЦИИ СЕТЕВЫХ СТРУКТУР
В разделах 3.3, 3.6 доступ управляется приоритетами узлов, которые создаются каждым узлом без учета состояния других узлов. Это снижает гибкость управления, и часто желательно иметь более эффективные методы планирования действий узлов. Для этого в группе конфликтующих узлов создается в динамике канал связи, объединяющий в цепочку конфликтующие узлы. Это позволяет узлам, обмениваясь сообщениями, согласовать свои коды доступа, применяя распределенные вычисления в соответствии с разделом 3.2.
Соответствующий алгоритм предложен в [8]. Суть его в следующем. При борьбе за доступ к требуемому ресурсу узлы определяют наибольший приоритет узла, обращающегося к этому ресурсу.
Каждый узел группы устанавливает соединение со всеми узлами, занявшими требуемые ему ресурсы. В результате формируется связная структура. В образовавшейся структуре с использованием ДКУ выделяется узел с наибольшим значением приоритета - лидер. Лидер организует многошаговую операцию упорядочения, посылая на каждом ее шаге всем узлам команду выявить узел со следующим по порядку наибольшим приоритетом. Узел, победивший на одном из шагов, не участвует в следующих шагах. Операция завершается при достижении шага, на
котором не будет выделен новый узел-победитель. Сведения обо всех выявленных узлах сохраняются у лидера.
После этого лидер объединяет выявленные узлы последовательным каналом в цепочку, подключает себя к началу канала, а остальные узлы подключает в порядке убывания их приоритетов. В образовавшемся канале узлы, используя распределенные вычисления, формируют новую упорядоченность приоритетов.
Рассмотренные действия можно считать самоорганизацией системы - в ней создается множество последовательных каналов, каждый из которых объединяет конфликтующие между собой узлы. При этом не существует органа, управляющего приоритетами узлов с учетом сложившейся в текущий момент ситуации. Все взаимоотношения узлы регулируют самостоятельно, руководствуясь некоторыми общими «правилами поведения», которые вносятся в систему вне реального времени.
Приведенную самоорганизацию каналов можно считать частным случаем следующей ситуации. Отдельные объекты обнаруживают невозможность выполнения требуемых им действий из-за соперничества с другими объектами. При этом объект не имеет никакой информации о соперниках: об их количестве, составе, внутреннем состоянии, о наличии других групп объектов, находящихся в такой же ситуации.
Однако имеется возможность по запросу отдельного объекта устанавливать затребованные им соединения объектов. Далее в системе децентрализовано определяется состав групп взаимодействующих объектов. Также децентрализовано устанавливаются связи между объектами в каждой группе, выделяется объект-лидер, который управляет взаимодействием объектов в группе и организует их распределенное взаимодействие.
Лидер группы может сформировать связи с другими группами и участвовать в общем управлении всеми группами объектов в системе.
Таким образом, на основании распределенного анализа состояния отдельных объектов строятся сложно организованные
подсистемы. После выполнения требуемых работ подсистемы самоликвидируются.
Представляет интерес рассмотреть возможности использования изложенного подхода в аналогичных и более сложных ситуациях. По всей вероятности, потребуется внести значительные модификации в полученные решения.
3.8. КЛЕТОЧНЫЕ АВТОМАТЫ С ДАЛЬНИМИ СВЯЗЯМИ
Клеточные автоматы представляют собой среду из равномерно размещенных на плоскости или в трехмерном пространстве узлов - локальных автоматов, соединенных только с узлами - непосредственными соседями. На таких структурах естественно моделировать поведение однородных сред или распространение волновых процессов в средах не обязательно однородных. Как технические устройства клеточные автоматы чаще всего реализуются в форме систолических структур, преимущество которых состоит в использовании только коротких связей, что важно для повышения быстродействия системы. Однако социальные и экономические системы изобилуют дальними связями, при моделировании их поведения в технических устройствах эту особенность следует учитывать. Кроме того, в сложных системах, рассмотрение которых составляет предмет данной статьи, для обеспечения их безотказного и эффективного функционирования приходится формировать группы взаимно удаленных узлов. Перечисленным особенностям удовлетворяют решения раздела 3 статьи.
Рассматриваемые в разделе структуры можно считать клеточными автоматами с дальними связями, причем здесь дальняя связь существенно отличается от реализации таковой в обычных клеточных автоматах. Во-первых, как показано в разделе 3.2, возможны дальние связи, не задерживающие данные не только при их ретрансляции через узлы, но и при выполнении над данными вычислений. В клеточных автоматах такая возможность не предусмотрена. Во-вторых, в разделе 3.4 со ссылкой на [7] показан способ создания и быстрой реорганизации связи между
любыми узлами, исключающий прохождение сигналов через промежуточные узлы.
4. Заключение
В статье показано, что в сложных цифровых системах с сетевой архитектурой основным способом управления работой системы становится децентрализованное управление, работающее в жестких временных ограничениях. Приведены разработанные в ИПУ механизмы децентрализованного управления взаимодействием объектов систем с сетевой организацией, удовлетворяющие высоким требованиям к скорости реакции системы на непредвиденные события. Эти механизмы могут быть полезны также для ускорения работы алгоритмов, созданных для экономических и социальных сетей, что будет способствовать их применению в технических системах.
Литература
1. БУРКОВ В.Н., НОВИКОВ Д А. Теория активных систем: состояние и перспективы. - М.: Синтег, 1999. - 128 с.
2. КОТЮЖАНСКИЙ Г.А., НИСНЕВИЧ Л.Б., СТЕЦЮРА ГГ. Децентрализованное приоритетное управление в одноканальной системе обмена данными // Известия АН СССР. Техническая кибернетика. - 1970. - №6. - С. 115 - 119.
3. ПОДЛАЗОВ В.С., СТЕЦЮРА ГГ. О потребности в новых логических элементах // Журнал радиоэлектроники РАН. -2009. -№6. - иКЬ: http://jre.cplire.ru/.
4. ПРАНГИТТТВИЛИ И.В., ПОДЛАЗОВ В.С., СТЕЦЮРА ГГ. Локальные микропроцессорные вычислительные сети - М.: Наука, 1984. - 176 с.
5. СТЕЦЮРА ГГ. Методы поддержки автономности систем управления жесткого реального времени // Труды IV международной конференции по проблемам управления. -М.: ИПУ РАН, 2009. - С. 1679 - 1684.
6. СТЕЦЮРА ГГ. Методы совмещения вычислений и переда-
чи данных в мультипроцессорных системах и локальных сетях. - М.: ИПУ РАН, 2005. - 86 с. - URL:
http ://www .ipu.ru/labs/lab31 kom/gg s.zip.
7. СТЕЦЮРА ГГ. Уменьшение сложности распределенного коммутатора для параллельных систем обработки данных // Автоматика и телемеханика. - 2010. - №5. - С. 147 -
154.
8. СТЕЦЮРА Г.Г. Быстрые децентрализованные алгоритмы устранения конфликтов и тупиков при доступе к ресурсам в системах обработки данных и управления // Автоматика и телемеханика. - 2010. - №4. - С. 181 - 190.
9. An architectural blueprint for autonomic computing. Autonomic Computing White Paper. Third Edition. - IBM. 2005.
10. Autonomic Computing, Concepts, Infrastructure, and Applications / Eds. Parashar M., Hariri S. - CRC Press. 2007. - P. 539.
11. SIXTO ORTIZ Jr. Active Networks: The Programmable Pipeline // Computer. - 1998. - Vol. 31, No. 8. - P. 19 - 21.
12. TENNENHOUSE D.L. at alias. A Survey of Active Network Research // IEEE Communications Magazine. - 1997. - Vol. 35, No.1. - P. 80 - 86.
MECHANISMS OF OBJECTS INTERACTION IN NETWORK-STRUCTURED DIGITAL SYSTEMS
Guennady Stetsyura, Institute of Control Sciences of RAS, Moscow, Doctor of Science, professor (Moscow, Profsoyuznaya st., 65, (495) 334-7S-31).
Abstract: Features of operation control in complex digital data processing and control systems with network structure are considered. Need for fast communications in such systems is reasoned. Some mechanisms developed in Institute of Control Sciences of RAS are reviewed, which accelerate interaction of system objects.
Keywords: network-structured system, autonomous system, technical active system, distributed control.
Статья представлена к публикации членом редакционной коллегии Д. А. Новиковым
