CC BY
11
УДК 004.75
DOI: http://doi.org/10.25728/pu.2022.3-5
СПОСОБ УСКОРЕНИЯ ДЕЦЕНТРАЛИЗОВАННОГО УПРАВЛЕНИЯ
ОДНОВРЕМЕННЫМ ЗАПУСКОМ ДЕЙСТВИЙ В РАСПРЕДЕЛЕННОЙ ГРУППЕ АВТОМАТИЧЕСКИХ УСТРОЙСТВ С ВКЛЮЧЕНИЕМ РЕТРАНСЛЯТОРА
Г.Г. Стецюра
Аннотация. Предлагается способ ускорения децентрализованных процессов синхронизации для распределенного управления группой стационарных или мобильных автоматических объектов, позволяющий объектам в заранее неизвестный момент одновременно переходить в заданные состояния. Действия объектов зависят от их текущего состояния и внешней среды и должны начаться согласованно во времени с как можно меньшей задержкой после обнаружения всеми объектами возможности их выполнения. Такими объектами могут быть компьютеры вычислительного кластера, распределенные средства обработки данных в суперкомпьютерах, мобильные роботы, исполнительные механизмы, действующие на внешнюю среду. Синхронизация произвольно расположенных источников исполнительных команд и их приемников осуществляется путем обмена сигналами и сообщениями между объектами через посредника, в качестве которого выступает ретранслятор сигналов. Используются средства точного измерения временных интервалов передачи сигналов между каждым объектом и ретранслятором. Для ускорения процессов синхронизации применяются групповые операции, обладающие следующими общими свойствами. В них одновременно участвует большое количество объектов. Данные, которые они доставляют в сообщениях, используются в операциях одновременно. Обработка данных происходит в процессе их передачи, без увеличения этого времени. Операции выполняются сетевыми устройствами объектов и не содержащим вычислительных средств общим сетевым устройством - ретранслятором.
Ключевые слова: одновременный запуск групповых операций, децентрализованное управление, синхронизация движущихся объектов, быстрые распределенные внутрисетевые вычисления, многослойная синхронизация.
ВВЕДЕНИЕ
В статье решается задача ускорения децентрализованного управления запуском совместного действия распределенной группы цифровых объектов: компьютеров компьютерного кластера, распределенных средств обработки данных в суперкомпьютерах, мобильных роботов, исполнительных механизмов, действующих на внешнюю среду.
Задача следующая. Имеется распределенная группа источников общей команды, которая создается совместно этими источниками и направляется распределенной группе объектов-приемников -
исполнителей команды. Объекты в группах расположены произвольно, могут изменять свое расположение и объединены сетью связи. Получив команду, все приемники должны выполнить указанные в команде действия одновременно или с заданными в команде для каждого приемника временными задержками. Момент отправки команды заранее неизвестен и зависит от текущего состояния объектов и внешней среды. Действия объектов должны начаться с возможно меньшей задержкой после отправки источниками частей общей команды. При работе объектов в распределенной системе управления также важно уменьшать задержку формирования всеми объектами общей команды, которая создается группой объектов системы. Все
объекты, источники и приемники, должны действовать без выделенного центра управления работой объектов.
Решение задачи состоит из двух частей, соответственно для источников и приемников команды. Действия источников были представлены в предыдущих публикациях автора и кратко изложены в § 3 настоящей статьи. Вводится дополнительное звено связи между объектами - ретранслятор сигналов RS, простое, не содержащее вычислительных средств и даже логических элементов устройство. Оно только принимает сигналы объектов на одних частотах и ретранслирует их объектам на других частотах, но не может выдавать по собственной инициативе команды и поэтому не служит центром управления. Объекты-приемники принимают сигналы только от RS. Использование дает следующие центральные для статьи результаты.
Предложенная синхронизация действий объектов позволяет источникам посылать сообщения в RS с одновременным приходом к нему одноименных двоичных разрядов всех сообщений. Для приемников RS действует как единственный источник, заменяющий всю предыдущую группу источников. Теперь объекты должны учитывать только изменения в удаленности объектов относительно RS. Источники посылают сообщения единственному приемнику - RS. Приемники получают сообщение только от RS. Это упрощает сетевые технические средства и уменьшает время исполнения команды. Добавление RS исключает помехи от поступления в приемники сигналов источников. Без RS сигналы группы источников, даже посылаемые одновременно, поступят в приемники в виде помех в разные, практически не контролируемые моменты времени.
В статье применены групповые операции и команды, которые выполняют распределенные управляющие и вычислительные операции за время, не зависящее от количества объектов - одновременных участников операции. Как будет показано, только наличие RS позволяет компьютерам распределенных объектов выполнять групповые операции на высоких скоростях.
Для решения поставленной задачи необходимо определять время переноса сигналов между объектами и RS. В разных технических областях для этого разработано много решений. Наиболее полезны для целей статьи результаты двух стандартизированных решений по синхронизации часов распределенных объектов и высокоточному измерению расстояний между объектами. В промыш-
ленности широко применяется стандарт IEEE 1588-2008 Precise Time Protocol (PTP) [1]. В PTP измерение времени переноса сигнала использовано для синхронизации показаний часов объектов. В зависимости от особенностей конкретного применения, точность изменяется в диапазоне от десятков микросекунд до восьми наносекунд. Для проведения точных физических экспериментов в ЦЕРН в рамках проекта White Rabbit (WR) [2, 3] были разработаны способы измерения времени переноса сигнала между объектами, обеспечивающие пикосекундную точность. В настоящее время создан стандарт, объединяющий оба решения, -IEEE 1588-2019 High Accuracy Default PTP Profile (HA) [4]. В PTP и WR взаимодействие объектов выполняется в режиме «ведущий - ведомый». И PTP, и WR могут работать на сетях большой протяженности.
Ниже применены решения PTP и WR, но с учетом поставленной в настоящей работе задачи внесены дополнения. В статье рассматривается интенсивный обмен данными между объектами для управления действиями объектов и выполнения распределенных вычислений, требующий уменьшения задержек в доставке данных. Поэтому далее речь пойдет только о системах, в которых объекты взаимно удалены на расстояние от долей метра до нескольких сотен метров.
Решения, предлагаемые в статье, ориентированы на задачи с непредсказуемым заранее временем исполнения приемниками команды, поэтому часы не применяются. Отсутствует ведущий объект, все объекты равноправны.
Наличие RS - дополнительного устройства между объектами - вызывает естественный вопрос о снижении отказоустойчивости системы. Но благодаря простоте RS их количество может быть увеличено и использовано для замены отказавших RS. Кроме этого, функции RS могут быть переданы любому объекту. Настоящая статья не рассматривает вопросы отказоустойчивости.
В начале данного раздела приведены существенно различные по организации цифровые объекты, к которым должны быть применимы способы, предлагаемые в статье. Это выполняется, но для конкретного вида объектов требуется уточнять многие технические детали. Например, для многих видов мобильных объектов связь должна выполняться только путем обмена ненаправленными радиосигналами через единственный RS. В суперкомпьютере целесообразно применить направленные оптические связи с коммутацией сигналов через тысячи одновременно доступных RS. Но в
56
CONTROL SCIENCES No. 3 • 2022
каждом из этих случаев способы, изложенные в статье, не требуют изменений.
Материал статьи следующим образом распределен между ее разделами. В § 1 рассмотрены принципы измерения времени в PTP и WR, полезные для дальнейших разделов статьи. В § 2 приведена структура связей, используемая далее для синхронизации действий источников и приемников команд. В § 3 дан способ выполнения приемниками команд источников одновременно или с заданными в команде для каждого приемника временными задержками. В § 4 приведен способ распределенного управления взаимодействием источников. В § 5 рассмотрена многослойная синхронизация выполнения команд приемниками. Здесь приемники слоя, выполнив команду, становятся источниками команды для следующего слоя приемников и т. д. В § 6 дана краткая сводка групповых операций. В § 7 показана связь предлагаемых в статье сетевых операций с операциями ассоциативных вычислительных средств.
1. ОСОБЕННОСТИ ИЗМЕРЕНИЯ ИНТЕРВАЛОВ ВРЕМЕНИ в РТР и WR
Основная схема измерения в РТР интервалов времени показана на рис. 1, а.
Рис. 1. Измерение времени в РТР и вариант его использования
Здесь взаимодействуют два объекта - ведущий и ведомый ("master-slave" по распространенной терминологии). В момент времени t1 ведущий посылает ведомому сигнал начала синхронизации и показание своих часов. Сообщение поступает в момент t2. Ведомый в момент t3 посылает ведуще-
му ответный сигнал и новое показание своих часов. Ведущий в момент t4 получает ответ ведомого, определяет расстояние между этой парой объектов, определяет расстояние (удаленность) от ведомого и сообщает его ведомому. Ведомый корректирует часы. За исключением ряда важных деталей в этом состоит основа корректировки времени в РТР.
Для целей настоящей статьи потребуется упрощенный вариант измерения, показанный на рис. 1, б. Часы не используются. Имеется объект ИЗ - ретранслятор сигналов. Для оптических сигналов в качестве ИЗ можно использовать пассивный ретрорефлектор. Произвольный объект 0г включает свой таймер и в момент ^ посылает в ИЗ сигнал. Сигнал поступает в ИЗ в момент С задержкой срабатывания ИЗ в момент сигнал будет отправлен в ИЗ и в момент t4 объект 0[ определяет время переноса сигнала между 0г и как Т0гКЗ = и - Ь - -
В WR используется более точный фазовый способ измерения интервалов времени. В работе [5] для этого предложено электронное устройство, измеряющее время передачи сигнала между объектами достаточно простыми средствами. Достигнута точность в фемтосекундном диапазоне. В настоящей статье этот способ можно применять непосредственно или как средство контроля стабильности участвующих в измерениях устройств объектов.
2. СВЯЗИ МЕЖДУ ИСТОЧНИКАМИ И ПРИЕМНИКАМИ КОМАНД
На рис. 2 показана структура связей, использованная в настоящей работе для обмена сигналами и сообщениями между источниками и приемниками команд.
So
J RS„
Soj I «-\...........................................
Рис. 2. Связи между источниками и приемниками команд
Система объектов имеет группу Re приемников команд {Re,}, группу So источников команд {Soy},
Ведущий Ведомый
„ N
t2 t3
У
t4
Oí RS
t4
t2 t3
a
б
t
ретранслятор RS сигналов источников и приемников. До § 4 будем считать, что только один произвольный источник из So посылает команду приемникам из Re. Источник посылает команду не непосредственно Re, а через RS. При этом двоичный разряд «1» кода команды источник посылает в RS сигналом несущей частоты /ь двоичный разряд «0» посылается сигналом другой частоты /0. Ретранслятор переводит эти сигналы соответственно в другие сигналы / и /0 и посылает приемникам. Сигналы не изменяются при операциях WR. Как отмечено во введении, объекты принимают только сигналы, ретранслируемые RS объектам.
Из изложенного следует, что RS действительно простое, не содержащее логических элементов устройство и активно не участвует в управлении действиями объектов.
Наличие RS - основа использованной в статье синхронизации действий объектов. При этом RS уменьшает объем передаваемых данных и времени, необходимых Rei для организации синхронного выполнения задания. Без сбора сообщений в одну точку - RS - решение задач статьи, как отмечено во введении, требует больших затрат времени. Эти возможности детально рассмотрены в следующих разделах статьи.
Связи между объектами могут быть беспроводными и проводными. Беспроводные связи предоставляют дополнительные возможности. К примеру, для мобильных объектов допустимы только беспроводные связи. В стационарных суперкомпьютерах беспроводные связи между группой объектов и группой RS позволяют быстро перестраивать структуру системы в пределах решения одной задачи. Также упрощается восстановление системы при отказах RS. Они избавляют от дублирования и троирования состава ретрансляторов. Так, если есть хотя бы один запасной ретранслятор, то при отказе какого-либо из ретрансляторов объекты без промежуточных коммутаторов переключатся на резервный ретранслятор. Обнаружить отказ помогает широковещательная передача логической шкалы, доступной одновременно всем объектам (см. § 4).
3. СИНХРОНИЗАЦИЯ ПРОЦЕССА ВЫПОЛНЕНИЯ КОМАНД ПРИЕМНИКАМИ
В данном разделе изложен способ выполнения точной синхронизации приемников - исполнителей команд, объединенных в соответствии с рис. 2. Каждый приемник до получения исполнительной команды, запускающей процесс синхронного вы-
полнения исполнительных действий, получает описание его действия в предварительной команде. Эти команды могут быть посланы разными источниками в произвольном порядке или в виде единого сообщения, состоящего из сообщений отдельных источников. Такой способ показан в § 4.
До реализации исполнительной команды каждый приемник должен измерить время прохода сигнала (оптического или радиосигнала, имеющих скорость света с) между приемником и RS (удаленность от RS). Здесь предлагается вариант измерения, который требует введения дополнительных частотных каналов, но позволяет проводить измерения независимо и одновременно с другими процессами обмена сообщениями между объектами.
Первая задача приемников в процессе измерения времени состоит в его запуске без привлечения специального центра управления, задающего объектам порядок измерения. Для этого приемники из Re, которым требуется определить удаленность от RS, посылают в RS специальный синхросигнал S. Длительность его должна быть не меньше Т -наибольшего интервала времени переноса сигнала между RS и любым приемником. Приемник посылает сигнал S, если он не получил до этого момента возвращенный от RS сигнал S, посланный другими источниками. При длительности сигнала S > Т общий сигнал S создается наложением отдельных сигналов S объектов в единственный общий сигнал S переменной длительности. Ретранслятор преобразует S в единственный сигнал Srs и широковещательно рассылает его приемникам Re.
Момент прекращения приема сигнала Srs приемник воспринимает как сигнал ¿га начала синхронизации, созданный без привлечения центра управления (см. также работу [6]). Далее предполагается, что приемники из Re имеют порядковые номера. Объект Rei с известным наименьшим номером I, например, с г = 1, проводит измерение его удаленности от RS. Так поступают все приемники. Этот процесс может выполняться непрерывно, одновременно с другими процессами взаимодействия объектов. Некоторые варианты данного действия объектов приведены в статье [6]. В частности, если не требуется высокая точность синхронизации (не требуется различать временные интервалы < Т), то в соответствии с работой [6] объектам достаточно обмениваться между собой сигналами непосредственно, без наличия RS.
После завершения измерения приемниками Rei их удаленности Тг от RS начинается процесс синхронного выполнения всеми приемниками команды источника. Для этого каждый приемник выполняет следующую последовательность действий.
58
С0МТ1?01- ЭС^СЕв N0.3 • 2022
Шаг 1. Приемник вычисляет значение задержки й, = С - Т, + аг. Здесь С > Т, а, - не обязательная для Яв{ дополнительная задержка во времени; а( > 0. Используется С > 0, если требуется учесть затраты времени на дополнительные действия объектов.
Шаг 2. Каждый Ие,, получив команду, в момент ее завершения выполняет задержку й и после этого выполняет требуемые командой действия.
Команда после выхода из ИЗ поступает в Ие, через интервал времени Тг. Следовательно, при задержке й любой Яе( выполнит действия в момент времени т = Т + С - Т + а, = С + аг. Все Яе, выполнят команду одновременно в момент С после выхода команды из ИЗ или с задержками аг, что и требовалось.
Таким образом, после выхода команды из ИЗ для всех объектов переход в синхронное выполнение команды произойдет через время доставки команды к наиболее удаленному от ИЗ объекту. Если всем объектам известно Ттах (время переноса сигнала между ИЗ и наиболее удаленным от него объектом) и допустима замена С на Ттах, то будет выполнен переход в синхронное состояние за наименьшее возможное время.
Необходимо определиться с моментом отбора измерений Т, приемниками Ие,. Так как предполагается непрерывный процесс измерения приемниками значений Т, то можно брать последнее из измерений, выполненных до получения команды объектом. Но можно выполнить измерение при получении команды приемником. Если известно время определения Ие, значений Тг и й, то достаточно задать всем Ие, верхнюю границу времени определения Т и й, чтобы приемники откорректировали возможный разброс времени в определении этих значений.
Точность измерения Т существенно улучшается приведенным ниже способом, ориентированным на жесткие временные требования, что необходимо для согласования действий компьютеров, находящихся в приемниках Ие;. В этом способе будет по-прежнему проводить новое измерение расстояния до ИЗ после завершения измерений остальных приемников, но все эти измерения теперь проводятся в пределах одного общего для всех приемников сообщения. В нем измерению каждого отводится очень короткий временной интервал At.
Полагаем, что до применения предлагаемого способа приемники определили интервалы времени Т;, задана константа С, в лучшем случае С = Т [6]. Приемники Ие, также вычислили значения й,. Каждому Ие, для нового определения Т; выделен интервал времени Atг• одинаковой длитель-
ности А^ Способ предполагает следующую последовательность действий.
Шаг 1. Приемники Ие,, как изложено выше, посылают в ИЗ сигнал 5, получают от ИЗ сигнал 5га. По сигналу завершения сигнала каждый Ие, поочередно по • в своем интервале Atг• посылает в ИЗ тест-сигнал 5t длительности, меньшей длительности А^ располагая 5t в центре At^
Шаг 2. Так как всем Ие, известно значение А^ то все Ие, отправят свои Atг• в одном общем сообщении ЗС длительности nAt, где п - количество приемников.
Шаг 3. Сигналы 5t сообщения ЗС поступят в ИЗ, преобразуются в 5t и возвратятся приемникам. По смещению 5t в пределах Atг• приемник определит новое Т,.
Для того, ч тобы способ был работоспособен и полезен, требуется выполнение двух условий. Во-первых, сигнал 5t при любом перемещении Ие, не должен выходить за пределы Atг•. Во-вторых, длительность nAt должна быть меньше длительности предыдущего способа определения Т,, использующего группу отдельных сообщений. Покажем, что это достигается.
При неподвижных и не подверженных внешним воздействиям Ие, при любом количестве измерений Т, сигнал 5t будет находиться в центре At. Иначе 5t смещается.
Пусть максимальное расстояние между ИЗ и любым Ие, равно Ь, максимальная скорость перемещения равна V. Тогда за время измерения Т приемник сместится не более чем на расстояние Ь = Tiv. При этом сигнал 5t сместится в пределах At не более чем на интервал времени At = Ь / с = = Т[ v/c. Интервал At должен быть не меньше 2 At, чтобы 5t не перешел в соседний интервал At. Весь цикл измерений для п приемников будет выполнен за интервал времени 2пТ v/c << пТ{. Выделение отдельного частотного канала для сигналов каждого Ие, устранит зависимость от п и уменьшит допустимое время измерения удаленности от ИЗ для всей группы Ие.
Изложенные решения обеспечивают минимальную задержку в исполнении направляемой приемникам команды. Действительно, при наличии ИЗ он действует как единственный источник команды. Приемник измеряет удаленность от ИЗ до получения команды и задержка в начале ее выполнения отсутствует. Далее каждый приемник должен начинать выполнять команду только при получении команды всеми приемниками, задерживая выполнение с учетом своей удаленности от ИЗ. Как показано выше в этом разделе, вся информация для этого приемникам доступна заранее и, получив команду, приемник с соответствующим ему
сдвигом во времени начинает ее выполнение. Таким образом, наличие RS устраняет задержки в выполнении команды. При отсутствии RS задержка возникает обязательно.
Если общую команду формирует группа источников и отсутствует RS, то одновременность действий приемников достигается только при замене RS одним из источников - лидером. Лидер будет действовать как RS. Такой процесс неприемлемо длительный.
В следующем § 4 источники отправляют сообщения приемникам только через RS, регулируя время прихода сообщения в RS с учетом удаленности источника от RS. При этом источники, действуя подобно приемникам, определяют удаленность до RS и затем посылают сообщения так, чтобы они достигли RS одновременно или в заданном порядке. Удаленность до RS источники определяют заранее и формирование общей команды будет выполнено без задержек, например, следуя решениям § 6.
Способ измерения переноса сигнала (РТР, WR) без изменения решений статьи можно заменить другим известным способом. Таким образом, во всех случаях наличие RS минимизирует задержку начала выполнения общего действия приемников.
Изложенным завершен процесс синхронизации выполнения команд для структуры с единственным RS, посылающим сигналы всем приемникам группы Re. В § 5 будет рассмотрена более общая задача. Но вначале в § 4 рассмотрим совместные синхронные действия группы источников.
4. СИНХРОННЫЕ ДЕЙСТВИЯ ГРУППЫ ИСТОЧНИКОВ
Синхронные действия группы источников были рассмотрены в статье [6], но они многократно используются в настоящей статье и здесь дано более соответствующее § 3 краткое изложение действий группы источников.
Подобно действиям приемников, в § 3 источники организуют действия следующим образом. Источники SOj из группы источников So, упорядоченные по у, посылают в RS сигнал S, в ответ получают от RS сигнал Srs и сигнал Srs - признак завершения S. После этого Soj поочередно определяют удаленность от RS и вычисляют задержки Dj = С - ^ + подобные йг, С, Тг, аг из § 3. Теперь источники могут без использования выделенного центра посылать синхронно сообщения (и команды приемникам) в RS.
Для описания дальнейших действий источников вводится логическая шкала LS - последовательность двоичных разрядов в количестве, рав-
ном количеству источников в So. Источник SOj, которому требуется передать сообщение в RS, вносит в соответствующий ему разряд j шкалы LS единицу, которая передается в RS сигналом с несущей частотой /ь Остальные разряды LS могут не содержать двоичных значений или SOj вносит в них ноль, который передается сигналом /0. Во втором случае при одновременном приходе в RS и далее в Rei от нескольких источников сигналов / и /0 они в некоторых операциях Rei воспринимаются как пара сигналов, но в большинстве операций считаются сигналом /\.
Для начала взаимодействия с RS источники посылают в RS сигнал S, получают в ответ Srs и Srs. После этого с задержками Dj источники посылают в RS свои шкалы LS и получают объединенную шкалу LS, в которой совмещены одноименные разряды всех полученных RS шкал. Теперь SOj могут послать упорядоченно свои сообщения в RS, не задерживаясь на источниках, не затребовавших передачу сообщений.
Таким образом, получен полезный результат. Источники упорядочивают свои сообщения, посылая их в RS. Теперь RS действует как единственный источник, рассылающий от RS приемникам сообщения-команды. Источники одновременно могут быть приемниками, что позволяет им согласовывать совместные действия. В частности, SOj могут подтвердить согласие всей группы So на выполнение команды, отправленной в Re. В § 6 будет показано, что RS может не только действовать как ретранслятор сигналов, но для ряда распределенных между членами So операций может их выполнять без включения в состав RS логических элементов.
В отличие от синхронных действий объектов, при асинхронных действиях отсутствует возможность указать время занятия RS объектом. В этом случае применим барьерную синхронизацию в виде, приведенном в работе [7]. В ней один или несколько выполняющих общую операцию объектов на время выполнения операции посылают доступный всем объектам сигнал В, отличающийся от всех других сигналов. При работе нескольких объектов и завершении каким-либо объектом его работы этот объект прекращает передавать сигнал В. При завершении работы всех участников операции передача сигнала В прекращается. Его отсутствие разрешает другим объектам начать следующую операцию. Если не применить эти действия, то при асинхронных действиях объектов значение С придется выбирать неоправданно большим. Операции источников § 4 использованы в следующем § 5 при многослойной синхронизации действий в Re.
5. многослойная синхронизация групп приемников
В отличие от § 3, здесь общая группа объектов разделена на подгруппы (слои) Lel, Ьe2, ..., Ьеп. (рис. 3). В пределах слоя объекты действуют, как показано в предыдущих разделах. Сигналы, которыми они обмениваются, недоступны объектам других слоев. Но ретрансляторы ИЗ слоя под управлением объектов слоя могут объединяться с ИЗ следующего слоя. Первый слой приемников получает команды источников в соответствии с § 3 непосредственно от Зо слоя. Затем группа Ие приемников первого слоя через свой ретранслятор действует как группа источников для приемников второго слоя, согласовав свои действия в соответствии с § 4. Для этого ИЗ этих слоев действуют совместно - ретранслятор второго слоя транслирует объектам второго слоя сигналы первого слоя, а также посылает сигналы второго слоя первому. Аналогично будут действовать приемники следующих слоев. В простейшем случае требуется, чтобы приемники последнего слоя синхронно выполнили действия по отношению к внешним объектам. В более сложном случае компьютеры приемников и компьютеры источников слоя при выполнении совместных действий будут через свой ИЗ обмениваться сообщениями, которые будут одновременно доступны всем этим объектам и должны использоваться для корректировки их действий, что потребует дополнительного времени. Начнем с простейшего процесса 1.
Ье\ Ье2 Ьеп
Л ( Л"? V ¿О
V ( Ко я—
Рис. 3. Многослойная синхронизация групп приемников
Процесс 1. Объекты разделены на к слоев, к = = 0, ..., п. Объекты-приемники слоя к для взаимодействия с приемниками слоя к + 1 переходят в режим работы источниками. Новые источники слоя к действуют в соответствии с положениями § 3, синхронизуя приемники слоя к + 1. Перемещаясь от слоя к слою, этот процесс достигает слоя, действия приемников которого требуется синхронизовать. Синхронизация будет выполнена. При
этом промежуточным слоям запрещено выполнять какие-либо внешние действия.
Если требуется, чтобы приемники всех слоев с одинаковым для всех слоев временем выполнения действий С одновременно выполнили внешние действия, не требующие обращения к ИЗ, то для этого используем процесс 2, дополняющий действия процесса 1.
Процесс 2. Приемники произвольного слоя к < п после получения команды многократно вычисляют значение ¥ = п - к, увеличивая к на единицу. При каждом вычислении ¥ формируется задержка времени С, после достижения которой вычисляется следующее значение ¥.
При получении ¥ = 0 приемники слоя выполнят внешнее действие. При первом вычислении для слоя к = 0 получим ¥ = п, для слоя к = 1 получим ¥ = п - 1 и т. д. В результате в момент получения команды в последнем слое приемники во всех слоях получат ¥ = 0 и одновременно выполнят внешнее действие.
Кроме внешних действий компьютерам объектов слоя к может потребоваться обмен данными, командами и выполнение распределенных вычислений, занимающие для этого их общий ресурс ИЗк. Если можно указать верхнюю границу С занятия этого ИЗк объектами слоя, то при поочередной работе слоев время занятия учитывается выбором соответствующего значения С вместо С.
При наличии асинхронно действующих объектов лучший временной результат дает применение следующего двухфазного процесса синхронизации.
Фаза подготовки к синхронизации. В ней для
первого слоя асинхронно выполняется подготовка данных источниками для передачи их приемникам первого слоя. Все действия выполняются с применением барьерной синхронизации (§ 4). Приемники первого слоя при необходимости также асинхронно формируют дополнительные данные для подготовки действий в качестве источников второго слоя. Переход к действиям второго слоя выполняется по сигналу барьерной синхронизации. Так поочередно выполняется работа всех слоев. Пока не требуется одновременное выполнение всеми слоями внешних действий, они будут выполнены на следующей фазе.
Фаза синхронизации. Процесс подобен процессу 2, но теперь все слои перенумерованы в обратном порядке, последний слой п имеет номер 0. Для синхронизации объекты слоя с новой нумерацией к = 0 действуют как источники и начинают синхронизацию приемников всех слоев. После получения команды объекты многократно вычисляют значение ¥ = п - к, увеличивая к на единицу, с
задержкой после каждого вычисления **С. При получении Е = 0 во всех слоях приемники одновременно выполнят внешнее действие.
Фаза синхронизации выполняется быстрее, так как объекты здесь не выполняют никаких действий, кроме передачи команды в предшествующий слой. Поэтому С < С. В фазе синхронизации в дополнение к предыдущим процессам введена обратная связь, позволяющая также передавать результаты вычислений следующих слоев предыдущим.
Таким образом, получен следующий результат. Объекты, не используя общий центр управления, синхронизуют свои действия и выполнят их одновременно во всех слоях рассмотренной многослойной структуры объектов.
6. ОБЗОР ВЫПОЛНЯЕМЫХ В СЕТИ ГРУППОВЫХ ОПЕРАЦИЙ
В этом разделе приведем краткую сводку рассматриваемых в статье групповых операций как средства группового взаимодействия объектов. Ряд операций разработан для настоящей работы, другие были созданы автором раньше и адаптированы для целей статьи. Перечисленные ниже операции в разное время были разработаны в Институте проблем управления им. В.А. Трапезникова РАН (ИПУ РАН). Дальнейший текст достаточно полно излагает основные принципы действия групповых операций и не требует обращения к первоисточникам.
Основные свойства операций следующие. Данные для обработки операцией одновременно поступают от группы распределенных объектов -хранителей данных. Эти данные операции обрабатывают одновременно, причем обработка идет во время передачи данных, не увеличивая это время. Операции выполняются в сетевых средствах системы объектов без использования в них компьютеров и других вычислительных устройств. Время получения результата операции не зависит от количества обрабатываемых данных.
Эти результаты - следствие согласования действий объектов при помощи процессов синхронизации сообщений. Основное средство достижения синхронности действий объектов, не зависящее от расположения объектов в текущий момент времени, состоит в выделении для группы объектов одного объекта - ретранслятора сигналов RS. Синхронная доставка группы сообщений одному объекту RS с последующей пересылкой их группе приемников в виде одного общего для всех источ-
ников сообщения выполняется достаточно просто и быстро. Но это сообщение поступает к группе произвольно расположенных приемников в разное время. Используя RS, приемники вносят соответствующие задержки и одновременно выполняют требуемое от них групповое действие. Возвращаясь к предыдущим разделам статьи, легко проверить, что приведенные свойства выполняются во всех следующих операциях управления действиями объектов: синхронизация источников, синхронизация приемников, многослойная синхронизация, устранение конфликтов доступа, барьерная синхронизация.
Перечислим также распределенные вычислительные операции: поиск максимума и минимума, поразрядные логические операции И и ИЛИ, аналого-цифровые операции счета, сложения, вычитания. Эти операции в настоящей статье не использованы, но они ускоряют управление системой при поиске объектов с заданным набором свойств и для оценки состояния системы в целом. Описание их есть, например, в работе [7]. Кратко изложим принцип их работы.
Для определения максимума объекты посылают числа, представленные в двоичном коде, и на первом шаге передают старший разряд числа. В передаче следующего разряда участвуют только объекты, передавшие перед этим единицу, и т. д. Остается максимальное из переданных чисел. С заменой единиц на нули определяется минимум. От двоичного представления чисел можно перейти к другим системам счисления, если цифры числа представлять шкалой, в которой все разряды содержат нули, кроме разряда, соответствующего значению цифры.
Поразрядные операции И и ИЛИ позволяют быстро оценить состояние всех объектов системы. Для этого состояние объекта описывается шкалой - последовательностью двоичных разрядов, каждый из них равен единице при наличии соответствующего признака и равен нулю при его отсутствии и передается соответственно сигналами частот / и /0. Оценка состояния всех объектов выполняется при одновременной передаче шкал в RS с совмещением в RS одноименных разрядов последовательностей объектов. При выполнении операции И наличие в RS в разряде шкалы /0 означает отсутствие соответствующего признака хотя бы у одного объекта. Иначе признак присутствует у всех объектов. Для операции ИЛИ в этих же условиях наличие / означает наличие признака хотя бы у одного объекта. Иначе признак отсутствует у всех объектов.
Для выполнения аналого-цифровых операций RS содержит аналого-цифровой преобразователь (АЦП). Пусть объекты также характеризуют свое состояние шкалой - последовательностью признаков, представленных нулями и единицами. Если объекты пошлют свои шкалы в RS с совмещением одноименных разрядов, то АЦП оценит суммарную энергию принятых сигналов, выдаст численное значение присутствия признака во всех объектах. Его получат одновременно все объекты. Объединение таких операций с поразрядными И и ИЛИ позволяет получить более точную оценку состояния системы объектов. Выполнение сложения и вычитания чисел в системе счисления, отличной от двоичной, дано в работе [7]. В этих операциях цифры чисел представлены шкалами с единицей только в разряде шкалы, соответствующем значению цифры. Результат операций также не зависит от количества участвующих в ней объектов.
Для операций с АЦП требуются источники оптических сигналов со стабильным значением энергии сигналов. Современные технологии позволяют получать точное цифровое значение при одновременном суммировании нескольких тысяч сигналов. В работе [8] приведен простой светодиодный источник со стабильностью выходной мощности лучше 50 х10-6 °С-1.
7. ОБЩИЙ ВЗГЛЯД НА СПЕЦИФИКУ ПРЕДЛОЖЕНОГО СПОСОБА
Основные результаты статьи получены путем применения распределенных групповых операций, не используемых в известных системах с сетевыми связями. Их аналог - ассоциативные операции, предложенные в 1960-х гг. для сосредоточенных ассоциативных компьютеров (АК). Укрупненно ассоциативные операции выполнялись по следующей схеме.
В АК центр управления одновременно посылал общую команду группе ассоциативных узлов компьютера, содержащих ассоциативную память. В узлах выполнялись требуемые действия. Результат действий узлов мог быть доступен другим узлам и одновременно поступал в центр, который на основе полученных результатов формировал следующую команду, и т. д. Основным применением АК были системы управления, работающие в режиме жесткого реального времени. Пример - ассоциативный суперкомпьютер серии 8ТАЯАК, управляющий движениям самолетов в аэропорту им. Дж. Кеннеди в Нью-Йорке. Групповые операции статьи можно рассматривать как вариант ассоциа-
тивных операций, имеющий следующие дополнительные отличия. Операции распределенные и выполняются непосредственно в простом сетевом средстве - ретрансляторе. Ретранслятор не имеет вычислительных средств, тем не менее все приведенные в статье групповые операции в нем выполняются и позволяют управлять взаимодействием объектов и одновременно оценивать состояние всей совокупности объектов. Все приведенные в статье виды взаимодействия объектов выполняются децентрализованно, без применения управляющего центра. Таким образом, предложенные в статье структуры имеют одновременно сетевые и ассоциативные возможности.
Отметим, что в настоящее время проводится много исследований, направленных на выполнение в сетях не только переноса сообщений, но и других функций - управления транспортировкой данных, распределенных вычислений [9-12]. Однако эти важные направления работ отличаются от выполненных в ИПУ РАН тем, что в них новые функции выполняют компьютеры сетевых средств, групповые операции не используются.
ЗАКЛЮЧЕНИЕ
В статье предложен способ децентрализованного управления одновременным запуском действий в распределенной группе стационарных или мобильных автоматических объектов. Способ позволяет этим объектам начинать действия с минимальной задержкой после возникновения заранее неизвестного момента запуска.
Задачу одновременного запуска действий группы объектов при возможности указать заранее время действия успешно решает стандарт IEEE 1588-2019. Область применения стандарта расширяется на работающие в реальном времени управляющие системы путем добавления к этим возможностям запуска в заранее неизвестный момент времени
Предложенный способ обладает быстрой реакцией на возникающие события благодаря использованию сетевых групповых операций.
ЛИТЕРАТУРА
1. IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems / In IEEE Std 1588-2008 (Revision of IEEE Std 1588-2002), 2008. - P. 1-269. - DOI: 10.1109/IEEESTD.2008.4579760.
2. IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems / In IEEE Std 1588-2019 (Revision ofIEEE Std 1588-2008), 2020. - P. 1499. - DOI: 10.1109/IEEESTD.2020.9120376.
3. Girela-Lopez, F., Lopez-Jimenez, J., Jimenez-Lopez, M., et al. IEEE 1588 High Accuracy Default Profile: Applications and Challenges // IEEE Access, 2020. - Vol. 8. - P. 45211 - 45220.
4. Sliwczynski, L., Krehlik, P., Buczek, L., Schnatz, H. Picoseconds-Accurate Fiber-Optic Time Transfer with Relative Stabilization of Lasers Wavelengths // Journal of Lightwave Technology. - 2020. - Vol. 38, no. 18. - P. 5056 - 5063.
5. Moreira, P. Timing Signals and Radio Frequency Distribution Using Ethernet Networks for High Energy Physics Applications: A thesis submitted for the degree of Doctor of Philosophy (PhD). - University College of London, 2014. -302 p. https://discovery.ucl.ac.uk/id/eprint/1461109/1/ PMmoreira_PhD_Final-signed[1 ].pdf
6. Стецюра Г.Г. Децентрализованная автономная синхронизация процессов взаимодействия мобильных объектов // Проблемы управления. - 2020. - № 6. - С.47-56. DOI: http://doi.org/10.25728/pu.2020.6.5. [Stetsyura, G.G. Decentralized Autonomic Synchronization of Interaction Processes of Mobile Objects// Control Sciences. - 2020. - No. 6. - P. 47 -56. (In Russian)]
7. Стецюра Г.Г. Сетевая информационно-вычислительная поддержка взаимодействия подвижных роботов // Проблемы управления. - 2018. - № 5. - С. 56 - 65. DOI: http://doi.org/10.25728/pu.2018.5.6. [Stetsyura, G.G. Network Information-Computing Support of Automatic Mobile Objects Interaction // Automation and Remote Control. - 2019. - Vol. 80, no. 6. - P. 1134 - 1147. DOI: 10.1134/ S0005117919060110].
8. Bosiljevac, M., Babic, D., Sipus, Z. Temperature-Stable LED-Based Light Source without Temperature Control // Proceedings of SPIE OPTO. - San Francisco, CA, USA, 2016. - Vol. 9754. - P. 1-6. - DOI: 10.1117/12.2211576.
9. Tennenhouse, D.L. Towards an Active Network Architecture // SIGCOMM Comput. Commun. Rev. - 1996. - Vol. 26, no. 2. http://ccr.sigcomm.org/archive/1996/apr96/ccr-9604-tennenhouse.pdf .
10.Zilberman, N., Watts, P.M., Rotsos, C., Moore, A.W. Reconfigurable Network Systems and Software-Defined Networking // Proc. of the IEEE. - 2015. - Vol. 103, no. 7. - P. 1102 - 1124.
11. In-Network Computing. - ACM SIGARCH, 2019. https://www.sigarch.org/in-network-computing-draft/
12.Kim, D. Towards Elastic and Resilient In-Network Computing: PhD Thesis. - Carnegie Mellon University, 2021. http://reports-archive.adm.cs.cmu.edu/anon/2021/CMU-CS-21-143.pdf .
Статья представлена к публикации членом редколлегии
В.Г. Лебедевым.
Поступила в редакцию 28.11.2021, после доработки 5.05.2022.
Принята к публикации 19.05.2022.
Стецюра Геннадий Георгиевич - д-р техн. наук, Институт
проблем управления им. В.А. Трапезникова РАН, г. Москва,
H gstetsura@mail.ru.
Keywords: simultaneous start of group operations, decentralized control, synchronization of mobile objects, fast distributed intranet computing, multilayer synchronization.
64
CONTROL SCIENCES No.3 • 2022
THE SIMULTANEOUS START OF ACTIONS IN A DISTRIBUTED GROUP OF AUTOMATIC DEVICES: A DECENTRALIZED CONTROL METHOD WITH A SIGNAL REPEATER
G.G. Stetsyura
Trapeznikov Institute of Control Sciences, Russian Academy of Sciences, Moscow, Russia
H gstetsura@mail.ru
Abstract. This paper proposes a method for accelerating decentralized synchronization processes in the distributed control of a group of stationary or mobile automatic objects. With this method, the objects pass to specified states or affect the environment simultaneously or with required time delays. Some examples of such objects include actuators, computers in a computing cluster, distributed data processing facilities in supercomputers, and mobile robots. The object's action depends on the current state of all objects and the environment. The actions should start with minimum delay after detecting the possibility to perform them. Arbitrarily located sources of executive commands and their receivers are synchronized by exchanging signals and messages between objects through an intermediary (a signal repeater). Means are used to accurately measure the time intervals of signal transfer between each object and the repeater. Group operations are used to accelerate synchronization processes. These operations involve a large number of objects simultaneously. The object's data are used in operations simultaneously. Data are processed during their transmission without extra time. Operations are executed by network devices of the system objects and the common network device without any computing facilities (the repeater).
