CC BY
120
УДК 004.272.3 + 004.052.2
Э.В. Мельник, Д.Я. Иванов, В.А. Гандурин, А.Б. Клименко
МЕТОДЫ ОРГАНИЗАЦИИ ВЫСОКОНАДЕЖНЫХ СЕТЕЦЕНТРИЧЕСКИХ ИУС С РАСПРЕДЕЛЕННЫМ ДИСПЕТЧИРОВАНИЕМ И КЛАСТЕРИЗАЦИЕЙ*
Объединение концепций сетецентрической организации систем, принципов децентрализованного диспетчирования и резервирования производительности вычислительных узлов позволяет существенно повысить показатели надежности и отказоустойчивости информационно-управляющих систем. Вместе с тем, принципы функционирования сетецентрической информационно-управляющей системы (СИУС) с распределенным диспетчи-рованием и кластеризацией отличаются от ранее разработанных и реализованных концепций: отсутствие выделенных управляющих элементов, недетерминированность задач управления, а также недетерминированность коммуникационной среды ставят вопрос о необходимости синтеза комплекса методов, обеспечивающих функционирование СИУС. В данной работе освещены базовые вопросы организации СИУС с распределенным диспет-чированием и кластеризацией. Синтезирован комплекс методов, реализующих функционирование СИУС в основных режимах: диагностики, штатном и реконфигурации. Также представлены результаты экспериментального исследования перспективности метода имитации отжига с температурной схемой тушения в аспекте возможности использования данного метода для реконфигурации СИУС. Масштабируемость и надежность СИУС с кластеризацией и децентрализованным диспетчированием делает подобные системы одними из наиболее перспективных для дальнейшего использования на сложных объектах.
Сетецентрическая система; отказоустойчивость; надежность; информационно-управляющая система; децентрализованное диспетчирование.
E.V. Melnik, D.Ya. Ivanov, V.A. Gandurin, A.B. Klimenko
METHODS OF HIGHLY RELIABLE NET-CENTRIC INFORMATION-CONTROL SYSTEMS WITH THE DISTRIBUTION DISTRIBUTION DISPATCHING AND CLUSTERING
Combining the concepts of network-centric system organization, the principles of decentralized dispatching and performance reservation of computing nodes can significantly increase the reliability and fault-tolerance of control information systems. However, the principles of the network-centric information control system (NCICS) with distributed dispatching and clustering operation have some differences from previously developed and implemented concepts: lack of dedicated control elements, the indeterminacy of control task, as well as uncertainty of the communication environment raise the question of new complex methods of NCICS operation providing synthesis. This paper highlights the basic questions of the NCICS with distributed dispatching and clustering organization. A set of methods that implements the NCICS operation in the main modes (diagnosis, normal and reconfiguration) was synthesized. The methods basis using the modified metaheuristics (simulated annealing, ant colonies method, epidemic method) is composed. The article also presents the results of an experimental study of the simulated annealing with temperature quenching scheme method prospects in the terms of this method using possibility for NCICS reconfiguring. Scalability and reliability of NCICS with clustering and decentralized dispatching make this kind of NCICS some of the most promising for the further use on complex and hazardous objects.
Network-centric system; fault-tolerance; reliability; information-control system; decentralized dispatching.
*
Работа выполнена при поддержке РФФИ, грант № 14-08-00776-а.
Введение. В последние годы сетецентрический подход к построению информационно-управляющих систем (ИУС) находит применение в различных областях человеческой деятельности, например, при автоматизации процесса управления предприятиями [1—4], в атомной энергетике, в нефте- и газодобывающей отрасли [5, 6], в системах подводного наблюдения [7, 8], для управления робототехниче-скими объектами [9] и ресурсами железнодорожных сетей [10, 11], в сетях телекоммуникаций для МЧС и МО [12, 13], в распределенных лабораториях [14]. Сетецентрический подход активно используется в рамках концепции «интернет-вещей» [15, 16], и др. [17-20].
Суть данного подхода заключается в том, что системообразующим элементом распределенной системы является коммуникационная среда (КС), реализуемая на базе сетевых интерфейсов. Прочие устройства (устройства обработки информации, сенсоры, исполнительные устройства) взаимодействуют непосредственно через коммуникационную среду, что повышает эффективность использования имеющихся ресурсов.
Современные системы управления крупными объектами (в том числе меха-тронными) включают в себя большое количество разнородного оборудования, разнесенного территориально, кроме того, зачастую требуется объединение ИУС различных объектов. Поэтому сетецентрическую ИУС можно представить в виде множества процессорных устройств (ПУ) разбитых на кластеры, объединенные друг с другом.
К современным ИУС предъявляются высокие требования к масштабируемости, надежности и отказоустойчивости. Сетецентрические ИУС (СИУС) с кластеризацией, в основу которых положено децентрализованное диспетчирование [21], обладают высоким потенциалом в аспектах масштабирования и реконфигурации. Кроме того, еще одним несомненным плюсом является возможность унификации и, как следствие, удешевления программного обеспечения таких систем. Реализация такого подхода требует создания новых методов и алгоритмов группового взаимодействия ПУ, в частности, необходима разработка механизмов, позволяющих независимым элементам системы кооперативно решать как задачи управления, так и задачи, необходимые для решения в случае возникновения сбоев отдельных узлов.
Данная статья посвящена вопросам разработки комплекса базовых методов, реализующих функционирование СИУС с кластеризацией. Далее изложены: краткие сведения о базовой концепции сетецентрических ИУС с кластеризацией с учетом основных режимов функционирования, приведены и описаны методы, являющиеся модификацией известных метаэвристических методов, реализующие функциональность ИУС в различных режимах функционирования. Также проведен вычислительный эксперимент для получения оценки перспективности использования модификаций известной метаэвристики «имитация отжига» в режиме реконфигурации ИУС.
Сетецентрические ИУС с распределенным диспетчированием и кластеризацией. СИУС с распределенным диспетчированием и кластеризацией может быть представлена следующим образом. Все ПУ СИУС группируются в кластеры так, что каналы связи между ПУ одного кластера образуют полный граф. Каждый ПУ представлен агентом - локальным диспетчером (ЛД), ответственным за функционирование ПУ. Подзадачи графа задач управления (ЗУ) распределяются по ПУ с учетом имеющихся ограничений как на организацию кластеров, так и на реализацию информационного обмена между подзадачами [22]. Пример распределения подзадач по кластерам ПУ показан на рис. 1.
Рис. 1. Наложение графа задачи управления на сетецентрическую ИУС с распределенным диспетчированием и кластеризацией
Высокий уровень надежности ИУС обеспечивается посредством перераспределения подзадач между элементами системы за счет резерва производительности ПУ, а также некоторого (относительно небольшого) количества резервных узлов (скользящее резервирование [23, 24].
Выполненное сравнение показателей надежности сетецентрических ИУС, построенных на базе предложенной концепции, и СИУС, построенных на основе известных подходов (диспетчирование с выделением управляющего узла в кластере, централизованное диспетчирование) [22-24], позволило сделать следующие выводы:
♦ применение распределенного диспетчирования при построении сетецен-трических ИУС позволяет получить выигрыш не только по показателям надежности, но и по затратам на оборудование на 9-25 % (в части ПУ) по сравнению с ИУС с выделенными диспетчерами при той же конфигурации. Наибольший экономический эффект достигается в ИУС с кластерами небольшого размера (менее 10 ПУ);
♦ сетецентрические ИУС с распределенным диспетчированием демонстрируют показатели надежности выше (гамма-процентная наработка на отказ выше до 70 %), чем ИУС с централизованным диспетчированием.
В процессе функционирования СИУС для ПУ выделяется три основных режима функционирования: штатный, диагностики, реконфигурации (восстановления после сбоя). Переключения между режимами представлены на схеме рис. 2.
Рис. 2. Режимы работы СИУС
Далее предложены методы, являющиеся основой функционирования ПУ в каждом из основных режимов.
Режим диагностики. Диагностика СИУС осуществляется следующим образом: ЛД каждого ПУ с заданной периодичностью рассылают сообщения с информацией о состоянии своего ПУ. Уменьшение нагрузки на каналы связи достигается за счет рассылки сообщений не всем ПУ системы, а только тем из них, которые находятся с выбранным ПУ в одном кластере либо имеют прямые каналы связи. Такое множество ПУ будем называть локальной подгруппой выбранного ЛД.
«Эпидемические» алгоритмы позволяют осуществлять рассылку сообщений всем узлам сети при крайне небольшом (близком к минимальному) количестве пересылок, при этом вычислительная сложность этих алгоритмов невысока, что позволяет избежать чрезмерной вычислительной нагрузки. Различные модификации «эпидемических алгоритмов» отличаются правилами распространения информационного сообщения [27], а также способом прекращения передачи сообщений. Как правило, задачу прекращения передачи сообщений решают за счет наличия в сообщении некоторого счетчика, показывающего число осуществленных пересылок. При наличии полной информации о графе информационных связей в системе определение максимального значения счетчика является возможным, чего нельзя сказать о системах с недетерминированной структурой КС.
Для обеспечения рассылки сообщений в СИУС рассматриваемой структуры необходимо учитывать кластеризацию и вытекающие из нее особенности КС. В связи с этим предлагается дополнять каждое сообщение заголовочной частью, содержащей идентификатор ПУ-отправителя, идентификатор кластера, к которому принадлежит ПУ-отправитель, идентификатор сообщения. Так как сквозная нумерация сообщений в сложных распределенных системах с недетерминированной структурой затруднена, а совпадения идентификаторов сообщений крайне нежелательны, в качестве уникального идентификатора сообщения предлагается использовать хеш-сумму содержимого сообщения. Тогда предлагаемая модификация «эпидемического» алгоритма примет вид, представленный на рис. 3.
Предложенная модификация «эпидемического алгоритма» учитывает особенности структуры ИУС с кластеризацией и неполноту доступной ПУ информации о текущей структуре системы, позволяет поддерживать связь между узлами ИУС в случае возникновения сбоев. Предложенный алгоритм позволяет снизить количество передаваемых между кластерами сообщений, так как сообщение от одного кластера другому передается только по одной из существующих связей (в случае, если ни одно из ПУ не получало данного сообщения ни от одного из ПУ другого кластера). Соответственно общее количество сообщений уменьшается в
количество раз, равное среднему количеству связей между двумя различными кластерами. Также предложенный алгоритм позволяет снизить время выполнения рассылки, так как для получения сообщения всеми ПУ кластера достаточно одной пересылки. На рис. 4 приведен пример рассылки сообщений с использованием «эпидемического» алгоритма.
Рис. 3. Модификация эпидемического алгоритма Кластер 1 ] .^Кластер 3 ]
■ 1-й шаг ш»2 % 2-й шаг
^ Кластер_2 у ^ Кластер 4 у > 3-й шаг
Рис. 4. Пример рассылки с использованием эпидемического алгоритма
Режим реконфигурации. Учитывая недетерминированность структуры всей ИУС, осуществлять перераспределение всех решаемых подзадач в случае выхода из строя нескольких ПУ нецелесообразно. Достаточно осуществить реконфигурацию решаемых подзадач лишь в некоторой части ИУС, например внутри одного кластера. В связи с тем, что имеющихся в кластере резервов производительности может не хватить для перераспределения подзадач, предлагается осуществлять реконфигурацию в некоторой локальной подгруппе ПУ.
Подход с использованием локальных подгрупп для перераспределения задач широко применяется в групповой робототехнике и базируется на принципах роевого интеллекта [25]. Такой подход позволяет снизить вычислительную и коммуникационную нагрузку, связанную с мониторингом работоспособности отдельных узлов ИУС.
В том случае, если ЛД одного из ПУ обнаруживает отказ некоторого узла ИУС (ПУ, кластера, канала связи), он должен передать информацию об изменении структуры ИУС всем остальным ЛД. Для этого предлагается применять модификацию эпидемического алгоритма [26], описанную выше.
СИУС переходит в режим реконфигурации в случае выхода из строя одного или нескольких ПУ. (Выход из строя канала связи парируется благодаря своевременному изменению маршрутов передачи данных, как это показано в следующем разделе). В этом случае необходимо осуществить перераспределение подзадач между оставшимися в строю ПУ.
Предлагается использовать три эшелона обеспечения бесперебойной работы ИУС в случае выхода из строя отдельного ПУ:
1. Решаемые на вышедшем из строя ПУ подзадачи перераспределяются между ПУ того же кластера.
2. В случае, если имеющихся в кластере резервов производительности не хватает для перераспределения подзадач, осуществляется перераспределение внутри локальной подгруппы.
3. В случае, если имеющихся в локальной подгруппе резервов производительности не хватает для перераспределения подзадач, осуществляется перераспределение внутри группы, содержащей все инцидентные кластеры, имеющие прямые каналы связи с текущим кластером.
Такой подход позволяет снизить вычислительную и коммуникационную нагрузку, связанную с мониторингом работоспособности отдельных узлов ИУС.
Для решения задачи распределения подзадач применяются методы полного перебора, алгоритм имитации отжига [28] и его различные модификации [29], алгоритм поярусного размещения [23], алгоритм частичного размещения [23], различные модификации генетических алгоритмов [30]. Было проведено исследование перспективности использования имитации отжига [33, 34] для нахождения локальных решений, удовлетворяющих установленным ограничениям. Одним из существенных достоинств имитации отжига - как представителя методов последовательного стохастического поиска - является простота реализации. К недостаткам относят медленную сходимость алгоритмов. Для преодоления последнего был предпринят ряд попыток, реализованных в методах «сверхбыстрого» отжига и температурных схемах «тушения» [33].
Закон изменения температуры при использовании схемы «тушения» выглядит следующим образом:
Тк+1 = с ■ Тк, (1)
где Тк - температура на к-м шаге; Тк+1 - температуры на к+1 шаге; с - коэффициент тушения (обычно принимается в пределах от [0,6;1)).
Вычислительный эксперимент проводился для произвольно сформированного графа ЗУ размерностью 50 подзадач с необходимостью формирования ресурсов минимальной стоимости из 15-ти допустимых ПУ произвольной производительности. В качестве образцов алгоритмов ИО были выбраны алгоритмы с коэффициентами тушения 0.9, 0.8, 0.7, 0.6. Результаты эксперимента приведены на графиках рис. 5.
Рис. 5. Результаты сравнения алгоритмов ПГА и ИО с температурной схемой
«тушения»
Полученные результаты эксперимента позволяют сделать выводы о том, что ИО с температурной схемой тушения на сравнительно малом количестве вызовов ЦФ (>10 для проведенного эксперимента) позволяет получить в качестве решения найденный локальный минимум.
Штатный режим функционирования. В штатном режиме функционирования ЛД проводят мониторинг работоспособности всех узлов и определяют оптимальные или квазиоптимальные маршруты передачи данных между подзадачами. В распределенных ИУС с кластеризацией и децентрализованным диспетчировани-ем информационный обмен осложняется следующими факторами:
♦ отсутствием центральных управляющих элементов, обладающих полной информацией о текущей структуре ИУС и ее коммуникационной среды;
♦ недетерминированными изменениями структуры ИУС и коммуникационный среды в частности;
♦ недетерминированностью нагрузки на каналы.
Передача данных между ПУ внутри одного кластера не представляется сложной, ввиду того, что внутри кластера реализован полный граф связей по принципу «каждый с каждым» (обычно это одна общая шина данных). Таким образом, наибольший интерес представляют два последних пункта.
Адресную рассылку данных между ПУ в условиях неполной информации о топологии коммуникационной сети и распределении нагрузки на каналы связи целесообразно реализовать на основе роевого интеллекта, что показано в работах [36-38], опирающихся, в свою очередь, на метод «муравьиных колоний». В [36]
показано, что маршрутизация на основе метода «муравьиных колоний» имеет ряд преимуществ перед маршрутизацией с использованием других алгоритмов, в том числе алгоритма на основе мобильных программных агентов:
♦ уменьшенная нагрузка на каналы связи;
♦ неограниченное количество «муравьев»;
♦ «муравьи» независимы друг от друга;
♦ надежность. Потеря нескольких «муравьев» не отражается на работе системы, в то время как крах одного или нескольких мобильных программных агентов способен существенно нарушить коммуникации в системе;
♦ меньшая (в разы) вычислительная сложность (соответственно меньшая нагрузка на ПУ).
К недостаткам подхода обычно относят возможность возникновения закольцованных маршрутов. Таким образом, необходимо предусматривать механизм «гибели» тех муравьев, которые попали на замкнутый маршрут, чтобы не создавать ненужной нагрузки на коммуникационную среду.
В отличие от работ [4-6], в СИУС рассматриваемой структуры необходимо учитывать особенности коммуникационной среды, связанные с кластеризацией, а также особенностями информационного обмена при решении задач управления, а именно наличие довольно стабильных информационных связей между подзадачами. Таким образом, имеет смысл отслеживать маршруты только для имеющихся информационных связей, а не для полного множества возможных маршрутов. Так как мощность множества маршрутов нелинейно зависит от количества ПУ и связей между ними, то учет кластеризации позволяет упростить задачу маршрутизации.
Функции маршрутизации ложатся на ЛД. «Муравей» представляет собой сообщение-маршрутизатор, содержащее информацию о передатчике, о получателе и о загруженности всех пройденных каналов связи. На каждом промежуточном узле это сообщение дополняется новой информацией. Каждый ЛД отслеживает передачу и дополнение сообщений-муравьев, а также хранит таблицы значений «феромонов» для каждой информационной связи.
С учетом этого предлагается следующая последовательность действий ЛД при маршрутизации:
1) ЛД выбирает те информационные связи, которые начинаются на данном ПУ и выходят за пределы кластера;
2) для выбранных информационных связей ЛД с заданной периодичностью запускает сообщения-маршрутизаторы (содержание этих сообщений приведено выше);
3) при получении сообщения-маршрутизатора ЛД вносит в таблицу данныу о загруженности пройденных каналов связи и проверяет, не является ли данный ПУ приемником. Если является, то п. 4, в противном случае - п. 5);
4) ЛД отправляет на ЛД-передатчик сообщение о самом эффективном на данный момент маршруте для данной информационной связи, переход к п. 6);
5) ЛД проверяет, не проходило ли это сообщение через него ранее. Если проходило, то дальнейшая пересылка сообщения не осуществляется (это позволяет избежать зацикливания, характерного для классического «муравьиного алгоритма»);
6) ЛД строит закон распределения на основе текущих значений «феромона» из имеющихся в таблице данных. Канал связи для дальнейшей передачи сообщения выбирается на основе полученного закона распределения случайной величины.
Блок-схема алгоритма приведена на рис. 6.
Рис. 6. Схема маршрутизации, реализуемой ЛД
Следует учитывать полноту информационных связей внутри одного кластера, поэтому маркирование «феромоном» осуществляется не на один ПУ кластера, а на кластер целиком, что снижает количество отслеживаемых маршрутов и, следовательно, объемы данных в таблицах маршрутизации. На рис. 7 приведен пример работы «муравьиного» алгоритма.
Рис. 7. Некоторые варианты маршрутов с учетом кластеризации и без нее
Предложенный алгоритм использует таблицы маршрутизации меньшего размера (по сравнению с алгоритмами, описанными в работах [36-38]), что позволяет не только экономить оперативную память устройств, но и снижает вычислительную сложность сравнения параметров имеющихся маршрутов.
Использование предложенного алгоритма позволяет осуществлять маршрутизацию пакетов данных по наименее загруженным в данный момент каналам в условиях недетерминированного изменения структуры СИУС. Такой способ маршрутизации некритичен к внезапным изменениям структуры, связанным со штатным или нештатным выходом из состава СИУС отдельных узлов.
Заключение. В настоящее время СИУС находят применение во многих областях деятельности человека, в связи с чем актуален вопрос надежности таких систем. Децентрализация управления СИУС существенно повышает показатели отказоустойчивости, но при этом требует поиска новых методов и средств реализации базовых концепций, к которым относятся: отсутствие выделенных управляющих элементов и необходимость совместного решения задачи управления. Кроме того, СИУС обладает свойством недетерминированности КС и неопределенностью с точки зрения структуры задач управления, что делает затруднительным использование традиционных методов, реализующих функционирование информационно-управляющих систем.
В данной работе предложен комплекс методов, который может быть положен в основу СИУС с кластеризацией и децентрализованным диспетчированием. Комплекс является основой функционирования СИУС в режимах: штатном, диагностики и реконфигурации. Элементами комплекса являются модифицированные метаэвристики, на базе которых разработаны новые алгоритмы и программные средства, обеспечивающие работоспособность СИУС.
В заключение следует отметить, что масштабируемость и надежность СИУС с кластеризацией и децентрализованным диспетчированием делает подобные системы одними из наиболее перспективных для дальнейшего использования на сложных объектах.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Шишов А. Разработка и внедрение АСУ "Кузнецов" с применением сетецентрического подхода и мультиагентных технологий // XII Всероссийское совещание по проблемам управления ВСПУ-2014. - М., 2014. - Т. 16. - С. 9050-9062.
2. Федосеев С.А. Сетецентрический подход к задаче управления заказами на промышленном предприятии // XII Всероссийское совещание по проблемам управления ВСПУ-2014. - М., 2014. - С. 7524-7528.
3. Федосеев С.А., В.Ю.Столбов, Пустовойт К.С. Модель группового управления в сетецентрических производственных системах // Материалы конференции «Управление в технических, эргатических, организационных и сетевых системах» (УТЭ0СС-2012).
- СПб.: ГНЦ РФ ОАО «Концерн «ЦНИИ «Электроприбор», 2012. - С. 1240-1243.
4. Цветков В.Я. et al. Сетецентрическое управления промышленным предприятием // Известия вузов «Геодезия и аэрофотосъемка». - 2012. - № 1. - С. 106-108.
5. Коробкин В.В., Серогодский А.И. Безопасность функционирования программного обеспечения в управляющих системах на высокорисковых промышленных объектах // Шестая Всероссийская мультиконференция по проблемам управления (30 сентября -5 октября 2013 г.): Материалы мультиконференции в 4 т. - Таганрог: Изд-во ЮФУ, 2013. - Р. 228-232.
6. Коровин Я.С., Ткаченко М.Г., Кононов С.В. Оперативная диагностика состояния нефтепромыслового оборудования на основе технологий интеллектуальной обработки данных // Нефтяное хозяйство. - 2012. - № 9. - С. 116-118.
7. Машошин А.И. Алгоритмы управления интегрированной сетецентрической системой подводного наблюдения // Шестая Всероссийская мультиконференция по проблемам управления (30 сентября - 5 октября 2013 г.): материалы мультиконференции: в 4 т.
- 2013. - С. 112-116.
8. Пешехонов В.Г., Брага Ю.А., Машошин А.И. Сетецентрический подход к решению проблемы освещения подводной обстановки в Арктике // Известия ЮФУ. Технические науки. - 2012. - № 3 (128). - C. 219-227.
9. Заборовский В.С. et al. Сетецентрический подход к созданию системы удаленного управления робототехническими объектами с борта орбитальной станции // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление.
- 2013. - Т. 186, № 6. - C. 17-26.
10. Шабунин А.Б. et al. Сетецентричский подход к созданию распределенных систем управления ресурсами ОАО "РЖД" на основе мультиагентных технологий // Труды XIV Международной конференции «Проблемы управления и моделирования в сложных системах» ПУМСС'2012. - Самара: СНЦ РАН, 2012. - C. 724-734.
11. Шабунин А.Б. et al. Сетецентрический подход к созданию мультиагентной системы для управления производственными процессами ОАО «РЖД» // Материалы Международной научно-практической мультиконференции «Управление большими систе- мами-2011». 14-16 ноября. Т. 3. - М., 2011. - C. 222-225.
12. Шнепс М.А. О сетях телекоммуникаций для Системы 112, МЧС и МО // Int. J. Open Inf. Technol. - 2014. - Vol. 2, No. 3. -C. 1-10.
13. Шеремет И.А. Применение аппарата рекурсивных мультимножеств для формирования общей операционной картины в сетецентрических системах // 4-я Всероссийская мультиконференция по проблемам управления. - Таганрог: Изд-воТТИЮФУ, 2011.
- C. 261-262.
14. Dado E., Koenders E.A.B., Carvalho D.B.F. Netcentric Virtual Laboratories for Composite Materials // Compos. Their Prop. / ed. Hu N. InTech, 2012. - P. 227-244.
15. Ashton K. That "Internet of Things" ThingThing, in the real world things matter more than ideas // RFiD J. 2009.
16. Gubbi J. et al. Internet of Things (IoT): A vision, architectural elements, and future directions // Futur. Gener. Comput. Syst. - 2013. - Vol. 29. - P. 1645-1660.
17. Фархадов М.П., Душкин Д.Н. Сетецентрические технологии: эволюция, текущее положение и области дальнейших исследований // Автоматизация и современные технологии. - 2012. - № 1. - C. 21-29.
18. Рахманов А.А. Принципы и подходы к концептуальному проектированию сетецентрических систем // Известия ЮФУ. Технические науки. - 2010. - № 12 (113).
- C. 125-134.
19. Ефремов А.Ю., Максимов Д.Ю. Сетецентрическая система управления - что вкладывается в это понятие // 3-я Российская конференция с международным участием «Технические и программные средства систем управления, контроля и измерения» (УКИ-12). - 2012. - C. 158-161.
20. Чаусов Ф. Некоторые подходы к совершенствованию системы управления войсками (силами) нового облика // Время и флот. - 2011. - № 4. - C. 21-24.
21. Иванов Д.Я., Мельник Э.В. Принципы организации децентрализованных сетецентрических информационно-управляющих систем // Вестник компьютерных и информационных технологий. - 2013. - № 4. - C. 25-30.
22. Иванов Д.Я., Мельник Э.В. Маршрутизация и распределение нагрузки в коммуникационной среде сетецентрических информационно-управляющих системах с распределенным диспетчированием и кластеризацией // Актуальные вопросы современной техники и технологии: Сб. докл. XII Международной научной конференции (Липецк, 26 июля 2013 г.) / Под ред. Горбенко А.В. - Липецк: Издательский центр "Гравис," 2013. - C. 24-28.
23. Каляев И.А., Мельник Э.В. Децентрализованные системы компьютерного управления.
- Ростов-на-Дону: Изд-во ЮНЦ РАН, 2011. - 196 c.
24. Каляев И.А. et al. Методы и средства повышения безопасности и сокращения времени операций с ядерным топливом на АЭС с реактором типа ВВЭР-1000 / Под ред. Капустяна С.Г. и др. - Ростов-на-Дону: Изд-во ЮФУ, 2014. - 208 c.
25. DorigoM., BirattariM. Swarm intelligence // Scholarpedia. - 2007. - Vol. 2, No. 9. - P. 1462.
26. Kostadinova R., Adam C. Performance Analysis of the Epidemic Algorithms // Intell. Control Autom. - 2008. - No. 6. - P. 6675-6679.
27. Hollerung T.D., Bleckmann P. Epidemic Algorithms. URL: http://my.fit.edu/~gfrederi/ ComplexNetworks/09-Epidemic-Algorithms.pdf (accessed: 15.05.2015).
28. Alba E. Parallel Metaheuristics: A New Class of Algorithms // Parallel Metaheuristics A New Cl. Algorithms. - 2005. - 554 p.
29. Клименко А.Б. Экспериментальное сравнение эффективности температурных схем "тушения" для решения задачи планирования работ с одновременным формированием необходимого количества нескладируемых ресурсов // Евразийский совет ученых. Технические науки. - 2014. - Т. 4. - С. 85-87.
30. Сабанин В.Р., Смирнов Н.И., Репин А.И. Модифицированный генетический алгоритм для задач оптимизации и управления // Exponenta Pro. Математика в приложениях.
- 2004. - № 3-4. - C. 78-85.
31. Таранов А.Ю., Клименко А.Б., Клименко В.В. Методы распараллеливания имитации отжига при децентрализованном решении задачи составления расписания с определением минимального количества ресурсов // Сб. ст. по материалам XXII Международной научно-практической конференции «Естественные и математические науки в современном мире». - 2014. - C. 11-18.
32. Пуха И.С., Клименко В.В., Клименко А.Б. Параллельные метаэвристики в аспекте решения задач децентрализованного диспетчирования информационно-управляющих систем // Universum: Технические науки: электронный научный журнал. - 2014. - № 9.
- C. 1-12.
33. IngberL. Simulated annealing: Practice versus theory // Math. Comput. Model. - 1993. - Vol. 18.
- P. 29-57.
34. Kirkpatrick S., Gelatt C.D., Vecchi M.P. Optimization by simulated annealing // Science.
- 1983. - Vol. 220. - P. 671-680.
35. Батищев Д.И., Исаев С.А. Оптимизация многоэкстремальных функций с помощью генетических алгоритмов // Межвуз. сборник. - Воронеж: ВГТУ, 1997. - № 3. - C. 4-17.
36. SchoonderwoerdR. et al. Ant-based load balancing in telecommunications networks // Adapt. Behav. Sage Publications, 1997. - Vol. 5, No. 2. - P. 169-207.
37. Di Caro G., Dorigo M. AntNet: Distributed stigmergetic control for communications networks // J. Artif. Intell. Res. - 1998. - Vol. 9. - P. 317-365.
38. Di Caro G., Ducatelle F., Gambardella L.M. AntHocNet: An adaptive nature-inspired algorithm for routing in mobile ad hoc networks // Eur. Trans. Telecommun. - 2005. - Vol. 16, No. 5. - P. 443-455.
REFERENCES
1. Shishov A. Razrabotka i vnedrenie ASU "Kuznetsov" s primeneniem setetsentricheskogo podkhoda i mul'tiagentnykh tekhnologiy [Development and implementation of ACS "Kuznetsov" using network-centric approach and multi-agent technology], XII Vserossiyskoe soveshchanie po problemam upravleniya VSPU-2014 [XII all-Russian conference on control problems the EVERYTHING-2014]. Moscow, 2014, Vol. 16, pp. 9050-9062.
2. Fedoseev S.A. Setetsentricheskiy podkhod k zadache upravleniya zakazami na promyshlennom predpriyatii [Network-centric approach to task order management at industrial enterprise], XII Vserossiyskoe soveshchanie po problemam upravleniya VSPU-2014 [XII all-Russian conference on control problems the EVERYTHING-2014]. Moscow, 2014, pp. 7524-7528.
3. Fedoseev S.A., V.Yu.Stolbov, Pustovoyt K.S. Model' gruppovogo upravleniya v setetsentricheskikh proizvodstvennykh sistemakh [Model of group management in network-centric manufacturing systems], Materialy konferentsii «Upravlenie v tekhnicheskikh, ergaticheskikh, organizatsionnykh i setevykh sistemakh» (UTE0SS-2012) [Proceedings of conference "Control in technical, ergatic, organizational and network systems" (UTE0S-2012)]. St. Petersburg: GNTs RF OAO «Kontsern «TsNII «Elektropribor», 2012, pp. 1240-1243.
4. Tsvetkov V.Ya. et al. Setetsentricheskoe upravleniya promyshlennym predpriyatiem [Network-centric management at industrial enterprises], Izvestiya vysshikh uchebnykh zavedeniy. Geodeziya i aerofotos"emka [Izvestia vuzov «Geodesy and aerophotography»], 2012, No. 1, pp. 106-108.
5. Korobkin V.V., Serogodskiy A.I. Bezopasnost' funktsionirovaniya programmnogo obespecheniya v upravlyayushchikh sistemakh na vysokoriskovykh promyshlennykh ob"ektakh [Serovajsky safe operation of software in control systems on high-risk industrial objects], Shestaya Vserossiyskaya mul'tikonferentsiya po problemam upravleniya (30 sentyabrya - 5 oktyabrya 2013 g.): Materialy mul'tikonferentsii v 4 t. [the Sixth all-Russian multiconference on control problems (30 September - 5 October 2013): Proceedings of the multiconference in 4 volumes]. Taganrog: Izd-vo YuFU, 2013, pp. 228-232.
6. Korovin Ya.S., Tkachenko M.G., Kononov S.V.Operativnaya diagnostika sostoyaniya neftepromyslovogo oborudovaniya na osnove tekhnologiy intellektual'noy obrabotki dannykh [Operational diagnostics of oil field equipment based on the technology of data mining], Neftyanoe khozyaystvo [Oil Industry], 2012, No. 9, pp. 116-118.
7. Mashoshin A.I. Algoritmy upravleniya integrirovannoy setetsentricheskoy sistemoy podvodnogo nablyudeniya [Algorithms of management of integrated network-centric system of underwater surveillance], Shestaya Vserossiyskaya mul'tikonferentsiya po problemam upravleniya (30 sentyabrya - 5 oktyabrya 2013 g.): Materialy mul'tikonferentsii v 4 t. [the Sixth all-Russian multiconference on control problems (30 September - 5 October 2013): Proceedings of the multiconference in 4 volumes], 2013, pp. 112-116.
8. Peshekhonov V.G., Braga Yu.A., Mashoshin A.I. Setetsentricheskiy podkhod k resheniyu problemy osveshcheniya podvodnoy obstanovki v Arktike [Network-centric approach to solving of the underwater observation problem in Arctic], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2012, No. 3 (128), pp. 219-227.
9. Zaborovskiy V.S. et al. Setetsentricheskiy podkhod k sozdaniyu sistemy udalennogo upravleniya robototekhnicheskimi ob"ektami s borta orbital'noy stantsii [Network-centric approach to the creation of a system for remote control of the robotic objects from the Board of orbital station], Nauchno-tekhnicheskie vedomosti SPbGPU. Informatika. Telekommunikatsii. Upravlenie [Scientific and technical Gazette of SPSPU. Informatics. Telecommunications. Management], 2013, Vol. 186, No. 6, pp. 17-26.
10. Shabunin A.B. et al. Setetsentrichskiy podkhod k sozdaniyu raspredelennykh sistem upravleniya resursami OAO "RZhD" na osnove mul'tiagentnykh tekhnologiy [Settecentesco approach to creating distributed systems of resource management of JSC "Russian Railways" on the basis of multiagent technologies], Trudy XIVMezhdunarodnoy konferentsii «Problemy upravleniya i modelirovaniya v slozhnykh sistemakh» PUMSS'2012 [Proceedings of XIV International conference "problems of control and modeling in complex systems" PUSS'2012]. Samara: SNTs RAN, 2012, pp. 724-734.
11. Shabunin A.B. et al. Setetsentricheskiy podkhod k sozdaniyu mul'tiagentnoy sistemy dlya upravleniya proizvodstvennymi protsessami OAO «RZhD» [Network-centric approach to the creation of multi-agent systems for control of production processes of JSC "RZD"], Materialy Mezhdunarodnoy nauchno-prakticheskoy mul'tikonferentsii «Upravlenie bol'shimi sistemami-2011». 14-16 noyabrya [Materials of International scientific-practical of the multiconference "Control of large systems - Mami-2011". From 14 to 16 November], Vol. 3. Moscow, 2011, pp. 222-225.
12. Shneps M.A. O setyakh telekommunikatsiy dlya Sistemy 112, MChS i MO [About telecommunication networks to the System 112, MOE and MOE], Int. J. Open Inf. Technol., 2014, Vol. 2, No. 3, pp. 1-10.
13. Sheremet I.A. Primenenie apparata rekursivnykh mul'timnozhestv dlya formirovaniya obshchey operatsionnoy kartiny v setetsentricheskikh sistemakh [A. application of the recursive multisets to build a common operating picture of network-centric systems], 4-ya Vserossiyskaya mul'tikonferentsiya po problemam upravleniya [4th all-Russian multiconference on control problems]. Taganrog: Izd-voTTIYuFU, 2011, pp. 261-262.
14. Dado E., Koenders E.A.B., Carvalho D.B.F. Netcentric Virtual Laboratories for Composite Materials, Compos. Their Prop. / ed. Hu N. InTech, 2012, pp. 227-244.
15. Ashton K. That "Internet of Things" ThingThing, in the real world things matter more than ideas, RFiD J. 2009.
16. Gubbi J. et al. Internet of Things (IoT): A vision, architectural elements, and future directions, Futur. Gener. Comput. Syst., 2013, Vol. 29, pp. 1645-1660.
17. Farkhadov M.P., Dushkin D.N. Setetsentricheskie tekhnologii: evolyutsiya, tekushchee polozhenie i oblasti dal'neyshikh issledovaniy [Network-centric technology: evolution, current status and areas for future research], Avtomatizatsiya i sovremennye tekhnologii [Automation and Modern Technology], 2012, No. 1, pp. 21-29.
18. Rakhmanov A.A. Printsipy i podkhody k kontseptual'nomu proektirovaniyu setetsentricheskikh sistem [Principles and methods of approach to conceptual designing of network-centric systems], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering Sciences], 2010, No. 12 (113), pp. 125-134.
19. EfremovA.Yu., Maksimov D.Yu. Setetsentricheskaya sistema upravleniya - chto vkladyvaetsya v eto ponyatie [Network-Centric management system - what is embedded in this concept], 3-ya Rossiyskaya konferentsiya s mezhdunarodnym uchastiem «Tekhnicheskie i programmnye sredstva sistem upravleniya, kontrolya i izmereniya» (UKI-12) [3D Russian conference with international participation "Technical and software control systems, control and measurement" (IPC-12)], 2G12, pp. 158-1б1.
2G. Chausov F. Nekotorye podkhody k sovershenstvovaniyu sistemy upravleniya voyskami (silami) novogo oblika [Some approaches to improving the system of control of troops (forces) of the new form], Vremya i flot [Time and Navy], 2G11, No. 4, pp. 21-24.
21. Ivanov D.Ya., Mel'nik E.V. Printsipy organizatsii detsentralizovannykh setetsentricheskikh informatsionno-upravlyayushchikh sistem [Principles of organization of decentralized network-centric information management systems], Vestnik komp'yuternykh i informatsionnykh tekhnologiy [Herald of Computer and Information Technologies], 2G13, No. 4, pp. 25-3G.
22. Ivanov D.Ya., Mel'nik E.V. Marshrutizatsiya i raspredelenie nagruzki v kommunikatsionnoy srede setetsentricheskikh informatsionno-upravlyayushchikh sistemakh s raspredelennym dispetchirovaniem i klasterizatsiey [Routing and load sharing in the communication environment, network-centric information management systems with distributed dispatching and clustering], Aktual'nye voprosy sovremennoy tekhniki i tekhnologii: Sbornik dokladov XII Mezhdunarodnoy nauchnoy konferentsii (Lipetsk, 26 iyulya 2013 g.) [Actual problems of modern engineering and technology: Collection of papers of the XII International scientific conference (Lipetsk, July 2б, 2G13)], ed. by Gorbenko A.V. Lipetsk: Izdatel'skiy tsentr "Gravis," 2013, pp. 24-2S.
23. Kalyaev I.A., Mel'nik E.V. Detsentralizovannye sistemy komp'yuternogo upravleniya [Decentralized systems of computer management]. Rostov-on-Don: Izd-vo YuNTs RAN, 2G11, 19б p.
24. Kalyaev I.A. et al. Metody i sredstva povysheniya bezopasnosti i sokrashcheniya vremeni operatsiy s yadernym toplivom na AES s reaktorom tipa VVER-iGGG [Methods and means of improving safety and operations with nuclear fuel for NPP with the reactor VVER-iGGG], ed. by Kapustyana S.G. and al. Rostov-on-Don: Izd-vo YuFU, 2G14, 2GS p.
25. DorigoM., BirattariM. Swarm intelligence, Scholarpedia, 2GG7, Vol. 2, No. 9, pp. 14б2.
26. Kostadinova R., Adam C. Performance Analysis of the Epidemic Algorithms, Intell. Control Autom, 2GGS, No. б, pp. бб75-бб79.
27. Hollerung T.D., Bleckmann P. Epidemic Algorithms. Available at: http://my.fit.edu/~gfrederi/ ComplexNetworks/G9-Epidemic-Algorithms.pdf (accessed 15 May 2G15).
2S. Alba E. Parallel Metaheuristics: A New Class of Algorithms, Parallel Metaheuristics A New Cl. Algorithms, 2GG5, 554 p.
29. Klimenko A.B. Eksperimental'noe sravnenie effektivnosti temperaturnykh skhem "tusheniya" dlya resheniya zadachi planirovaniya rabot s odnovremennym formirovaniem neobkhodimogo kolichestva neskladiruemykh resursov [an Experimental comparison of the effectiveness of the temperature schemes "fighting" to solve the problem of planning with simultaneous formation of the required number of non-resources], Evraziyskiy sovet uchenykh. Tekhnicheskie nauki [Eurasian Council of scientists. Technical Sciences], 2G14, Vol. 4, pp. S5-S7.
3G. Sabanin V.R., Smirnov N.I., Repin A.I. Modifitsirovannyy geneticheskiy algoritm dlya zadach optimizatsii i upravleniya [Modified genetic algorithm for task optimization and control], Exponenta Pro. Matematika v prilozheniyakh [Exponenta Pro. Mathematics in applications], 2GG4, No. 3-4, pp. 7S-S5.
31. Taranov A.Yu., Klimenko A.B., Klimenko V.V. Metody rasparallelivaniya imitatsii otzhiga pri detsentralizovannom reshenii zadachi sostavleniya raspisaniya s opredeleniem minimal'nogo kolichestva resursov [Methods of parallelization of simulated annealing decentralized solution to the problem of scheduling the definition of a minimum number of resources], Sbornik statey po materialam XXII Mezhdunarodnoy nauchno-prakticheskoy konferentsii «Estestvennye i matematicheskie nauki v sovremennom mire» [Collection of articles on materials of XXII International scientific and practical conference "Natural and mathematical science in the modern world"], 2G14, pp. 11-18.
32. Pukha I.S., Klimenko V.V., Klimenko A.B. Parallel'nye metaevristiki v aspekte resheniya zadach detsentralizovannogo dispetchirovaniya informatsionno-upravlyayushchikh sistem [Parallel metaheuristic in the aspect of solving decentralized scheduling management information systemsy, Universum: Tekhnicheskie nauki: elektronnyy nauchnyy zhurnal [Universum: engineering science: electronic scientific journal], 2G14, No. 9, pp. 1-12.
33. Ingber L. Simulated annealing: Practice versus theory, Math. Comput. Model., 1993, Vol. 18, pp. 29-57.
34. Kirkpatrick S., Gelatt C.D., Vecchi M.P. Optimization by simulated annealing, Science, 1983, Vol. 220, pp. 671-680.
35. Batishchev D.I., Isaev S.A. Optimizatsiya mnogoekstremal'nykh funktsiy s pomoshch'yu geneticheskikh algoritmov [Optimization of multiextremal functions with genetic algorithms], Mezhvuz. Sbornik [Mezhvuzovskiy Collection]. Voronezh, VGTU, 1997, No. 3, pp. 4-17.
36. Schoonderwoerd R. et al. Ant-based load balancing in telecommunications networks, Adapt. Behav. Sage Publications, 1997, Vol. 5, No. 2, pp. 169-207.
37. Di Caro G., Dorigo M. AntNet: Distributed stigmergetic control for communications networks, J. Artif. Intell. Res, 1998, Vol. 9, pp. 317-365.
38. Di Caro G., Ducatelle F., Gambardella L.M. AntHocNet: An adaptive nature-inspired algorithm for routing in mobile ad hoc networks, Eur. Trans. Telecommun., 2005, Vol. 16, No. 5, pp. 443-455.
Статью рекомендовал к опубликованию д.т.н., профессор М.А. Бутакова.
Мельник Эдуард Всеволодович - Южный федеральный университет; e-mail: evm17@mail.ru; 347928, г. Таганрог, ул. Чехова, 2; тел.: 8634360376; НИИ многопроцессорных вычислительных систем ЮФУ; д.т.н.; зав. лабораторией.
Иванов Донат Яковлевич - e-mail: donat.ivanov@gmail.com; НИИ многопроцессорных вычислительных систем ЮФУ; м.н.с.
Клименко Анна Борисовна - e-mail: anna_klimenko@mail.ru; НИИ многопроцессорных вычислительных систем ЮФУ; к.т.н.; научный сотрудник.
Гандурин Виктор Александрович - Акционерное общество «Заслон»; e-mail: v.a.gandurin@onegroup.ru; 196084, г. Санкт-Петербург, ул. Коли Томчака, 9; тел.: 88123279099 (доб. 4012); д.т.н.; нач. отделения - главный конструктор направления.
Melnik Eduard Vsevolodovich - Southern Federal University; e-mail: evm17@mail.ru; 2, Che-kov street, Taganrog, 347928, Russia; phone: +78634360376; SFedU Acad. Kalyaev Scientific Research Institute of Multiprocessor Computer Systems; dr. of eng. sc.; head of laboratory.
Ivanov Donat Yakovlevich - e-mail: donat.ivanov@gmail.com; SFedU Acad. Kalyaev Scientific Research Institute of Multiprocessor Computer Systems; jr. research assistant.
Klimenko Anna Borisovna - e-mail: anna_klimenko@mail.ru; SFedU Acad. Kalyaev Scientific Research Institute of Multiprocessor Computer Systems; cand. of eng. sc.; research assistant.
Gandurin Victor Alexandrovich - JSC «ZASLON»; e-mail: v.a.gandurin@onegroup.ru; 9, Koli Tomchaka street, Saint-Petersburg, 196084, Russia; phone: +78123279099 (доб.4012); dr. of eng. sc.; head of department - branch chief designer.
