Применение концепции "туманных" вычислений при проектировании высоконадежных информационно-управляющих систем Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.75

ПРИМЕНЕНИЕ КОНЦЕПЦИИ «ТУМАННЫХ» ВЫЧИСЛЕНИЙ ПРИ ПРОЕКТИРОВАНИИ ВЫСОКОНАДЕЖНЫХ ИНФОРМАЦИОННО-УПРАВЛЯЮЩИХ СИСТЕМ

Э.В. Мельник, А.Б. Клименко

Рассматривается вопрос моделирования распределения вычислительной нагрузки в системе на базе концепции туманных вычислений. Предложена модель распределения задач по вычислительным узлам, учитывающая географическую распределенность системы и накладные расходы на передачу данных по сети. Проведен вычислительный эксперимент, результатом которого является вывод о том, что применение концепции туманных вычислений к распределению вычислительной нагрузки не всегда приводит к повышению надежности устройств, а потому должно быть обосновано путем моделирования.

Ключевые слова: туманные вычисления, распределенная система, надежность, распределение вычислительной нагрузки, информационно-управляющие системы.

Информационно-управляющие системы (ИУС) являются неотъемлемым элементом практически любого современного технического объекта. В настоящее время интенсивное развитие информационных и сетевых технологий позволяет реализацию ИУС на базе облачных сервисов, однако, далеко не всегда подобный подход является оправданным: в случае высокой критичности объекта к отказам и высоких требований к уровню безопасности объекта, очевидно, нецелесообразна передача процедур хранения и обработки данных третьим лицам. Таким образом, невзирая на бурное развитие интернет-технологий, ИУС значительной доли технических объектов по-прежнему используют собственную сетевую и вычислительную инфраструктуру.

В то же время в области современных интернет-технологий происходит интенсивное внедрение так называемых «туманных» вычислений

[1]. Основная идея данной концепции реализации распределенных вычислений заключается в том, чтобы разместить вычислительные задачи, осуществляющие обработку данных, как можно ближе к источникам данных

[2]. Актуальность «туманных» вычислений была обоснована тем, что ранее функционирующие «облачные» архитектуры интернет-сервисов, уже не могли предоставить должный уровень качества сервисов, включая скорость отклика системы на воздействие, перегруженность сетевой инфраструктуры и, собственно, перегруженность серверного оборудования.

Ряд исследований был проведен относительно различных аспектов концепции «туманных» вычислений, в том числе, относительно способов распределения нагрузки между «облаком» и «туманом» [3 - 5].

Однако, исследование публикаций, представленных в открытой печати, показало отсутствие материалов в аспекте надежности «туманных» вычислений, в то время как надежность является одной из основных характеристик многих объектов.

Объектом исследования данной статьи является класс ИУС с высокими требованиями к надежности, функционирующие на базе собственной вычислительной инфраструктуры. Предметом исследования являются стратегии применения элементов концепции «туманных» вычислений к распределению вычислительных задач, решаемых ИУС с целью улучшений такой характеристики, как гамма-процентная наработка на отказ устройства.

В данной статье рассмотрены особенности оценки надежности вычислительных устройств в составе ИУС, проведено обоснование добавления параметра транзиторной нагрузки для модели оценки надежности ВУ в составе ИУС. На основании вычислительного эксперимента предложены адаптивные стратегии применения концепции «туманных» вычислений, позволяющие повысить надежность устройств ИУС.

1. Концепция «туманных» вычислений и ее применение к ИУС на базе собственной вычислительной инфраструктуры. Концепция «туманных» вычислений известна с 2012, и была предложена как дальнейшая эволюция «облачных» вычислений, расширяя «облако» к краю сети. В рамках данной концепции все устройства сети делятся на три основных слоя:

- слой краевых устройств (пользовательских);

- «туманный» слой, включающих разного рода коммуникационное оборудование (коммутаторы, роутеры, шлюзы и т.п.);

- «облачный» слой, располагающийся, как правило, в пределах одного дата-центра.

Также предполагается, что, чем ближе к «облаку», тем более производительными становятся устройства «туманного слоя», и устройства оснащены вычислительными мощностями, а также ресурсами для хранения данных.

Тогда при смещении вычислительных задач, занимающихся обработкой поступающих данных к краю сети, происходит следующее:

- существенно снижается нагрузка на сеть;

- снижается нагрузка на устройства облачного слоя;

- снижается латентность систем.

Также появляется возможность разгрузки краевых устройств путем перемещения вычислений в «туманный» слой, а также возможность разгрузки «облачных» устройств аналогичным способом.

В целом, к настоящему времени сложились следующие основные стратегии реализации вычислительных процессов на основе «туманных» вычислений [6]:

- разгрузка краевых («облачных») устройств;

- стратегия агрегации;

- разделение ресурсов для хранения и обработки данных в туманном слое.

Стратегия разгрузки предполагает, что вычислительные задачи частично или полностью перемещаются в «туманный» слой. Стратегия агрегации заключается в частичной обработке «больших» данных с нескольких

274

устройств на узле «туманного» слоя. И, наконец, разделение ресурсов для хранения и обработки данных в «туманном» слое подразумевает совместное использование ресурсов нескольких узлов «туманного» слоя.

Сравнивая типовую структуру ИУС (датчики-актуаторы, контроллеры, коммуникационное оборудование, вычислительная среда), можно сделать вывод о том, что концепция «туманных» вычислений также применима и к ИУС путем модификации программного обеспечения. Также следует отметить следующее: в рамках классической модели «туманных» вычислений краевые устройства могут обладать высокой вычислительной мощностью, в то время как затруднительно привести примеры датчиков, которые бы обладали высокой вычислительной мощностью.

Однако, как уже было сказано выше, отсутствуют представленные в открытом доступе работы, которые бы позволяли оценить целесообразность применения концепции «туманных» вычислений с точки зрения надежностных показателей, а именно - вероятности безотказной работы (ВБР) и гамма-процентной наработки на отказ.

2. Особенности оценки надежности вычислительных устройств в составе ИУС. Для вычислительных устройств на этапе функционирования после приработки вероятность безотказной работы (ВБР) оценивается следующим образом:

РЦ) = е ,

где 1 - интенсивность отказов; ^ - время функционирования устройства.

Также необходимо учитывать следующее:

Л л 2ЛТ/10

1 = 10 ,

где 10 - интенсивность отказов при Т=250С.

В работе [7] предложено использование коэффициента к, отражающего связь между загруженностью устройства и его температурой, то есть:

п Л 2кВ/10

1 = 10 ,

где к - коэффициент, отражающий связь между температурой устройства и его загруженностью; В - загруженность устройства.

Таким образом, интенсивность отказов устройства зависит от его загруженности. Последняя может быть скорректирована путем оптимизации размещения вычислительных задач по ВУ. Этот подход в полной мере отражен в работах [8, 9].

Для системы без отказоустойчивости нижняя граница ВБР может быть оценена как

м

Р0&)=П Рк &),

к=1

где и - момент времени, в который производится оценка; Рк(1х) - значение ВБР устройства, полученное для заданного момента времени.

Однако, если речь идет о системе, распределенной географически, помимо вычислительной нагрузки, порождаемой необходимостью приема-передачи данных между задачами, необходимо учитывать еще и нагрузку, порождаемую транзиторной передачей данных. Например, если речь идет о ПК, используемом в роли маршрутизатора, то в зависимости от исполь-

275

зуемых протоколов передачи данных над транзиторными данными проводится ряд операций (например, это реализация стека протоколов TCP/IP). Роутеры, используемые для транзиторной передачи данных, также получают дополнительную нагрузку при передаче данных [10]. Например, одним из подходов построения коммутаторов является построение их на основе коммутационной матрицы. Каждый порт такого коммутатора обслуживается отдельным процессором кадров (Ethernet Packet Processor, EPP). Работу всех процессоров координирует системный модуль, который содержит адресную таблицу коммутатора и обеспечивает управление коммутатором по протоколу SNMP. При поступлении кадра в порт коммутатора процессор EPP буферизует служебные байты кадра, для того чтобы прочитать адрес назначения. После того, как адрес назначения установлен, процессор, не дожидаясь прихода остальных байтов кадра, принимает решение о продвижении или фильтрации кадра. Для этого он просматривает таблицу MAC адресов в своем собственном кэше или, если там нет нужного адреса, обращается к системному модулю. Если процессор, на основе анализа адресной таблицы, принимает решение о продвижении кадра, коммутационная матрица устанавливает соединение между портом приема и портом назначения. Однако установление соединения в коммутационной матрице возможно только в том случае, если порт назначения свободен, то есть не соединен с другим портом. Если же порт назначения занят, то установить соединение невозможно. В этом случае кадр полностью буферизуется портом, оставаясь там до тех пор, пока не будет возможно установить соединение. После установления соединения байты кадра поступают на выходной порт коммутатора, где могут быть буферизованы процессором выходного порта. Процессор выходного порта передает немедленно (без буферизации) поступающие байты подключенному к порту сегменту Ethernet или же буферизует их, если разделяемая среда сегмента в данный момент занята.

В коммутаторах с общей шиной процессоры портов связываются между собой высокоскоростной шиной. Связь портов через такую шину происходит в режиме разделения времени. Для того чтобы такой коммутатор мог работать в неблокирующем режиме, производительность общей шины, то есть ее пропускная способность, должна быть не ниже совокупной производительности всех портов коммутатора.

Передача данных по такой шине происходит не кадрами, а более мелкими порциями, размер которых зависит от производителя. Для этого процессор передающего порта разбивает кадр на более мелкие порции, прибавляя к каждой из них адрес порта назначения (тэг адреса). Процессоры выходных портов содержат фильтры тэгов, что позволяет им выбирать предназначенные им данные. В схемы с общей шиной, так же как и в схеме с коммутационной матрицей, невозможно осуществить промежуточную буферизацию кадров.

В коммутаторах с разделяемой памятью процессоры портов связаны через специальный переключатель с разделяемой памятью. Работой переключателей и памяти управляет специальный блок управления портами.

276

Этот блок организует в памяти очередь данных для каждого выходного порта. Когда какому-либо порту необходимо передать данные, процессор этого порта делает запрос блоку управления, который связывает данный порт с разделяемой памятью, что дает возможность записать данные в очередь нужного выходного порта.

Параллельно с записью данных в очереди выходных портов блок управления поочередно подключает процессоры выходных портов к соответствующим очередям, в результате чего данные из очереди переписываются в выходной буфер процессора. Применение общей буферной памяти, распределяемой блоком управления между отдельными портами, снижает требования к размеру буферной памяти процессора порта.

Таким образом, если вести речь о размещении вычислительной нагрузки на коммутационном оборудовании, что согласуется с концепцией «туманных» вычислений, то при оценивании ВБР ВУ необходимо учитывать и ту нагрузку, которую будет нести ВУ, принимая участие в непосредственно задаче передачи транзиторных данных.

Учитывая сказанное выше, загруженность ВУ будет складываться из следующих компонентов:

- нагрузка при решении вычислительных задач;

- нагрузка при получении и отправке данных между задачами;

- транзиторная нагрузка, возникающая в том случае, если узел включен в маршрут передачи данных между задачами, размещенными на других узлах.

Таким образом,

L = L ,+ L + L t + L .

0 task in out tr

Будем считать, что загруженность ВУ при передаче данных зависит от объема принимаемых, отправляемых данных, а также от объема транзиторных данных. При этом зависимость может различаться по причине того, что для передачи транзиторных данных могут быть задействованы механизмы, отличные от приема и передачи данных:

n

Loj = + Xv* + w +mwtr, pi

js

где j - номер ВУ; N - количество задач, выполняемых на ВУ; pj - производительность j-го ВУ; win - суммарный объем данных, получаемых при приеме данных задачами, размещенными на ВУ; wout - суммарный объем данных, получаемых при отправке данных задачами, размещенными на узле; wtr - суммарный объем транзиторных данных.

Очевидно, что значение L0j зависит от способа размещения всех задач по ВУ системы.

3. Экспериментальное исследование эффекта применения концепции «туманных» вычислений для ИУС высокой надежности. План вычислительного эксперимента включает: - выбор архитектуры сети;

- выбор структуры графа решаемой вычислительной задачи;

- выбор последовательности и стратегий изменения параметров вычислительной сложности задач и объемов пересылаемых данных.

В качестве архитектуры сети предлагается выбрать следующую упрощенную топологию, которая моделирует краевые устройства, туманный слой и облачный слой (рис. 1).

Рис. 1. Структура моделируемой сети

Как показано на рис. 1, приведенная структура моделирует три слоя, участвующие в вычислительном процессе: краевые устройства (минимальная производительность узлов, 100 модельных единиц (м.е.п.)), устройства туманного слоя (производительность узлов возрастает по мере приближения к облачным структурам, 150...300 м.е.п.), облачный слой (производительность превышает производительности краевого и туманного слоев, 3000 м.е.п.). Выбранная топология сети приближена к «шине» с целью упрощения моделирования и отсутствия чрезмерного загромождения процесса моделирования вычислением маршрутов передачи данных.

В качестве графа вычислительной задачи выберем структуру двудольного графа, где в одной части располагаются задачи, продуцирующие данные, а в другой части - задачи, осуществляющую их обработку (рис. 2).

Рис. 2. Информационный граф вычислительной задачи

278

Могут быть выделены следующие этапы работы СИУС: обработка полученных данных, принятие решений и выработка управляющих воздействий. С целью упрощения модели произведем агрегацию этапов к виду задач, которые могут выполняться параллельно и независимо. При этом структура вырождается в двудольный граф, где одна часть - это задачи, расположенные на стороне датчиков, на которые возложена предобработка сигнала и передача данных в задачи-обработчики, другая часть, собственно, задачи-обработчики.

В качестве примера выберем следующие конфигурации: будем считать задачи 1, 2, 3, 4 закрепленными за краевыми устройствами 1 и 10. Таким образом, эксперимент будет заключаться в составлении различных конфигураций системы путем закрепления задач 5-9 за узлами туманного и облачного слоев.

Учитывая сказанное, в качестве варьируемых параметров выбираются следующие:

- вычислительная сложность задач;

- объемы пересылаемых данных;

- размещение задач по узлам, учитывая прикрепленные задачи к устройствам края сети.

На рис. 3 показана схема вычислительного эксперимента.

Увеличение объема передаваемых данных

Рис. 3. Схема вычислительного эксперимента

Варьируемое размещение задач по узлам также описывается последовательностью конфигураций. Поскольку проведение полного перебора вариантов размещения не представляется целесообразным, были выбраны такие конфигурации, которые бы соответствовали концепции туманных вычислений, а именно - приближению задач-обработчиков к задачам, продуцирующим данные. То есть предполагается тестирование таких конфигураций, когда происходит последовательное смещение задач-обработчиков от облака к краю сети.

Исследуемые конфигурации приведены в табл. 1, где ячейка содержит номер задачи, прикрепленной к узлу.

279

Таблица 1

Список конфигураций

№эксп/№узла 1 2 3 4 5 6 7 8 9 10

1 1,2 5,6 7,8,9 3,4

2 1,2 5 6 8,9 7 3,4

3 1,2 5 6 8,9 7 3,4

4 1,2 5 6 8,9 7 3,4

5 1,2 5,6 9 7,8 3,4

6 1,2 5,6 9 7,8 3,4

7 1,2 5,6 9 7,8 3,4

8 1,2 5,6 7,8,9 3,4

9 1,2 5,6 7,8,9 3,4

10 1,2 5,6 7,8,9 3,4

11 1,2 5 6 9 8 7 3,4

12 1,2 5 6 9 8 7 3,4

13 1,2 5 6 9 7,8 3,4

Эксперимент выполняется следующим образом.

1. Задать варьируемые параметры: вычислительную сложность задач, объем передаваемых по сети данных.

2. Для заданных параметров произвести моделирование размещений из табл.1 с вычислением ВБР узлов и нижней оценки ВБР системы (без резервирования).

3. Пока не выполнено моделирование в соответствии со схемой на рис. 3, перейти к п.1.

Таблица 2

Данные для вычислительного эксперимента

Малый объем данных Средний объем данных Большой объем данных

Малая сложность задач Вариант 1: Выч. Сложность: 50-500м.е.с. Данных: 500-1000 м.е.д. Вариант 2: Выч. Сложность: 50-500м.е.с. Данных: 5000-10000 м.е.д. Вариант 3: Выч. Сложность: 50-500м.е.с. Данных: 10000-15000 м.е.д.

Средняя сложность задач Вариант 4: Выч. Сложность: 250-2500м.е.с. Данных: 500-1000 м.е.д. Вариант 5: Выч. Сложность: 250-2500м.е.с. Данных: 5000-10000 м.е.д. Вариант 6: Выч. Сложность: 250-2500м.е.с. Данных: 10000-15000 м.е.д.

Высокая сложность задач Вариант 7: Выч. Сложность: 1000-10000м.е.с. Данных: 500-1000 м.е.д. Вариант 8: Выч. Сложность: 1000-10000м.е.с. Данных: 5000-10000 м.е.д. Вариант 9: Выч. Сложность: 1000-10000м.е.с. Данных: 10000-15000 м.е.д.

Таблица 3

Результаты эксперимента

Малый объем данных Средний объем данных Большой объем данных

Малая сложность Лучш. №6 Лучш. №9 Лучш. №9

задач Худш. №7 Худш. №1 Худш. №1

Средняя сложность Лучш. №1 Лучш. №7 Лучш. №7

задач Худш. №10 Худш. №4 Худш. №8

Высокая сложность Лучш. №1, 11 Лучш. №1,3 Лучш. №1,3

задач Худш. №10 Худш. №10 Худш. №10

Рассмотрим значения гамма-процентной наработки до отказа для вариантов конфигураций №1 и №10 при высокой вычислительной сложности задач и большого объема передаваемых данных.

280

Для лучшего варианта (№1) получаем следующие графики ВБР устройств.

Рис. 4. Графики ВБР-устройств для варианта №1

При этом гамма-процентная наработка до отказа, наихудшая на графике (рис. 4), будет 7^(0,8) = 100(ч.).

Для наихудшего случая (№10) на графике (рис. 5) видно, что расчетное Ту (0,8) для одного устройств недостижимо, что говорит о недопустимости такой конфигурации.

Рис. 5. Графики ВБР-устройств для варианта №10

Из графика (рис. 5) видно, что узлы №2 и №9 оказываются перегруженными и такая конфигурация недопустима, в то время как смещение нагрузки к краю сети полностью соответствует концепции «туманных» вычислений.

Выводы. Применение концепции «туманных» вычислений рассмотрено с точки зрения надежности ВУ, что является областью знаний, малоисследованной в настоящее время. При этом результаты вычислительного эксперимента, проведенного путем моделирования распределения задач по ВУ и расчета загруженности устройств с учетом передачи данных, демонстрируют следующие тенденции:

- стратегия смещения вычислительных задач к краю сети должна быть рассмотрена для частных случаев, поскольку в определенных условиях даже при сокращении времени обработки данных приводит к недопустимому снижению гамма-процентной наработки до отказа;

281

- в случае целесообразности применения концепции «туманных» вычислений необходимо проведение дополнительного анализа с целью выявления наиболее предпочтительных локаций размещения задач в пределах «туманного» слоя сети, поскольку способы размещения дают различный результат в аспекте надежности системы;

- для частных задач размещение вычислительной нагрузки в туманном слое позволяет существенно повысить показатели надежности, в частности, гамма-процентную наработку до отказа (до 50 %).

Исследование выполнено при поддержке проекта РФФИ 18-0580092, 18-29-03229.

Список литературы

1. Yi S., Li C., Li Q. A Survey of Fog Computing: Concepts, Applications and Issues // Proc. 2015 Work. Mob. Big Data - Mobidata'15. 2015. P. 3742.

2. Официальный сайт Cisco [Электронный ресурс]. URL: https:// www. cisco.com/c/dam/en us/solutions/trends/iot/docs/computing-overview.pdf (дата обращения: 11.02.2020).

3. Abedin S.F., Alam M.G.R., Tran N.H., Hong C.S. A Fog based system model for cooperative IoT node pairing using matching theory // Network Operations and Management Symposium (APNOMS), 2015 17th Asia - Pacific , 2015. P. 309 - 314 .

4. Oueis J., Strinati E.C., Sardellitti S., Barbarossa S. Small Cell Clustering for Efficient Distributed Fog Computing: A Multi - User Case // Vehicular Technology Conference (VTC Fall), 2015 IEEE 82nd , 2015. P. 1 - 5.

5. Nishio T., Shinkuma R., Takahashi T., Mandayam N.B. Service-oriented heterogeneous resource sharing for optimizing service latency in mobile cloud, MobileCloud '13 // Proceedings of the first international workshop on Mobile cloud computing and networking, 2013. P. 19 - 26.

6. Moysiadis V., Sarigiannidis P., Moscholios I. Towards Distributed Data Management in Fog Computing // Wireless Communications and Mobile Computing, 2018.

7. Мельник Э.В. Методы и программные средства повышения надежности сетевых информационно-управляющих систем на основе реконфигурации ресурсов вычислительных устройств: дис. ... д-ра техн. наук. Ростов-на-Дону, 2014. 265 с.

8. Melnik E.V., Klimenko A.B., Schaefer G., Korovin I.S. A novel approach to fault tolerant information and control system design // 5th International Conference on Informatics, Electronics and Vision, ICIEV 2016, 2016.

9. Klimenko A.B., Ivanov D., Melnik E.V. The configuration generation problem for the informational and control systems with the performance redundancy // 2nd International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2016. Proceedings, 2016.

282

10. Пахомов С., Самохин С. Коммутаторы [Электронный ресурс] URL: https://compress.ru/article.aspx?id=11972 (дата обращения: 11.02.2020).

Мельник Эдуард Всеволодович, д-р техн. наук, главный научный сотрудник, evml 7amail.ru, Россия, Ростов-на-Дону, Федеральный исследовательский центр «Южный научный центр Российской академии наук»,

Клименко Анна Борисовна, канд. техн. наук, старший научный сотрудник, anna klimenkoamail.ru, Россия, Таганрог, Научно-исследовательский институт многопроцессорных вычислительных систем им. акад. А.В. Каляева ЮФУ

A FOG-COMPUTING CONCEPT APPLYING FOR HIGH-RELIABLE MANAGEMENT

INFORMA TION SYSTEM DESIGN

E. V. Melnik, A.B. Klimenko

The present paper deals with the problem of workload distribution modeling in the system on the basis of fog-computing. The model of task distribution through the computing nodes was proposed, paying attention to the geographical distribution of nodes and to the transitory data transmission overheads. In the current paper the computational experiment has been conducted, which demonstrates the fog-computing application effect in the angle of reliability.

Key words: fog computing, distributed system, reliability, workload distribution, information control systems.

Melnik Eduard Vsevolodovich, doctor of technical sciences, leader research fellow, evml7a mail.ru, Russia, Rostov-on-Don, Federal Research Center «The Southern Scientific Center of the Russian Academy of Sciences»,

Klimenko Anna Borisovna, candidate of technical sciences, principal research fellow, anna klimenkoamail. ru, Russia, Taganrog, Southern Federal University, Scienfic Research Institute of Multiprocessor Computing Systems