CC BY
60
Доклады БГУИР
Doklady BGUIR
2017, № 7 (109) 2017, No. 7 (109)
УДК 621.397.6
АНАЛИЗ НАДЕЖНОСТИ КЛАСТЕРНЫХ СИСТЕМ ВЫСОКОЙ ОТКАЗОУСТОЙЧИВОСТИ С НАПРЯМУЮ ПОДКЛЮЧЕННЫМИ УСТРОЙСТВАМИ ХРАНЕНИЯ ДАННЫХ
АЛ. ПАНИН, А.В. ХИЖНЯК, Е.И. МИХНЕНОК, А.Ю. ЛИПЛЯНИН
Военная академия Республики Беларусь, Республика Беларусь
Поступила в редакцию 30 октября 2017
Аннотация. В статье описывается подход к анализу надежности кластерных систем с непосредственным подключением одно- и двухвходовых устройств хранения информации, а также серверных систем в случае, когда время запроса предельно ограничено. Также проведен анализ надежности серверов с таким подключением устройств хранения данных с учетом выполнения запроса за минимально возможное время.
Ключевые слова: отказоустойчивость, кластер, анализ надежности, устройство хранения, сервер.
Abstract. The article describes an approach to reliability analysis of clustered systems with a direct connection one and two storage devices, and server systems in the case when the query time extremely limited. The reliability of servers with such connection of storage devices is analyzed taking into account the execution of the request for the minimum possible time.
Keywords: fault tolerance, cluster, reliability analysis, storage, server.
Doklady BGUIR. 2017, Vol. 109, ]Чо. 7, pp. 83-87
Reliability analysis of clustered systems
with high availability directly attached storage devices
A.L. Panin, А/V. Khizhniak, E.I. Mikhnionok, A.Yu. Liplianin
Введение
Общеизвестен факт, что, только объединив блоки обработки и хранения данных в так называемые кластерные системы, можно добиться высоких показателей надежности, отказоустойчивости и производительности [1, 2]. При построении архитектуры кластерных систем в виде Directly Attached Storage с разноуровневыми устройствами целесообразно произвести непосредственное подключение устройств хранения данных и серверных узлов обработки информации [3]. Надежность и производительность кластерных систем напрямую зависит от способа подключения его основных блоков, а значит, необходимо проанализировать альтернативные способы подключения основных узлов кластера, на реализацию которого потребуется минимальные материальные затраты, а надежность, быстродействие и отказоустойчивость при этом будут максимально возможными [4].
Одно-двухуровневые системы с прямым подключением узлов резервирования
Существуют разные варианты построения одно-двухуровневых систем кластерного типа. Рассмотрим такой вариант, когда на верхнем уровне (ВУ) будет n резервных (дублированных) узлов, а значит, узлов ВУ должно быть как минимум 2n. В нижнем уровне (НУ) число узлов также будет равно 2n. Практически все узлы ВУ будем объединять попарно (дублировать) в зависимости от того, какие потоки информации они обрабатывают или работу каких приложений они реализуют [5].
Наибольший научный интерес представляет анализ типов построения кластерных систем с непосредственным (прямым) подключением составных узлов сервера одно-двухуровневых конфигураций к блокам хранения данных. Основная цель таких исследований - выбрать такую конфигурацию серверного оборудования, которая позволит с минимальными материальными затратами добиться максимальных показателей доступности, быстродействия и отказоустойчивости.
Таким образом, в рамках заданных условий была проведена работа по изучению возможных вариантов подключения резервных серверов (устройств) к блокам хранения данных, при этом в расчет не бралось ограниченное время обработки запросов [6]. Так как для сложных систем, работающих в масштабах реального времени, такие ограничения считаются жизненно важными, то в данной статье проведен анализ влияния таких факторов на подключения узлов одно-двухуровневых кластерных систем на обработку запросов в случае, когда время пребывания их в системе минимально.
Архитектура построения кластерных систем
Объектом исследования будет являться кластер, к которому напрямую подключены блоки хранения данных и который имеет архитектуру сервера с п типов разнообразных приложений [7]. Варианты построения кластерных систем представлены на рис. 1. Запрос /-го потока, который необходимо обработать ^му приложению, должен быть выполнен как минимум одним потоком, выделенным сервером для этих целей во взаимодействии с узлом низшего уровня устройств хранения данных. При таких условиях количество резервных серверов можно считать из расчета 3/2, тогда число узлов высшего уровня будет ровно 3п, а значит, и узлов низшего уровня будет достаточно и равно 3п. Чтобы избавиться от коммутаторов в построении кластерных систем, которые в ряде случаев понижают степень надежности системы в целом, будем считать, что сервера и устройства хранения имеют как минимум два порта входа (выхода), это позволит построить систему резервирования узлов ВУ и НУ без явных очагов отказов.
Для построения кластерной системы с высокой степенью надежности проведем анализ структурных схем кластерных систем, представленных на рис. 1, с учетом ограничения на время выполнения одного запроса [8]. Стоит отметить, что на реализацию всех схем построения кластерных систем, представленных на рис. 1, необходимо примерно равные материальные затраты, однако степени их надежности и отказоустойчивости будут значительно отличаться. Этим фактор и определяет необходимость детального анализа структурных схем кластерных систем.
В случае, когда необходимое приложение функционирует хотя бы на одном из двух резервных серверов кластерной конфигурации, представленной на рис. 1, и если продолжает действовать хотя бы одно их четырех устройств хранения данных, то запрос будет выполнен в максимально короткое время. В случае выхода из строя одного сервера кластерной системы, приложения по-прежнему остаются работоспособными с большой степенью вероятности для всех конфигураций кластерных систем, представленных на рис. 1, если как минимум одно устройство хранения, подключенное к работоспособному серверу, функционирует. Значит, надежность кластера конфигурации (рис. 1, в) имеет степень отказоустойчивости выше остальных. Проведем оценку.
Необходимо вычислить вероятность безотказной работы структурной схемы кластера, представленного на рис. 1, а. Для удобства вычисления представим, что хотя бы один сервер и одно устройство хранения данных в резервных устройствах п групп функционирует [9]:
Р^) = [(1 _ (1 _ р^))2 Х (1 - (1 _ р2(0)2)]",
где р^) = ехр(-^)и р2^) = ехр(-Л,^) - вероятность отказа сервера, А,ь Х2 - интенсивность отказов сервера и устройства хранения данных.
Проблема расчета по этой формуле заключается в том, что она не учитывает время на выполнение запросов, что присуще для систем реального времени. Принимая во внимание данное ограничение, можно предположить, что система обработает поток запросов в случае, если запросы будут обслужены узлами высшего или низшего уровня (хотя бы одним из них). Также следует учитывать, что время обработки запросов не должно превышать
Необходимо также учитывать, что время обработки запроса в серверах также включает в себя и время, необходимое устройствам хранения для обслуживания запроса, тогда
) = [1 - (1 - ))2][( рл ))2 + 2 рл )(1 - )) g1l
а б в
Рис. 1. Варианты построения кластерных систем: а - кластерная система с двойным резервированием; б - кластерная система с тройным резервированием; в - кластерная система с четырехкратным
резервированием
Необходимо убедиться, что вероятность того, что время нахождения запросов в параллельно функционирующих серверах меньше ?0 [10]:
gI =
0, если (Лу / i > 1)
1 - (Лу / /') ехр(-(1 / V - Л /'))/0, если (Лу / /') < 1.
Определим вероятность безотказной работы для второй и третьей структуры (рис. 1, б, в), при этом необходимо учитывать, что время обработки запроса не превышает а также нет ограничений по времени пребывания запроса в системе, то есть gl = 1, g2 = 1:
р2(1)=[1 - (1 - р2а ))3]( р,(1 ))2 g 2+2 р^ )(1 - ))[1 - (1 - р2(0)2&,
р^) = [1 - (1 - р2(г ))4]( рх(г ))2 g2 + 2 )(1 - ))[1 - (1 - р2{1 ))2]^.
Как видно из графика, представленного на рис. 2, вероятность безотказной работы структурных схем (рис. 1) при времени обработки запроса в системе = 10-4, Х2 = 2-10-4 ч-1 с течением времени уменьшается, но с разной интенсивностью, в зависимости от способа подключения устройств хранения. Кривая 1 соответствует структурной схеме (рис. 1, а), кривая 2 - (рис. 1, б), кривая 3 - (рис. 1, в). Вероятность безотказной работы с течением времени значительно интенсивнее уменьшается у структурной схемы (рис. 1, а) и практически не изменяется у структурной схемы (рис. 1, в), а значит, при отказе одного сервера системы приложения по-прежнему будут выполняться с большой степенью вероятности у кластера со схемой реализации, представленной на рис. 1, в.
Рис. 2. Вероятность безотказной работы кластерных систем при времени обработки запроса в системе = 10-4, Х2 = 2-10-4 ч-1
Если время выполнения запроса меньше чем /0, то тогда время обращения к устройствам хранения данных и серверу в целом будет стремиться к 1 с. Вероятность безотказной работы кластеров конфигурации (рис. 1) для данных условий представлена на рис. 3.
Рис. 3. Вероятность безотказной работы кластерных систем при времени выполнения запроса меньше t0
Кривые 1, 2 соответствуют структурной схеме, представленной на рис. 1, а, в, кривые 3, 4, 5 - структурной схеме, представленной на рис. 1, в, и кривые 6, 7, 8 - структурной схеме, представленной на рис. 1, а, при t0 = 10, 5, 2 с соответственно. Расчеты подтвердили зависимость отказоустойчивости кластерных систем от способа подключения устройств хранения информации к серверам и выявили явное преимущество конфигурации, представленной на рис. 1, в.
Заключение
Предложен новый подход к анализу оценки отказоустойчивости кластерных систем с подключением двухвходовых запоминающих устройств к серверам, что позволило увеличить отказоустойчивость кластера в 1,6 раза, а также учитывать вероятность запросов при условии непривышения предельно допустимого времени их нахождения в системе. Показано влияние способов подключения устройств хранения данных к серверам на отказоустойчивость системы в целом, при одинаковых финансовых затратах на их реализацию. Предложены рекомендации по выбору вариантов реализации резервирования кластерных систем.
Список литературы
1. Juud J. Principles of SAN Design. San Jose: Brocade Bookshelf, 2008. 589 p.
2. Clark T. The New Data Center. New technologies are radically reshaping the data center. Brocade Bookshelf. San Jose, 2010. 156 p.
3. Брайан Хилл. Полный справочник по Cisco. К.: ВЕК+, 2014. 592 с.
4. Богатырев В.А., Богатырев А.В., Богатырев С.В. Надежность кластерных вычислительных систем с дублированными связями серверов и устройств хранения // Информационные технологии. 2013. № 2. С. 234.
5. Боровиков С.М. Теоретические основы конструирования, технологии и надежности. Минск: Дизайн ПРО, 1998. 335 с.
6. Липаев В.В. Надежность программных средств. М.: СИНТЕГ, 1998. 232 с.
7. Лонгботтом Р. Надежность вычислительных систем. М.: Энергоатомиздат, 1985. 288 с.
8. Рябинин И.А., Черкесов Г.Н. Логико-вероятностные методы исследования надежности структурно-сложных систем. М.: Радио и связь, 1981. 264 с.
9. Вентцель Е.С. Теория вероятностей. М.: Наука, 1969. 576 с.
10. Клейнрок Л. Теория массового обслуживания. М.: Машиностроение, 1979. 432 с.
References
1. Juud J. Principles of SAN Design. San Jose: Brocade Bookshelf, 2008. 589 p.
2. Clark T. The New Data Center. New technologies are radically reshaping the data center. Brocade Bookshelf. San Jose, 2010. 156 p.
3. Brajan Hill. Polnyj spravochnik po Cisco. K.: VEK+, 2014. 592 s. (in Russ.)
4. Bogatyrev V.A., Bogatyrev A.V., Bogatyrev S.V. Nadezhnost' klasternyh vychislitel'nyh sistem s dublirovannymi svjazjami serverov i ustrojstv hranenija // Informacionnye tehnologii. 2013. № 2. S. 234. (in Russ.)
5. Borovikov S.M. Teoreticheskie osnovy konstruirovanija, tehnologii i nadezhnosti. Minsk: Dizajn PRO, 1998. 335 s. (in Russ.)
6. Lipaev V.V. Nadezhnost' programmnyh sredstv. M.: SINTEG, 1998. 232 s. (in Russ.)
7. Longbottom R. Nadezhnost' vychislitel'nyh sistem. M.: Jenergoatomizdat, 1985. 288 s. (in Russ.)
8. Rjabinin I.A., Cherkesov G.N. Logiko-verojatnostnye metody issledovanija nadezhnosti strukturno-slozhnyh sistem. M.: Radio i svjaz', 1981. 264 s. (in Russ.)
9. Ventcel' E.S. Teorija verojatnostej. M.: Nauka, 1969. 576 s. (in Russ.)
10. Klejnrok L. Teorija massovogo obsluzhivanija. M.: Mashinostroenie, 1979. 432 s. (in Russ.)
Сведения об авторах
Хижняк А.В., к.т.н., доцент, начальник кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Панин А.Л., магистрант кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Липлянин А.Ю., адъюнкт кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Михнёнок Е.И., адъюнкт кафедры автоматизированных систем управления войсками Военной академии Республики Беларусь.
Information about the authors
Khizhniak A.V., PhD, associate professor, the chief of department of automated control system of troops of Military academy of the Republic of Belarus.
Panin A.L., master student of department of automated control system of troops of Military academy of the Republic of Belarus.
Liplianin A.Yu., PG student of department of automated control system of troops of Military academy of the Republic of Belarus.
Mikhnionok E.I., PG student of department of automated control system of troops of Military academy of the Republic of Belarus.
Адрес для корреспонденции
220057, Республика Беларусь, г. Минск, пр. Независимости, д. 220, Военная академия Республики Беларусь тел. +375-29-241-85-13; e-mail: aleksandr13-5@mail.ru Панин Александр Леонидович
Address for correspondence
220057, Republic of Belarus,
Minsk, Nezavisimosti ave., 220,
Military Academy of the Republic of Belarus
tel. +375-29-241-85-13;
e-mail: aleksandr13-5@mail.ru
Panin Aleksandr Leonidovich
