CC BY-NC-ND
11
УДК 004.65
БОТ 10.28995/2073-6304-2018-2-68-80
Управление сохранностью информации в распределенных системах методами репликации данных
Владимир В. Кульба
Российский государственный гуманитарный университет, Москва, Россия;
Институт проблем управления им. В.А. Трапезникова РАН, Москва, Россия, kulba@ipu.ru
Сергей К. Сомов
Институт проблем управления им. В. А. Трапезникова РАН, Москва, Россия, ssomov2016@ipu.ru
Аннотация. Статья посвящена проблеме управления сохранностью информации в распределенных системах. Высокий уровень сохранности информации обеспечивается в первую очередь за счет надежного функционирования распределенной системы обработки данных. Эффективным методом повышения надежности распределенной системы и сохранности информации является репликация данных. В статье приведены примеры алгоритмов статической и динамической репликации данных. Дана формулировка задачи управления поиском оптимального размещения реплик в распределенной системе. Для решения задачи предлагается использовать модифицированный эвристический метод поиска р-медиан графа.
Ключевые слова: управление сохранностью информации, распределенные системы обработки данных, репликация данных, поиск р-медиан графа
Для цитирования: Кульба В.В., Сомов С.К. Управление сохранностью информации в распределенных системах методами репликации данных // Вестник РГГУ. Серия «Экономика. Управление. Право». 2018. № 2 (12). С. 68-80. БОТ: 10.28995/2073-6304-2018-2-68-80
© Кульба В.В., Сомов С.К., 2018
Management of data safety in distributed systems using data replication methods
Vladimir V. Kul'ba
Russian State University for the Humanities, Moscow, Russia; V.A. Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences, Moscow, Russia; kulba@ipu.ru
Sergey K. Somov
VA. Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences, Moscow, Russia, ssomov2016@ipu.ru
Abstract. The paper is dedicated to an issue of the data safety management in distributed data processing systems. A high level of data safety is provided primarily due to the reliable operation of the distributed system. An effective method of improving the reliability of a distributed system and data safety is data replication. The article gives examples of static and dynamic data replication algorithms. The formulation of the management task for finding the optimal placement of replicas in a distributed system is given. As the task solution the author suggests using the modified heuristic method of searching for the p-median of the graph.
Keywords: management of data safety, distributed data processing systems, data replication, p-median problem
For citation: Kul'ba VV., Somov SK. Management of data safety in distributed systems using data replication methods. RSUH/RGGU Bulletin. "Economics. Management:. Law" Series. 2018;2:68-80. DOI: 10.28995/2073-6304-2018-2-68-80
Введение
Распределенные системы обработки данных (РСОД), построенные на базе компьютерных сетей, являются сложными техническими системами, которые получили широкое распространение в разных отраслях человеческой деятельности. Огромное число пользователей общается с этими системами посредством различ-
ных устройств, начиная с персонального компьютера и заканчивая смартфонами и умными часами. Работа РСОД основана на взаимодействии большого разнообразия программных, аппаратных и информационных компонент. При этом из-за воздействия различных негативных факторов практически каждая из этих многочисленных компонент с ненулевой вероятностью может выйти из строя. Кроме того, эти негативные факторы могут привести к искажению и даже к потере важной информации, используемой в системе. Потеря информации или работоспособности компонентами системы может привести к сбоям и простоям в работе самой системы разной степени серьезности. В свою очередь, простои в работе систем обработки данных могут стать причиной значительных потерь и убытков компаний, использующих такие информационные системы. Убытки и потери могут иметь разный характер. Например, это могут быть финансовые, репутационные и имиджевые потери и убытки компаний.
Сбои в системах обработки данных и вызванные ими затраты времени на устранение последствий сбоев, в частности, например, на восстановление разрушенной информации, приводят в свою очередь к простоям в работе самих компаний. В результате компании несут прямые и косвенные убытки.
Поэтому одной из важнейших задач проектирования РСОД различного назначения является использование мер по управлению сохранностью информации и обеспечению высокого уровня надежности работы системы. Второй, не менее важной задачей проектирования распределенных систем является обеспечение высокой производительности и масштабируемости систем.
Методы репликации данных в распределенных системах
Широко используемым направлением повышения надежности работы распределенных систем является обеспечение высокого уровня сохранности используемой ими информации. Эффективным методом управления высоким уровнем сохранности информации в распределенных системах является создание и размещение в узлах системы реплик массивов данных, которые используются в системе [1].
Суть метода репликации данных заключается в том, что создается и распределяется по узлам компьютерной сети определенное количество реплик массивов данных. Распределение реплик делается таким образом, чтобы максимально приблизить реплики к
потребителям этих данных. Такое размещение реплик позволяет решить сразу несколько важных задач на этапе проектирования РСОД:
- уменьшение времени доступа к массивам данных, необходимым при обработке запросов пользователей;
- наличие нескольких реплик повышает надежность работы РСОД, поскольку при отказе одного узла с репликой запросы перенаправляются для обработки в другой работоспособный узел с репликой данного массива;
- использование механизма репликации упрощает задачу масштабирования распределенной системы. Например, при подключении к сети нового сегмента узлов реплики необходимых массивов данных размещаются в узлах нового сегмента сети.
Для поддержания идентичности данных во всех репликах одного массива данных используется механизм репликации. Этот механизм заключается в том, что изменения, сделанные в массиве данных одной реплики, распространяются на все другие узлы с репликами этого массива. Репликация изменений может выполняться в синхронном или асинхронном режиме, в зависимости от удаленности узлов с репликами друг от друга и от требований к времени распространения изменений в данных [1].
Применение механизма репликации для повышения производительности и надежности работы РСОД требует дополнительных затрат на функционирование системы. Необходимы затраты на хранение реплик в узлах сети, на поддержку идентичности данных в репликах, а также ресурсы на поддержание генерируемого при использовании репликации дополнительного трафика сообщений. Эти обстоятельства вызывают необходимость управления поиском баланса между величиной дополнительных затрат и преимуществами, которые дает использование метода репликации данных.
Для вычисления оптимальных вариантов размещения реплик в узлах компьютерной сети существует много различных методов. В конечном счете все они сводятся к оптимизационной задаче, в которой из всех N возможных узлов сети необходимо выбрать М(М < ^ узлов, наилучших согласно некоторому критерию задачи. Класс таких задач обладает большой вычислительной сложностью, и для их решения используются различные специальные методы.
Можно выделить две основные группы методов решения задач этого класса. Это группа методов статического размещения реплик и группа методов динамического размещения реплик [2].
К первой группе относятся алгоритмы поиска оптимального размещения реплик, которые основываются на предположении о статичном режиме работы распределенной системы, при котором характеристики компьютерной сети и ее топология не изменяются. Неизменными считаются трафик запросов пользователей и его распределение по узлам сети. К недостаткам таких методов следует отнести то, что на практике частота и место возникновения запросов пользователей к системе могут со временем изменяться. Также со временем могут измениться и параметры самой компьютерной сети. Все это приводит к значительной деградации эксплуатационных характеристик информационной системы.
Вторая группа, группа методов динамического размещения реплик, использует сложные алгоритмы, которые позволяют адаптировать работу распределенной системы к изменившимся условиям ее функционирования. Данные методы используют различные технологии для изменения числа используемых реплик и их расположения по узлам компьютерной сети (миграция данных).
В качестве примера метода статического размещения реплик рассмотрим алгоритм, который позволяет быстро определить сегменты сети, в которых необходимо разместить реплики [3]. Согласно данному алгоритму, сегмент сети (кластер) - это множество узлов сети, которые используют одни и те же данные и задержка сообщений (или расстояние) между которыми мала. Данный алгоритм предполагает двухэтапное решение задачи. На первом этапе определяются кластеры с наибольшим количеством узлов сети. На втором этапе в каждом из этих кластеров выбирается узел, который будет выполнять функции сервера реплик, т. е. хранить реплики данных и обрабатывать поступающие запросы к этим данным.
Алгоритм предполагает, что узлы компьютерной сети находятся в т-мерном геометрическом пространстве. Это пространство разбивается на ячейки одинакового размера. Согласно данному алгоритму ячейка является т-мерным гиперкубом. Например, для двумерного случая ячейка - это квадрат. Из множества полученных ячеек выбирается М ячеек, имеющих наибольшую плотность (количество) расположенных в них узлов компьютерной сети.
Очевидно, что используемый размер ячеек, на которые разбивается т-мерное пространство, оказывает сильное влияние на результат оптимального выбора тех ячеек, в которых будут размещены реплики. Если размер ячеек слишком мал, то узлы одного большого кластера могут попасть сразу в несколько ячеек (см. рис. 1 А). В этом случае в сети будет размещено слишком много реплик. Если же размер ячеек слишком большой, то в одной ячейке может со-
держаться одновременно несколько кластеров. А поскольку реплики размещаются по одной в каждой ячейке, то этих реплик будет слишком мало для обработки всех запросов, поступающих от узлов этих кластеров. При правильно подобранном размере ячеек может получиться идеальная ситуация, когда большинство кластеров размещены каждый в своей одной ячейке (см. рис. 1 В).
\А •
\ о© о
о © ОО © ОО о
© в ОО ООО ОО
Рис. 1. Примеры распределения сегментов по ячейкам
После того как все М ячеек выбраны, в каждой из этих ячеек определяется один узел, который будет обрабатывать запросы, поступающие ото всех других узлов данной ячейки. Описанный выше алгоритм имеет относительно небольшую вычислительную сложность: О ^хшах{1с^(Л0, М}).
В качестве иллюстрации работы методов динамической репликации можно рассмотреть механизм использования реплик службами шеЬ-хостинга [1]. Данные службы обеспечивают пользователям доступ к различным файлам данных, размещенным на множестве шеЬ-серверов сети Интернет. Множество таких серверов является, как правило, постоянным.
Однако в некоторые периоды времени с целью ускорения доступа пользователей к файлам данных службы хостинга могут динамически копировать один или несколько таких файлов на другие серверы, которые расположены наиболее близко к тем группам пользователей, которым нужен более быстрый доступ к этим файлам. В итоге такое динамическое перераспределение реплик обеспечивает увеличение производительности всей распределенной системы.
При использовании динамического метода репликации необходимо дать ответ на три ключевых вопроса:
1) в каких узлах будут храниться реплики и обрабатываться запросы к репликам;
2) в какие моменты времени нужно создавать и размещать дополнительные реплики;
3) когда их можно будет удалить за ненадобностью.
Для получения ответа на первый вопрос можно использовать многочисленные методы статического размещения реплик [2].
Для ответа на второй и третий вопрос рассмотрим алгоритм динамической репликации файлов web-хостинга, приведенный в работе [1]. Этот алгоритм опирается на два основных положения: 1) динамическая репликация используется для уменьшения нагрузки на сервера; 2) отдельные файлы данных реплицируются на сервера, которые расположены как можно ближе к пользователям, генерирующим наибольшее количество запросов к этим файлам.
Каждый сервер (узел сети), на котором размещены реплики, к которым направляются запросы пользователей системы, отслеживает два параметра. Во-первых, он отслеживает то, откуда приходят запросы, и, во-вторых, он подсчитывает число таких запросов. Предположим, что на сервере S размещен файл F. Запросы пользователей к данному файлу F, размещенному на сервере S, и поступающие от сервера P будут подсчитываться в счетчике обращений counters (P, F). В дополнение к этому счетчику, для каждого сервера S и каждого файла данных F определены два пороговых значения: порог репликации rep (S, F) и порог удаления реплики файла del (S, F).
Допустим, что возникла ситуация, когда значение счетчика counters (P, F) начинает превышать порог репликации rep (S, F). Это будет означать, что число обращений к файлу F стало чересчур большим и этот файл необходимо реплицировать на другой сервер. Перенос (миграция) файла на другой сервер может закончиться неуспешно в силу разнообразных причин. Например, на другом сервере нет достаточного места для размещения файла. Еще одной причиной может быть то, что этот сервер уже и так сильно нагружен. В этом случае ищется другой сервер - кандидат на перенос на него файла F.
Если возникла ситуация, когда число запросов к реплике файла F, размещенной на сервере S, стало меньше порога удаления, то реплика этого файла удаляется с сервера S. Удаление не производится в случае, если это последняя реплика файла F, имеющаяся в системе.
Постановка задачи оптимального размещения реплик в распределенной системе
При проектировании и эксплуатации распределенных систем, использующих репликацию данных, необходимо искать компромисс между производительностью и надежностью работы системы, с одной стороны, и увеличением затрат на ее функционирование -с другой.
Рассмотрим постановку и решение задачи оптимального размещения реплик в предположении о статичных параметрах функционирования распределенной системы.
Предположим, что РСОД работает на базе компьютерной сети, состоящей из N узлов, топология которой представлена в виде неориентированного графа С = (X, Г). Некоторые узлы сети играют роль пользовательских серверов, поддерживающих интерфейс пользователей с системой. Другие узлы играют роль серверов реплик. В них размещены реплики массивов данных, и они обрабатывают запросы пользователей к данным этих реплик, полученные от пользовательских серверов. Предположим, что один массив данных может иметь несколько реплик, размещенных в соответствующем количестве узлов сети. Необходимо определить подмножество Хр из р узлов множества X узлов сети, размещение в которых р реплик массива данных обеспечит минимальную стоимость эксплуатации РСОД.
Запросы пользователей делятся на информационные запросы и запросы на модификацию данных. Информационные запросы пересылаются для обработки из сервера пользователя к одному ближайшему серверу реплик с необходимыми данными. Каждый запрос на модификацию данных посылается во все узлы, содержащие реплики с модифицируемыми данными. Допустим, что определены маршруты, по которым передаются сообщения между узлами сети (запросы и ответы на них).
Обозначим через Леп = || Хеп || вектор размерности N, где Xеп - интенсивность информационных запросов пользователей, генерируемых в узле хп в единицу времени. Аналогично Лип = || Хип || вектор запросов на модификацию, генерируемых в п-м узле сети. Ответ на запрос, сформированный в узле п, посылается обратно в этот же узел. Система работает в установившемся режиме и все запросы обрабатываются.
Введем следующие обозначения:
1) йе, йи - средние объемы данных, которыми обмениваются пользовательский сервер и сервер реплики при обработке соответ-
ственно информационного запроса и запроса на модификацию данных. Данный объем состоит из объема самого запроса и ответа на него (эти объемы считаем одинаковыми).
2) V = {vi, ..., vn, ..., vN} - кортеж «весов» узлов компьютерной сети. Здесь vn - это средний объем данных, который узел n передает и получает за единицу времени при обработке запросов, инициированных в этом узле: vn = (Xen de + p Xun du).
3) dis(xn, Xj) - длина кратчайшего пути из узла xn в узел x.
4) s - стоимость передачи единичного объема данных по пути единичной длины.
5) cost5(xn) - стоимость хранения реплики в узле xn за единицу времени.
6) costE(xn), cost U(xn) - соответственно стоимость обработки одного информационного запроса и одного запроса на модификацию данных в узле xn.
Для поиска оптимального размещения p реплик в узлах сети сформулируем обобщенную мини-суммную задачу о p-медиане [4]. В качестве критерия оптимизации используем минимум затрат на функционирование системы.
Определим для узла x¡ передаточное число s (xi), которое равно:
N
s(x¿) = X[dis(x¿ ,xn )svn ]. (1)
n=1
Т. е. передаточное число ct(x;) - это сумма затрат на обмен данными между узлом x¡ со всеми другими узлами множества X при обработке запросов, генерируемых в системе за единицу времени.
Медианой графа G называется такая вершина xx, для которой достигается минимум передаточного числа:
- í N I
s(x) = mins(x¿) = min< ^[dis(x¿,xn)svn]k
xieX xieX\n = 1
Пусть Xp это подмножество множества X вершин графа G, которое состоит из p вершин, в которых размещены реплики. Через d (X , xn) обозначим минимальное расстояние от произвольной вершины xn множества X до одной из вершин множества Xp, которое равно:
d(Xp, xn) = min dis(xn, xj). (2)
Если вершину Xj множества X , на которой достигается минимум выражения (2), обозначить через x*, то можно сказать, что точка xn «прикреплена» к точке x*. Это значит, что запросы, возникающие в узле xn, будут пересылаться для обработки в узел x* с репликой. Данный факт обозначим следующим образом: xn ^ x*.
Определим передаточное число <s(Xp) для подмножества вершин Xp по аналогии с формулой (1) следующим образом:
N N
s(Xp)= £vnsd(Xp, xn) = £vns min dis(xn, xj), n = 1 n = 1 xj^Xp
где p-медианой графа G называется множество Xp, такое, что для него достигается минимум значения передаточного числа: s(Xp) = minXp=X[CT(Xp)].
Пусть COST(Xp) - это стоимость функционирования распределенной системы за единицу времени при распределении реплик по узлам множества Xp. Она будет равна:
COST(Xp) = Z costS(xj) + Z costE(xj x j=l/xjeXp j=1/x j eXp
f „ \ n f _ ^
N
Z К
n — 1 /Xn ^xj
n—1
Z COStU(xj ) j—1/xj eXp
Здесь первое слагаемое - это затраты системы на хранение реплик, второе слагаемое - затраты на обработку в узлах с репликами поступивших информационных запросов. Третье слагаемое это затраты системы на обработку запросов на изменение данных.
С использованием введенных обозначений задача оптимального размещения реплик массива данных по узлам распределенной системы будет иметь следующую формулировку. Для неориентированного графа С = (X, Г) требуется найти такое подмножество Хр из р-вершин этого графа, для которого достигается минимум значения функционала:
Гр(Хр) = СОБТ(Хр) + а(Хр).
Для сформулированной задачи могут устанавливаться различные ограничения. Например, ограничение на максимальное число реплик, размещенных в узлах компьютерной сети: | Хр | < Р.
Другим ограничением может служить ограничение на объем информации, пересылаемый в/из узла с репликой. Он состоит из объема данных в запросах, которые узел получает в единицу времени, и объема данных, которые узел возвращает в ответах на эти запросы:
N
Z (X ende + p X undu ) < D.
n—1 / xn ^xi
Сформулированная задача принадлежит классу задач о нахождении p-медианы заданного графа, которые являются NP трудными. Для данного класса задач разработано много различных методов решения, позволяющих найти решение, близкое к оптимальному, за приемлемое время. Краткий обзор таких алгоритмов можно найти в литературе, например в [4].
Алгоритм решения сформулированной задачи
В качестве примера рассмотрим алгоритм, являющийся модифицированным вариантом известного эвристического метода поиска p-медиан графа, предложенном M.B. Teitz и P. Bart в работе [5]. Описание алгоритма.
1. Задается случайным образом количество p-медиан графа (p < J). Затем случайным образом из множества X вершин графа выбирается p вершин. Эти вершины образуют множества Xp. Вершины из X, не включенные в Xp, отмечаются меткой «не протестирована».
2. Из множества {X\Xp} случайным образом выбирается «не протестированная» вершина xj. Если таких вершин нет, то переходим к шагу 6.
3. Поочередно для каждой вершины xi из множества Xp вычисляется величина Д^, на которую изменится значение функционала Fp при замене вершины xi во множестве Xp на вершину xj, выбранную на шаге 2:
Ду = Fp(Xp) - Fp(Xp), где Xp = (Xp и {xj})\{x}.
В этом цикле необходимо запомнить индекс i * той вершины xi множества Xp, при замене которой на вершину xj достигается максимальное изменение значения функционала, т. е. Д = max xieS Д^.
4. Если Ai*j < 0, то замена любой вершины множества Xp на вершину Xj, выбранную на шаге 2, не улучшает значение функционала задачи. Тогда маркируем вершину Xj как «протестирована» и переходим к пункту 2.
5. Если A * > 0, то замена вершины x{* на вершину Xj дает лучшее значение функционала. Производим замену вершин Xj и x{* и маркируем их как «протестированные». В итоге получаем новое множество Xp = (Xp и {xj})\{xi}. Переходим к шагу 2.
6. Конец работы алгоритма. Полученное в результате работы алгоритма множество Xp - это близкое к оптимальному p-ме-дианное множество узлов РСОД для размещения реплик.
Описанный выше алгоритм реализован в виде программного модуля на языке C++ в среде MS Visual Studio. Использование данного алгоритма при решении ряда практических задач поиска оптимального размещения реплик позволяло увеличить на 10-15% показатели функционирования распределенных систем обработки данных.
Заключение
Задачи управления сохранностью информации в распределенных системах решаются главным образом путем обеспечения высокого уровня надежности работы таких систем. Эффективным методом повышения надежности распределенных систем является управление созданием и оптимальным размещением в узлах системы реплик массивов данных. В работе дано краткое описание метода репликации данных в распределенных системах. Перечислены основные преимущества данного метода. Приведен пример формулировки задачи поиска оптимального размещения реплик по узлам распределенной системы и приведен алгоритм ее решения.
Литература
1. Таненбаум Э., Стеен М., ван. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. 877 с.
2. Чернышев Г.А. Обзор подходов к организации физического уровня в СУБД // Труды СПИИРАН. 2013. Вып. 1 (24). С. 222-275.
3. Szymaniak M., Pierre G., Steen V. Latency-Driven Replica Placement // IPSJ Digital Courier. 2006. Vol. 2. P. 561-572.
4. Reese J. Methods for Solving the p-Median Problem: An Annotated Bibliography // Networks. 2006. Vol. 48. № 3. P. 125-142.
5. Teitz M. B, Bart P. Heuristic methods for estimating the generalized vertex median of a weighted graph // Operations Research. 1968. Vol. 16. P. 955-961.
References
1. Tanenbaum A., Steen M. Distributed Systems. Principles and Paradigms. Saint-Petersburg: Piter Publ.; 2003. 877 p.
2. Chernyshev G.A. Review of approaches to the physical layer in the DBMS. Proceedings of the St. Petersburg Institute for Informatics and Automation, Russian Academy of Sciences. 2013. Issue 1 (24). P. 222-75.
3. Szymaniak M., Pierre G., Steen V. Latency-Driven Replica Placement. IPSJ Digital Courier. 2006. Vol. 2. P. 561-72.
4. Reese J. Methods for Solving the p-Median Problem. An Annotated Bibliography. Networks. 2006. Vol. 48. № 3. P. 125-42.
5. Teitz MB., Bart P. Heuristic methods for estimating the generalized vertex median of a weighted graph. Operations Research. 1968. Vol. 16. P. 955-61.
Информация об авторах
Владимир В. Кульба, доктор технических наук, профессор, Российский государственный гуманитарный университет, 125993, Россия, Москва, Миусская пл., 6; Институт проблем управления им. В.А. Трапезникова РАН, Москва, Россия; 117997, Россия, Москва, ул. Профсоюзная, д. 65; kulba@ipu.ru
Сергей К. Сомов, кандидат технических наук, Институт проблем управления им. В.А. Трапезникова РАН, Москва, Россия; 117997, Россия, Москва, ул. Профсоюзная, д. 65; ssomov2016@ipu.ru
Information about the authors
Vladimir V. Kul'ba, Dr. in Ingineering, professor, Russian State University for the Humanities, bld. 6, Miusskaya Sq., Moscow, Russia, 125993; V.A. Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences, Moscow, Russia; bld. 65, Profsoyuznaya Str., Moscow, Russia, 117806; kulba@ipu.ru
Sergey K. Somov, PhD in Engineering, V.A. Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences, Moscow, Russia; bld. 65, Profsoyuznaya Str., Moscow, Russia, 117806; ssomov2016@ipu.ru
