CC BY
82
_05.13.00 ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ_
05.13.18
УДК 004.75, 004.772, 004.62
ОСОБЕННОСТИ МОДЕЛИРОВАНИЯ НАДЕЖНОСТИ РАСПРЕДЕЛЕННЫХ СИСТЕМ ХРАНЕНИЯ ДАННЫХ
© 2017
Ганин Дмитрий Владимирович, кандидат экономических наук, доцент, проректор по научной работе и инновационному развитию
Нижегородский государственный инженерно-экономический университет, Княгинино (Россия) Климов Роман Владимирович, преподаватель кафедры «Инфокоммуникационные технологии и системы связи» Нижегородский государственный инженерно-экономический университет, Княгинино (Россия)
Аннотация
Введение. Обоснована необходимость моделирования процессов, происходящих в распределенных системах хранения данных. Описаны основные факторы, приводящие к выходу из строя накопителей на жестких магнитных дисках. Показан тренд роста объемов генерируемой и требующей хранения информации, описаны ее основные особенности.
Материалы и методы. Рассмотрены концепции, лежащие в основе функционирования распределенных систем хранения данных. Описан процесс организации фрагментарного хранения данных и необходимые условия восстановления исходного информационного массива. Представлена классификация событий, способных привести к частичному повреждению или полной утрате исходного массива данных, описаны их особенности. Приведены методы реконструкции исходных массивов данных в случаях их повреждения. Описаны основные подходы к аналитическому моделированию процессов возникновения отказов устройств хранения данных и вызванных ими событий утраты данных.
Результаты. Представлен новый подход к моделированию процессов возникновения событий появления некорректируемых битовых ошибок и событий утраты отдельных накопителей, а также реконструкции содержащихся в них данных. Модели основаны на аппарате Марковских цепей и позволяют учитывать особенности описываемых процессов.
Обсуждение. Описанная модель позволяет учитывать временные изменения показателей надежности работы устройств (вызванные устареванием отдельных элементов). Дополнительно в ней учитываются изменения, обусловленные внедрением взамен утраченных новых накопителей, обладающих отличными от старых показателями надежности.
Заключение. В работе описаны основные модели надежности устройств хранения данных. Предложен новый подход к моделированию процессов утраты устройств хранения данных и восстановления их содержимого в памяти новоприбывших.
Ключевые слова: аналитическое моделирование систем, помехоустойчивое кодирование, распределенные системы хранения данных, системы с отказами элементов, системы с ошибками и стираниями символов, цепи Маркова.
Для цитирования: Ганин Д. В., Климов Р. В. Особенности моделирования надежности распределенных систем хранения данных // Вестник НГИЭИ. 2017. № 7 (74). С. 18-25.
PECULARIRIES OF MODELING OF RELIABILITY OF DISTRIBUTED STORAGE SYSTEMS
© 2017
Ganin Dmitrii Vladimirovich, the candidate of economical sciences, the associate professor, The Vice-rector on scientific work and innovative development Nizhny Novgorod state engineering- economics university, Knyaginino (Russia) Klimov Roman Vladimirovich, the teacher of the chair «Infocommunication technology and communication systems» Nizhny Novgorod state engineering- economics university, Knyaginino (Russia)
Abstract
Introduction. The authors justified the need for modeling processes in distributed storage systems. The paper describes the main factors leading to failure of disk drives on hard magnetic disks. The article shows the trend of growth of volumes generated and requiring storage of information, described its main features.
Materials and methods. The authors considered the concepts underlying the functioning of distributed data storage systems. The article describes the process of organizing fragmented data storage and the necessary conditions for the restoration of the original data array. The paper presents a classification of events that could lead to partial damage or complete loss of the original data array, described their features. The article presents the methods of reconstruction of the original data sets in cases of damage. The authors described the main approaches to analytical modeling of failures of storage devices and the resulting events of loss of data.
Results. The authors presented a new approach to modeling processes of emergence events are unadjusted bit error events and the loss of individual drives, as well as the reconstruction of data contained therein. The presented model is based on Markov chains and allows considering features of the described processes.
Discussion. The described model allows considering temporal changes of indexes of reliability of devices (caused by the aging of the individual elements). Additionally, the model accounts changes caused by introduction of substitutions of lost new drives having different from the old reliability.
Conclusion. The paper describes the main models of reliability of storage devices. The authors propose a new approach to the modeling of the loss of storage devices and restore their content in memory of the new arrivals.
Key words: analytical modeling of systems, error-correction coding, distributed data storage system, system component failure, system errors and erasures of the symbols of the Markov chain.
Введение
В настоящее время имеется объективная тенденция интенсивного роста объемов генерируемых данных, требующих долгосрочного хранения. Это обусловлено переходом к информационному обществу и сопряженным с ним всеобщим проникновением вычислительных систем во все сферы жизни и деятельности человека. При этом данная тенденция имеет ряд особенностей, обуславливающих требования к системам хранения данных:
- увеличение доли данных мультимедиа (цифровые фотографии, цифровые видео- и фонограммы);
- наблюдается рост объемов и доли данных, генерируемых и используемых автоматическими системами, без непосредственного участия человека (системы видеонаблюдения, снятия телеметрии, Интернет вещей);
- удорожание информационного содержимого, сопряженное с уменьшением стоимости носителей хранения данных;
- рост объемов служебных данных (метаданные, файловые системы).
Прогнозируемый объем хранимых данных на 2020 год ориентировочно составит порядка 40 зетта-байт (40 • 1021 байт) [1]. При этом доля данных, генерируемых и хранимых в Российской Федерации, составит порядка 980 эксабайт (980 • 1018 байт) [2].
Подобный рост ставит перед разработчиками задачу нахождения решений, позволяющих осуществлять долгосрочное надежное хранение больших массивов данных. При этом возможно разделение направлений решения данной задачи по двум
направлениям: разработка новых устройств хранения данных повышенной плотности записи или решение этой задачи с использованием имеющихся технологий и материалов [3].
Одним из решений, позволяющих осуществлять надежное хранение больших информационных массивов, является применение концепции распределенных систем хранения данных (РСХД).
Надежность хранения данных обеспечивается применением различных способов помехоустойчивого кодирования, в частности методов репликации данных, кодов Рида-Соломона и др. Достоинством применения методов репликации является очень высокая устойчивость системы к повреждениям (выходам из строя отдельных накопителей данных), однако этот подход требует увеличения числа накопителей пропорционально числу создаваемых реплик. В то же время использование кодов Рида-Соломона обеспечивает ту же степень надежности и не создает столь значительной избыточности данных. Недостаток этого решения - рост требуемых вычислительных ресурсов. Кроме того, в случаях утраты одного или нескольких узлов для восстановления их содержимого необходимо проведение сбора всего оставшегося массива данных. В этих случаях происходит значительная загрузка транспортной сети.
В настоящее время ведется поиск и разработка новых подходов к кодированию и декодированию данных, предназначенных для повышения быстродействия РСХД, при сохранении уровня надежности и небольшой избыточности.
В большинстве современных РСХД в роли хранилищ данных применяются накопители на
жестких магнитных дисках (НЖМД). Этот тип накопителей выбирается из-за оптимального соотношения скорости записи-чтения и цены хранения. Кроме того, эти накопители обладают высокой надежностью хранения данных, при условии соблюдения требований эксплуатации, и относительной простой процедурой восстановления данных при многих видах повреждения накопителя [4].
При эксплуатации НЖМД возможно возникновение событий частичной или полной утраты данных. Подобные события связаны с появлением некорректируемых битовых ошибок или выходом из строя компонент накопителя. В свою очередь, поломки накопителей могут быть вызваны различными факторами, такими как срок эксплуатации накопителя, загруженность памяти, температура накопителя, вибрация [5].
Важным является то, что РСХД базируются на применении большого числа различных по происхождению и объему накопителей, обладающих разными параметрами интенсивности отказов и возникновения неустранимых ошибок чтения. Подобная особенность осложняет моделирование работы системы [6].
Из всего вышеописанного следует необходимость разработки моделей выхода из строя отдельных накопителей данных РСХД, позволяющей оценивать вероятность повреждения их информационного содержимого со временем.
Материалы и методы
Концепция работы РСХД основана на принципе фрагментарного хранения данных, позволяющем обеспечить высокую надежность. Этот принцип заключается в возможности разделения любого исходного массива данных размера М на к независимых частей (фрагментов) размера а>М/к с сохранением возможности последующей реконструкции исходного массива из этих частей.
В общем случае предполагается, что в системе имеется накопителей или их комбинаций раз-
мера а. Исходный массив данных размера М = [а • к], где [х] означает наибольшее целое число, больше х [7]. Тогда функция р: Я ^{0,1,...,к-1} , определяющая номер хранилища информации в РСХД.
При фрагментации массива данных должно удовлетворяться три условия: к-1
1. Полнота: Я = и Яг .
г = 0
2. Восстановимость: Я = Я111Я2...||Яг.
3. Непересекаемость: если ^ е Я и е Я/ ,
то ^ П dj = 0 .
В вопросе моделирования надежности работы РСХД наибольшим значением обладает условие восстановимости, означающее, что исходный массив может быть восстановлен тогда и только тогда, когда имеются все фрагменты, его составляющие. В ином случае реконструкция невозможна по причине роста неопределенности.
Необходимо учитывать, что в ходе работы РСХД неизбежно возникновение событий, приводящих к частичной или полной порче фрагментов. Подобные события могут быть разделены на два класса:
- события утраты аутентичности, приводящие к частичной порче содержимого фрагмента данных;
- события полного выхода из строя накопителя, приводящие к полной утрате фрагмента.
Классификация ошибок представлена на рисунке 1.
Рисунок 1 - Классификация ошибок, возникающих в ходе хранения данных
Моделирование процессов возникновения ошибок и их корректировки в РСХД в полной мере описывается теорией помехоустойчивого кодирования [8; 9; 10].
Ошибки, вызванные деградацией частей носителя информации и его механическими микро- и макроповреждениями, не приводящими к выходу из строя всего накопителя, исправляются непосредственно накопителем. Это достигается заменой в ходе сохранения данных символов исходного алфавита ОЕ ) = ОЕ (рт1) на символы алфавита ОЕ(д2) = ОЕ(рт2), где q1 и д2 - мощность исходного и нового алфавитов, р - характеристика поля, в
котором производится отображение, а т1 и т2 -натуральные числа, определяющие длину кодового
слова, при этом желательно выполнение условия т2 > т1. Таким образом, сгенерированные фрагменты имеют размер а > М / к.
В то же время ошибки ввода-вывода и событий полного выхода из строя накопителя могут исправляться только на уровне всего РСХД. Борьба с описанными выше событиями осуществляется путем распределения фрагментов данных К между к максимально независимыми друг от друга (разнесенные топологически и географически) хранилищами Д,В2..Вк. Для обеспечения гарантированного восстановления исходного массива на этапе, предшествующем распределению, формируется набор из п — к проверочных фрагментов Ск+1,Ск+2..Сп—к. Таким образом вычисление подобного набора производится по заранее определенной для каждого фрагмента избыточности функции:
С = / (А, ), (1)
где / = 1,2...п — к - номер проверочного хранилища.
Традиционно в РСХД используются алгоритмы репликации (создания нескольких копий каждого фрагмента) или коды с максимальным расстоянием декодирования (коды Рида-Соломона). Однако в современных условиях подобные подходы не всегда являются оптимальными. По этой причине возникает необходимость разработки новых методов кодирования [11;12;13; 14].
При разработке моделей необходимо учитывать, что процессы возникновения некорректируемых битовых ошибок и событий утраты накопителей в целом носят различный характер. В частности, при возникновении некорректируемой битовой ошибки ее местоположение неизвестно. Таким образом, для коррекции одной подобной ошибки требуется в начале определить ее дислокацию и уже потом исправить ее. В то же время местоположение вышедшего из строя накопителя всегда известно и производится только вычисление его содержимого.
Таким образом, разрабатываемая модель должна базироваться на идее применения механизмов борьбы с ошибками (некорректируемые битовые ошибки) и стираниями (утрата накопителей в целом) [15].
Из вышесказанного следует, что условием возможности восстановления данных в РХСД, использующей любые методы кодирования, является то, что число утраченных хранилищ I и хранилищ, содержащих некорректируемые битовые ошибки т , должно находиться в следующих пределах:
0 < 21 + т < dmln , (2)
где ^ - минимальное кодовое расстояние.
Таким образом, можно сделать вывод, что интенсивность выхода из строя накопителей может быть до двух раз выше, чем интенсивность возникновения битовых ошибок при сопоставимых интен-сивностях восстановления хранилищ или исправления ошибок.
В случаях не выполнения условия (2) происходит рост информационной неопределенности, что приводит к невозможности восстановления исходного массива данных.
Важным является то, что события возникновения некорректируемых битовых ошибок и события выхода из строя отдельных накопителей являются независимыми и совместными.
Кроме описанной выше особенности необходимо учитывать, что при возникновении некорректируемых битовых ошибок после их исправления не требуется замена накопителя. В то же время в реально эксплуатируемых системах в случае повреждения накопителя он изымается и заменяется на новый. Это позволяет избежать повторных поломок того же накопителя, способных привести к утрате всего массива данных.
Техническая документация современных НЖМД содержит либо сведения о времени средней наработки на отказ т, либо интенсивность отказов накопителей А . Эти параметры связаны как:
Ч <3)
В то же время известна интенсивность возникновения некорректируемых ошибок c .
Традиционный подход к моделированию процессов выхода из строя оборудования, в том числе НЖМД, базируется на использовании распределения Вейбулла [16]. Интенсивность отказов в этом случае вычисляется как:
A(t) = A0ata-1, (4)
где Aq > 0 - коэффициент масштаба, определяющих скорость изменения функции; a - коэффициент формы, определяющий поведение изменения функции. В зависимости от задаваемого a определяется период эксплуатации устройства (период приработки, нормального функционирования, старения и износа). Подобный подход позволяет наиболее точно оценить вероятное поведение накопителя и подтверждается статистическими данными.
Вероятность безотказной работы НЖМД в период времени [0, t] может быть вычислена с помощью выражения:
t
P(t) = exp(-jl(t)dt) . (5)
0
При моделировании надежности РСХД должно учитываться наличие большого числа накопителей, входящих в его состав [17].
По причине значительного увеличения объемов, генерируемых и требующих сохранения данных, происходит непрерывный рост числа хранилищ, входящих в РСХД. В этих условиях происходит увеличение вероятности утраты одного хранилища:
п
Q(t) = 1 — ПР(0, (6)
1=\
где Q(t) - вероятность утраты устройства хранения данных; п - число устройств в системе.
Из статистических данных известно, что в системах распределенного хранения данных единовременно используется множество накопителей на жестких магнитных дисках разных объемов и различных производителей. Подобный подход вынуждает применять более сложное решение к расчету вероятности отказа устройств, что вызвано отличиями характеристик надежности, закладываемых производителями. В связи с этим возникает задача формирования кривой вероятности отказов с учетом разнородности имеющегося ассортимента накопителей. В этих условиях интенсивность отказов отдельных накопителей системы, состоящей из п НЖМД, будет определена как:
л = zA .
t=1
(7)
Как показано выше, для компенсации роста вероятности утраты целостности исходного массива информации, обусловленного увеличением интенсивности отказов, применяются методы помехоустойчивого кодирования. При этом вероятность утраты данных может быть рассчитана как вероятность отказа из имеющихся п хранилищ [18]
Qd
= 1 -
z
Pi (i - P)n
(8)
Подобный подход лишен возможности оценки вероятности возникновения событий отдельных ошибок. Так же данный метод не позволяет моделировать системы с восстановлением содержимого утраченных хранилищ в памяти новоприбывших.
Построение моделей надежности, позволяющих учитывать влияние процесса реконструкции содержимого утраченных хранилищ, базируется на применении аппарата Марковских цепей [19; 20]. Недостатком обозначенных моделей является их Пуассоновский характер, то есть возвращение системы в исходное состояние после восстановления функциональности утраченного узла. Таким образом, применение описанной выше модели не позволяет в полной мере оценивать поведение системы [21].
Таким образом, возникает необходимость разработки моделей как возникновения событий утраты отдельных накопителей и неисправимых битовых ошибок, так и события восстановления исходного массива данных. От разрабатываемых моделей требуется возможность учета особенностей событий возникновения некорректируемых битовых ошибок и событий утраты накопителей, а также исправления этих событий.
Результаты Моделирование процесса возникновения некорректируемых битовых ошибок (ошибок ввода-вывода) основывается на применении аппарата Марковских цепей. Подобная задача представляет собой классическую модель «гибели и размножения». Это обусловлено тем, что в случае возникновения некорректируемых битовых ошибок, их исправление производится непосредственно в тех же накопителях, в которых они обнаружены. При этом в характеристики системы не вносятся изменения. Таким образом, этот процесс вполне может считаться Пуассоновским. Граф состояний данной модели представлен на рисунке 2.
Рисунок 2 - Граф состояний модели возникновения событий утраты аутентичности
Система уравнений Колмогорова для вероятностей состояний системы с ошибками ввода-вывода:
dp0
— = p + ... + cperror - nap0 ; dt
dpi
dp1 = nap0 - ((n - 1)a + c) p1; dt
(9)
ddpm
dt dpDL
= (n - m)apm-i - ((n - m - 1)a + c)pm;
dt
= (n - m -1) apm
где p0,p1...,pm,pDL - предельные вероятности состояний без ошибок, с одной ошибкой, с т ошибками и события утраты исходных данных, при этом
DL
2 p¡ = 1, a - интенсивность возникновения некор-
ректируемых битовых ошибок; c - интенсивность реконструкции некорректируемых битовых ошибок;
^ — 1
m = — - предельное число некорректируемых
n
n
n
битовых ошибок, при которых возможна реконструкция.
В то же время при выходе из строя отдельных накопителей с последующим восстановлением их содержимого в памяти новоприбывших узлов происходит изменение характеристик системы. В частности происходит изменение интенсивности отка-
зов накопителей, кроме того при той же вероятности. Таким образом, модель «гибели и размножения» не может в полной мере описывать процесс утраты отдельных НЖМД. Предлагается модель ветвящегося процесса, позволяющего учитывать изменения интенсивности отказов. Граф состояний модели утраты хранилищ представлен на рисунке 3.
Рисунок 3 - Граф состояний модели утраты хранилищ
Условием возможности моделирования процесса утраты накопителей и восстановления их содержимого в памяти новоприбывших является ограниченность общего числа резервных накопителей. Кроме того представленный граф состояний подразумевает, что поток отказов является ординарным. В то же время модель позволяет учитывать вероятность возникновения дополнительных событий утраты данных еще до восстановления целостности
Система уравнений Колмогорова для вероятностей состояний системы с утратой хранилищ:
Фо(1)
,t = -£A,Po(tX dt t=i
JPT) = £ l,Po(t) - ((£ А -к + и) Pi(t); dt t=i t=i
dp (t) n d min -1 n d min
-P^ = (£ A - £ А) Pi-i(t) - (£ А -£A,+m)p, (t); dt t=i i=i t=i i=i
jPdl (t)
,t = (£A - £ А)Pi (t); dt t=i i=i
dp0(t)
— = MPi(t) -£A,P o(t);
dt dP i (t)
, = £A,P o(t) - (£At - А e +/) P i (t); dt t=i t=i
^ = (£ At - df AJ Pi (t); dt t=i i=i
dP"o(t) = №l (t) -£ а' ,p< o(t);
dt
где Po,Pv-Pdl,Po'---Pdl ,Po" ■■■Pdl" - - предельные вероятности состояний утраты накопителей;
n n
£Atp'o(f) = (( £A -Ae ) Po(t) + AnewPo(t-Tj) ,
t=i t=i
n n dmin -i dmin -i
£A\p''o (t) = ((£A - £ A)Poo(t) + £ AwPo(t-Ti)) ,
t=i t=i i=i i=i
A - интенсивность выхода из строя накопителя; Anew - интенсивность отказа новоприбывшего узла; М - интенсивность реконструкции содержимого утраченных накопителей; гх.. xt... - момент времени выхода из строя накопителя; l = d^ -1 - предельное число накопителей, единовременно находящихся в неисправном состоянии, при которых возможна реконструкция.
Условием утраты данных для подобной модели будет невыполнение условия (2).
Обсуждение Предложенная модель качественно отличается от описанных ранее возможностью учета изменений, вносимых в характеристики интенсивности отказов накопителей РСХД и возникающих при восстановлении массива данных, поврежденного в результате утраты отдельных накопителей. Так же данный подход позволяет учитывать зависимость вероятности отказов и утраты данных от времени введения в систему новых накопителей. Подобное решение позволяет наиболее точно моделировать процессы отказа и восстановления отдельных узлов и их влияние на надежность хранения данных в РСХД.
t=i
n
n
t=i
Заключение
В работе описаны основные методологические особенности моделирования процессов функционирования РСХД. Дана классификация ошибок, возникающих в ходе долгосрочного хранения данных. Описан новый метод моделирования процессов выхода из строя отдельных накопителей системы хранения данных с последующим восстановлением их содержимого в памяти новоприбывших накопителей.
СПИСОК ЛИТЕРАТУРЫ
1. Рост объема информации - реалии цифровой вселенной // Технологии и средства связи. № 1 (94). 2013. С. 24-25.
2. IDC digital universe 2014 Russia [Электронный ресурс]. Режим доступа: https://russia.emc.com/ collateral/analyst-reports/idc-digital-universe-2014-russia.pdf (дата обращения: 25.05.2017).
3. Гладких А. А., Климов Р. В., Чилихин Н. Ю. Методы эффективного декодирования избыточных кодов и их современные приложения. Ульяновск : УлГТУ, 2016. 258 с.
4. Шарапов Р. В. Аппаратные средства хранения больших объёмов данных // Инженерный вестник Дона. 2012. Т. 24. № 4-2 (23). С. 67.
5. Eduardo Pinheiro, Wolf-Dietrich Weber, Luiz André Barroso Failure. Trends in a Large Disk Drive Population // 5th USENIX Conference on File and Storage Technologies, 2007, pp. 17-29.
6. Andy Klein, Hard Drive Stats for Q1 2017 [Электронный ресурс]. Режим доступа: https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/ (дата обращения: 27.06.2017).
7. Соколинский Л. Б. Параллельные системы баз данных : Учебное пособие. М. : Издательство Московского университета, 2013. 184 с.
8. Скляр Б. Цифровая связь. Теоретические основы и практическое применение. Изд. 2-е, испр. пер. с англ. М. : Издательский дом «Вильямс», 2003. 1104 с.
9. Морелос-Сарагоса Р. Искусство помехоустойчивого кодирования. Методы, алгоритмы, применение. М. : Техносфера, 2005. 320 с.
10. Гладких А. А. Основы теории мягкого декодирования избыточных кодов в стирающем канале связи. Ульяновск : УлГТУ. 2010. 379 с.
11. Гладких А. А., Капустин Д. А., Климов Р. В. Адаптивный кодер гиперкода размерности 3D. Патент на изобретение № 2480918. Бюллетень № 12.2013.
12. Dimakis A., Godfrey P., Wu Y., Wainw-right M., and Ramchandran K. Network coding for dis-
tributed storage systems // Information Theory. IEEE Transactions. 2010. Vol. 56. No. 9. pp. 4539-4551.
13. Rashmi K. V., Nihar B. Shah, Vijay Kumar P. Optimal Exact-Regenerating Codes for Distributed Storage at the MSR and MBR Points via a Product-Matrix Construction // IEEE Transactions. 2011. Vol. 57. No. 8. pp. 5227-5239.
14. Гладких А. А., Климов Р. В., Сорокин И. А. Методы снижения внутрисетевой нагрузки в распределенных системах хранения данных // ИКТ, Том 41, № 3, 2015. С. 34-41.
15. Кларк Дж. Мл., Кейн Дж. Кодирование с исправлением ошибок в системах цифровой связи: Пер. с англ. М. : Радио и связь, 1987. 392 с.
16. Айвазян С. А., Енюков И. С., Мешал-кин Л. Д. Прикладная статистика: Основы моделирования и первичная обработка данных. Справочное изд. М. : Финансы и статистика, 1983. 471 с.
17. Локшин М. В. Исследование надежности RAID-0 массивов в системах с репликацией данных // Вестник воронежского государственного технического университета. 2013. № 6 (3). С. 93-97.
18. Диллон Б., Сингх Ч. Инженерные методы обеспечения надежности систем // Пер. Е. Г. Коваленко, М. : «МИР», 1984, 320 с.
19. Иваничкина Л. В., Непорада А. П. Модель надежности распределенной системы хранения данных в условиях явных и скрытых дисковых сбоев // Труды ИСП РАН, Том 27, Вып. 6, 2015 г., С. 253-274.
20. Greenan K. M., Plank J. S. and Wylie J. J. Mean Time To Meaningless: MTTDL, Markov models, and Storage System Reliability, Proceedings of the 2nd USENIX conference on Hot topics in storage and file systems, 2010, pp. 1-5.
21. Karmakar P. and Gopinath K. Are Markov. Models Effective for Storage Reliability Modelling? [Электронный ресурс]. Режим доступа: https://arxiv.org/pdf/1503.07931.pdf (Дата обращения: 27.05.2017).
REFERENCES
1. Rost ob"ema informacii - realii cifrovoj vselennoj (The growing volume of information - the realities of the digital universe), Tekhnologii i sredstva svyazi, No. 1 (94). 2013. pp. 24-25.
2. IDC digital universe 2014 Russia [Elektronniy re surs]. Rezhim dostupa: https://russia.emc.com/ collat-eral/analyst-reports/idc-digital-universe-2014-russia.pdf (date of access:25.05.2017).
3. Gladkih A. A., Klimov R. V., CHilihin N. YU. Metody ehffektivnogo dekodirovaniya izbytochnyh kodov i ih sovremennye prilozheniya (Methods for effi-
cient decoding of redundant codes and their modern applications). Ul'yanovsk : UlGTU, 2016, 258 p.
4. Sharapov R.V. Apparatnye sredstva hraneniya bol'shih ob"yomov dannyh (Hardware store large amounts of data), Inzhenernyj vestnik Dona, 2012, T. 24, No. 4-2 (23), pp. 67.
5. Eduardo Pinheiro, Wolf-Dietrich Weber, Luiz André Barroso Failure. Trends in a Large Disk Drive Population, 5th USENIX Conference on File and Storage Technologies, 2007, pp. 17-29.
6. Andy Klein, Hard Drive Stats for Q1 2017 [Elektronniy resurs]. Rezhim dostupa: https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/ (date of access: 27.06.2017).
7. Sokolinskij L. B. Parallel'nye sistemy baz dannyh (Parallel database system), Uchebnoe posobie. M. : Izdatel'stvo Moskovskogo universiteta, 2013. 184 p.
8. Sklyar B. Cifrovaya svyaz'. Teoreticheskie os-novy i prakticheskoe primenenie (Digital Communications: Fundamentals and Applications), 2nd Edition, M. : Izdatel'skij dom «Vil'yams», 2003, 1104 p.
9. Morelos-Saragosa R. Iskusstvo pomekhoustoj-chivogo kodirovaniya. Metody, algoritmy, primenenie (The art of error-correcting coding. Methods, algorithms, application.), M. : Tekhnosfera, 2005, 320 p.
10. Gladkih A. A. Osnovy teorii myagkogo dekodirovaniya izbytochnyh kodov v stirayushchem kanale svyazi (Fundamentals of the theory of soft decoding of redundant codes in the erase channel of communication), Ul'yanovsk : UlGTU, 2010, 379 p.
11. Gladkih A. A., Kapustin D. A., Klimov R. V. Adaptivnyj koder giperkoda razmernosti 3D (Adaptive coder of 3D dimension hypercode), Patent na izobreten-ie № 2480918. Byulleten', No. 12, 2013.
12. Dimakis A., Godfrey P., Wu Y., Wainw-right M. and Ramchandran K. Network coding for distributed storage systems, Information Theory, IEEE Transactions. 2010. Vol. 56, No. 9, pp. 4539-4551.
13. Rashmi K. V., Nihar B. Shah, Vijay Kumar P. Optimal Exact-Regenerating Codes for Distributed Storage at the MSR and MBR Points via a Product-Matrix Construction, IEEE Transactions. 2011. Vol. 57. No. 8. pp. 5227-5239.
14. Gladkih A. A., Klimov R. V., Sorokin I. A. Metody snizheniya vnutrisetevoj nagruzki v raspre-delennyh sistemah hraneniya dannyh (Methods to reduce internal network load in distributed data storage systems), IKT, Tom 41, No. 3, 2015. pp. 34-41.
15. Klark Dzh. Ml., Kejn Dzh. Kodirovanie s is-pravleniem oshibok v sistemah cifrovoj svyazi: Per. s angl. (Encoding with error correction in digital communication systems), M. : Radio i svyaz', 1987, 392 p.
16. Ajvazyan S. A., Enyukov I. S., Meshal-kin L. D. Prikladnaya statistika: Osnovy modelirova-niya i pervichnaya obrabotka dannyh (Applied statistics: fundamentals of modelling and primary data processing), Spravochnoe izd. M. : Finansy i statistika, 1983, 471 p.
17. Lokshin M. V. Issledovanie nadezhnosti RAID-0 massivov v sistemah s replikaciej dannyh (Investigation of the reliability of RAID-0 arrays in systems with data replication), Vestnik voronezhskogo gosu-darstvennogo tekhnicheskogo universiteta, No. 6 (3), 2013, pp. 93-97.
18. Dillon B., Singh CH. Inzhenernye metody obespecheniya nadezhnosti sistem (Engineering methods for ensuring system reliability), Per. E. G. Ko-valenko, M. : «MIR», 1984, 320 p.
19. Ivanichkina L. V., Neporada A. P. Model' nadezhnosti raspredelennoj sistemy hraneniya dannyh v usloviyah yavnyh i skrytyh diskovyh sboev (Reliability model for distributed storage of data in the apparent and hidden disk failures). Trudy ISP RAN. Tom 27. Vyp. 6. 2015, pp. 253-274.
20. Greenan K. M., Plank J. S. and Wylie J. J. Mean Time To Meaningless: MTTDL, Markov models, and Storage System Reliability, Proceedings of the 2nd USENIX conference on Hot topics in storage and file systems, 2010, pp. 1-5.
21. Karmakar P. and Gopinath K. Are Markov Models Effective for Storage Reliability Modelling? [Elektronniy resurs]. Rezhim dostupa: https://arxiv.org/ pdf/1503.07931.pdf (date of access: 27.05.2017).
Дата поступления статьи в редакцию 25.04.2017, принята к публикации 22.06.2017.
