CC BY
17
УДК 655.28.022.1
ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ АВТОМАТИЗИРОВАННОГО ПРОЦЕССА РЕЗЕРВНОГО КОПИРОВАНИЯ ЦИФРОВЫХ ДАННЫХ ТИПОГРАФИЙ И ИЗДАТЕЛЬСТВ БЕЗ ИСПОЛЬЗОВАНИЯ ВНЕШНИХ СЕТЕВЫХ ТЕХНОЛОГИЙ
DETERMINATION OF PARAMETERS OF THE AUTOMATED BACKUP PROCESS OF DIGITAL DATA FOR PRINTING HOUSES AND PUBLISHING HOUSES WITHOUT USE OF EXTERNAL NETWORK TECHNOLOGIES
Н. Е. Проскуряков, Б. С. Яковлев
Тульский государственный университет, г. Тула, Россия
N. E. Proskuriakov, B. S. Yakovlev
Tula State University, Tula, Russia
Аннотация. Представлены результаты экспериментальных исследований влияния среднего размера файлов, общего объема данных и объема восстанавливаемых данных на время резервного копирования при использовании автоматизированных процессов создания резервных копий цифровых данных для средних и малых полиграфических предприятий. Экспериментальными и аналитическими методами были выявлены основные параметры, влияющие на скорость процесса резервного копирования при условии использования исключительно внутренних возможностей предприятий. Как показало исследование, наиболее значимыми параметрами являются оптимальный размер файла и общий объем данных. Проанализирован вариант использования архивирования перед непосредственным копированием данных, показаны положительные и отрицательные стороны данного подхода. Был установлен оптимальный размер файла для процесса резервного копирования при его использовании на одном ЭВМ и без использования сетевых технологий и внешних жестких дисков, его среднее значение составляет 685 Мб. Данные исследования позволяют повысить качество процесса резервного копирования, помогут в создании автоматизированных, автономных и гибких систем резервного копирования.
Ключевые слова: автоматизированные системы резервного копирования, RAID, отказоустойчивая система, надежность сохранения данных, утилиты Robocopy, cwRsync, скорость процесса копирования.
DOI: 10.25206/2310-9793-2018-6-2-50-57
I. Введение
В современных условиях производства полиграфической и упаковочной продукции все острее встает вопрос сохранения цифровых данных издательств, типографий, дизайнерских фирм и других учреждений. Все большее количество людей задумываются о сохранении своих наработок, готовых проектов как важных составляющих памяти и истории своего развития. В основном такая тенденция появилась из-за появления вирусов, способных уничтожить информацию безвозвратно, и недолговечности самих носителей информации.
Наиболее качественным решением данной проблемы было бы применение классических средств создания резервных копий, которые чаще всего для увеличения надежности сохранения информации включают возможность хранения данных в сетевых хранилищах, созданных крупными поставщиками подобных услуг.
Однако в условиях жесткой конкуренции и при общем неблагоприятном фоне вирусных угроз все чаще полиграфические организации данную опцию отключают или ограничиваются программными решениями, стараясь защититься от кражи данных. По этой же причине стараются не использовать внешние жесткие носители информации и не всегда работает функция контроля версий файлов, которая лучше всего реализована именно в сетевых или «облачных» хранилищах.
Чтобы уменьшить риски потери данных в подобных условиях, давно и успешно применяются различного рода программные и аппаратные автоматизированные средства создания резервных копий. Условно данные технологии можно разделить на следующие виды:
1. Обеспечение отказоустойчивости при хранении цифровых данных.
2. Обеспечение надежности сохранения цифровых данных.
3. Симбиоз выше описанных решений.
До сих пор, как простые пользователи, так и определенный процент системных администраторов и инженеров путают отказоустойчивую систему хранения данных с понятием надежность хранения, подразумевая, что это одно и то же. Однако это сильно отличающиеся друг от друга подходы, которые решают разные задачи.
Отказоустойчивая система решает задачу поддержания работоспособности сервера или любого устройства в случае потери части физических носителей, на которых содержится ценная информация. Это реализуется за счет введения RAID массивов, самыми распространенными из которых являются RAID-1, 5, 10 [1-3]. Основа работы RAID массива уровней 5 и 10 заключается в наличии большого количества жестких дисков, одинаковых по характеристикам, объему, разделению на логические диски, объединенные в единое «виртуальное» пространство, на которое впоследствии записывается информация. При этом один из носителей информации используется как резервный, хранит в себе список файлов, их контрольные суммы и в случае отказа одного из жестких дисков использует резервный, записывая на него данные, тем самым восстанавливая работоспособность или доступность информации. RAID-1 работает немного иначе, он не создает «виртуального» пространства, два жестких диска являются полными копиями друг друга.
В случае заражения компьютера вирусом, повреждающего цифровые данные, подобные отказоустойчивые системы сохранят зараженные файлы, не будет возможности «откатить» их версии, тем самым отказоустойчивая система совершенно не защищает от вирусных угроз, она не создавалась для этого.
Проблемой для сохранения данных на RAID массиве также будет переустановка операционной системы или выход из строя аппаратного RAID контроллера, т.к. эти ситуации могут привести к пересозданию RAID массива и полной потере данных [2]. Данная проблема особо остро встает при наличии недостаточно квалифицированных кадров, которые могут совершить фатальные для хранящейся информации ошибки в силу своей неопытности.
Обеспечение надежности сохранения данных является очень вариативной технологией, подходом, который должен обеспечить пользователя возможностью выйти с минимальными потерями или без них в случае заражения вирусами или ошибочного удаления информации. В современных реалиях обычно такой метод осуществляется за счет хранения файлов на разных по расположению носителях информации, например, внешнем и внутреннем жестких дисках, задействует сетевые технологии, например, облачные файловые хранилища данных - «облака», локальные файловые сервера, NAS-хранилища и другие технологии.
Стоит отметить, что надежность хранения в подобном подходе напрямую зависит от того насколько были продуманы мероприятия по защите данных, процедуры и насколько часто происходит создание резервных копий [1]. В последнее время сетевые хранилища начинают входить в список обязательных мер по предотвращению потери цифровых данных. Для этого есть три причины:
- невозможность повредить данный сервис физически из-за его удаленности;
- невозможность распространения вируса внутри хранилища, т.к. оно работает на UNIX подобной операционной системе и не предоставляет пользователю возможность установить или запустить что-либо в хранилище;
- наличие возможности «откатиться» до более ранней версии файла, даже в случае полной синхронизации после заражения.
На наш взгляд, нужно стремиться к сохранению данных симбиозом этих технологий, так как это резко повышает шансы восстановления данных. Однако вводить отказоустойчивые системы повсюду дорого и в большинстве случаев неоправданно. RAID массивы имеет смысл вводить только на отдельной ЭВМ, которая выступает в локальной сети как сервер, файловый сервер или имеет иное, важное применение.
Практически все системные администраторы, знают, что процесс резервного копирования очень долог, особенно если он не оптимизирован и не автоматизирован. Поэтому мы считаем, что важной задачей в повышении качества создания резервных копий является ускорение этого процесса, сокращение времени операции.
Ранее были опубликованы исследования по организации хранения данных с учетом использования сетевых хранилищ [4]. В них были установлены необходимые факты и меры, которые могут помочь в выборе сетевого хранилища, в достижении наибольшей скорости процесса синхронизации. Было установлено, что целесообразней создавать многотомные архивы, используя архиватор 7z, с разделением их на тома по 300 Мб.
Целью данного исследования являлось определение влияния различных параметров на скорость автоматизированного процесса резервного копирования при использовании стандартных и специализированных бесплатных средств синхронизации данных в условиях хранения файлов, используя только внутренние жесткие диски одной ЭВМ.
Проверялась гипотеза влияния среднего размера файла, удаляемого объема и общего объема на время и скорость резервного копирования.
II. Объекты и методы экспериментальных исследований
Для определения влияния среднего размера файлов на скорость процесса резервного копирования были использованы каталоги объемом 30 Гб, которые состояли из наборов файлов одинакового размера: 100 Кб; 1, 10, 100, 500 Мб и 1 Гб. Файлы были получены командой fsutil.exe filecreatenew <имя файла, включая путь к нему> <размер в байтах>.
Каталоги, полученные таким образом, содержали в себе следующее количество подкаталогов и файлов (табл. 1).
ТАБЛИЦА 1
СОСТАВ ТЕСТОВЫХ КАТАЛОГОВ ДЛЯ ПРОВЕРКИ ГИПОТЕЗЫ ВЛИЯНИЯ СРЕДНЕГО РАЗМЕРА ФАЙЛОВ НА СКОРОСТЬ ПРОЦЕССА РЕЗЕРВНОГО КОПИРОВАНИЯ С УЧЕТОМ ОБЩЕГО ОБЪЕМА 30 ГБ
Средний размер файла Количество каталогов и подкаталогов Количество файлов
1 Гб 3 30
500 Мб 40 60
100 Мб 100 300
10 Мб 394 3 000
1 Мб 3 394 30 000
100 Кб 33 400 300 000
Исследования проводились на ЭВМ со следующими характеристиками:
1. Процессор: Intel(R) Core(TM) i7-3770 CPU @ 3.40 GHz;
2. Оперативная память: 8 Гб;
3. Тип системы: 64-разрядная операционная система Windows 7 PRO;
4. Жесткий диск WDC WD30EFRX-68EUZN0 SATA/300 объемом 3 Тб;
5. Жесткий диск ST3000DM001-1E6166 SATA/300 объемом 3 Тб.
В качестве инструментов проверки использовать утилиты Robocopy и cwRsync, которые показали хорошую эффективность в прежней работе [4].
Утилиты запускались в режиме командной строки из файлов формата CMD:
1. robocopy "путь до каталога с образцами" "*.*" "путь до проверяемого каталога" /E /MIR /LOG: путь до файла с отчетом .log;
2. robocopy "путь до каталога с образцами" "*.*" "путь до проверяемого каталога" /E /LOG: путь до файла с отчетом .log;
3. "Путь до утилиты (cwRsync\bin\rsync.exe)" -av --delete --update --info=progress2 --log-Ше^'путь до файла с отчетом .log " "путь до каталога с образцами" "путь до проверяемого каталога ".
Стоит пояснить, что утилита Robocopy запускалась в двух режимах с параметрами:
/E (простое копирование, без изменения структуры нарушенного каталога);
/E /MIR (режим зеркалирования, когда проверяемый каталог может меняться в зависимости от оригинального).
Утилите cwRsync было разрешено удалять и обновлять каталоги и файлы внутри проверяемого каталога. Обе утилиты записывали отчеты операции в LOG файл.
Для установления влияния удаляемого объема данных эмулировалась «потеря» файлов, то есть проводилось удаление определенного объема данных. Удалялись как малые по объему данные - 100, 500 Кб, так и 10, 20, 30 Гб.
Результаты экспериментов представлены в табл. 2-9, где время работы каждой утилиты приведено в минутах.
ТАБЛИЦА2
ВРЕМЯ АНАЛИЗА И ВОССТАНОВЛЕНИЯ 500 МБ ДАННЫХ ПРИ ОБЩЕМ ОБЪЕМЕ 30 ГБ
Средний размер файла Программы (утилиты)
Robocopy с ключом /E Robocopy с ключом /E /MIR cwRsync
1 Гб - - -
500 Мб 0,03 0,02 0,12
100 Мб 0,03 0,02 0,12
10 Мб 0,08 0,05 0,13
1 Мб 0,13 0,015 0,62
100 Кб 3,63 3,37 6,30
ТАБЛИЦА 3
ОБЩЕЕ ВРЕМЯ АНАЛИЗА И ВОССТАНОВЛЕНИЯ 1 ГБ ДАННЫХ ИЗ МАТЕРИАЛОВ ОБЪЕМОМ 30 ГБ
Средний размер файла Программы (утилиты)
КоЬоеору с ключом /Е ЯоЬоеорус ключом /Е /МГО cwRsync
1 Гб 0,02 0,02 0,18
500 Мб 0,08 0,08 0,22
100 Мб 0,08 0,08 0,25
10 Мб 0,15 0,13 0,25
1 Мб 0,20 0,22 0,87
100 Кб 3,85 4,02 8,27
ТАБЛИЦА4 ОБЩЕЕ ВРЕМЯ АНАЛИЗА И ВОССТАНОВЛЕНИЯ 10 ГБ ДАННЫХ ИЗ МАТЕРИАЛОВ ОБЪЕМОМ 30 ГБ
Средний размер файла Программы (утилиты)
ЯоЬоеору с ключом /Е ЯоЬоеорус ключом /Е /МШ cwRsync
1 Гб 1,60 1,62 1,92
500 Мб 1,70 1,72 2,02
100 Мб 1,62 1,65 2,18
10 Мб 1,75 1,75 2,13
1 Мб 1,92 1,92 5,97
100 Кб 8,57 8,45 42,63
ТАБЛИЦА 5 ОБЩЕЕ ВРЕМЯ АНАЛИЗА И ВОССТАНОВЛЕНИЯ 20 ГБ ДАННЫХ ИЗ МАТЕРИАЛОВ ОБЪЕМОМ 30 ГБ
Средний размер файла Программы (утилиты)
ЯоЬоеору с ключом /Е ЯоЬоеору с ключом /Е /МГО cwRsync
1 Гб 3,43 3,38 3,92
500 Мб 3,45 3,47 4,05
100 Мб 3,50 3,53 4,40
10 Мб 3,47 3,45 4,17
1 Мб 3,87 3,97 11,28
100 Кб 13,30 13,30 86,77
ТАБЛИЦА6
ОБЩЕЕ ВРЕМЯ АНАЛИЗА И ВОССТАНОВЛЕНИЯ 30 ГБ ДАННЫХ (ПОЛНОЕ УНИЧТОЖЕНИЕ ДАННЫХ)
Средний размер файла Программы (утилиты)
Robocopy с ключом /Е Robocopy с ключом /Е /МГО cwRsync
1 Гб 5,28 5,23 5,77
500 Мб 5,30 5,28 6,28
100 Мб 5,32 5,23 6,72
10 Мб 5,28 5,28 6,22
1 Мб 5,62 7,25 16,27
100 Кб 18,58 18,52 128,48
Далее были проведены дополнительные эксперименты, которые должны были определить влияние удаляемого малого объема данных на показатели скорости процесса. Эксперименты проводились с каталогами, составленными из самых малых по среднему обзору файлов, моделируя наихудший вариант по времени операции. Результаты приведены в табл. 7.
ТАБЛИЦА7
ВЛИЯНИЕ КОЛИЧЕСТВА И ОБЪЕМА ФАЙЛОВ НА ВРЕМЯ ВОССТАНОВЛЕНИЯ ДАННЫХ (ДЛЯ 100 КБ)
Число удаленных файлов (удалено случайным образом) Программы (утилиты)
Robocopy с ключом /Е Robocopy с ключом /Е /МГО cwRsync
Один файл, 100 Кб 1,25 1,23 4,55
Два файла, 200 Кб 1,27 2,33 4,52
Три файла, 300 Кб 1,27 2,50 4,52
Четыре файла, 400 Кб 1,23 2,65 4,53
Пять файлов, 500 Кб 1,30 2,78 4,62
Затем была исследована способность утилит к восстановлению структуры каталогов. Моделирование нарушения структуры заключалось в полном удалении файлов из каталога и, во втором варианте, добавлении к имеющемуся каталогу в 30 Гб другого каталога, аналогичного по общему объему (табл. 8).
ТАБЛИЦА 8
ВЛИЯНИЕ КОЛИЧЕСТВА И ОБЪЕМА ФАЙЛОВ НА ВРЕМЯ ВОССТАНОВЛЕНИЯ ДАННЫХ (ДЛЯ 100 КБ)
Число файлов Программы (утилиты)
Robocopy с ключом /Е /МГО cwRsync
Первичная подготовка 30 Гб. (300 000 файлов) (каталог пустой) 18,52 128,48
Проверка на ошибки (30 Гб ошибочной информации). Общий объем каталога 60 Гб (600 000 файлов) 10,13 13,68
Для достижения сокращения времени проверялась гипотеза о применении архивации без сжатия. Результаты эксперимента приведены в табл. 9.
ТАБЛИЦА 9
ЗАТРАЧЕННОЕ ВРЕМЯ ДЛЯ ОПЕРАЦИИ КОПИРОВАНИЯ МНОГОТОМНОГО АРХИВА КАТАЛОГА
ОБЪЕМОМ 30 ГБ С РАЗБИВКОЙ ПО 500 МБ
Вид утилиты Размер файлов Время операции Время синхронизации Итого по времени
в каталоге архивирования архивов операций
100 Кб 11,42 16,70
1 Мб 6,12 11,40
Robocopy с клю- 10 Мб 6,02 5,28 11,30
чом /Е /МГО 100 Мб 5,97 11,25
500 Мб 6,0 11,28
1 Гб 5,97 11,25
100 Кб 11,42 17,65
1 Мб 6,12 12,35
cwRsync 10 Мб 100 Мб 6,02 5,97 6,23 12,25 12,20
500 Мб 6,0 12,23
1 Гб 5,97 12,20
III. Статистическая обработка и аппроксимация результатов экспериментов
Статистическая обработка экспериментальных данных проводилась с использованием интегрированного пакета МАТЬАВ и его стандартной программы рв1у/^.
На основе табл. 3-7 были получены следующие графические зависимости показателей средних скоростей резервного копирования (рис. 1-3).
200 400 600 " 800 Средний размер файла, МВ
Рис. 1. Показатели скорости резервного копирования при восстановлении 10 Гб данных
200 400 600 " 800 Средний размер файла, МВ
Рис. 2. Показатели скорости резервного копирования при восстановлении 20 Гб данных
200 400 600 800
Средний размер файла, МВ
Рис. 3. Показатели скорости резервного копирования при восстановлении 30 Гб данных
Графическая зависимость, иллюстрирующая скорость процесса резервного копирования на основе результатов табл. 9, представлена на рис. 4.
Копирование архива по 500 Мб данных
о о
& 0.07 "
х
О
0.065 0.06О
0.055 -1-1-1-1-
0 200 400 600 800 1000
Средний размер файла, MB Рис. 4. Показатели скорости копирования многотомного архива каталога объемом 30 Гб с разбивкой в 500 Мб
IV. Обсуждение результатов экспериментальных исследований
Анализ табл. 2-6 выявил несущественное влияние среднего размера файлов на скорость процесса. Все графические зависимости (рис. 1-4) скорости операций резервного копирования показывают наличие максимума на кривых скоростей. Для разных утилит эти точки максимума скорости процесса имеют разные значения. Согласно приведенным зависимостям, оптимальный размер файла, который необходим для достижения наивысшей скорости, имеет размер от 650 до 720 Мб, что в среднем составляет 685 Мб.
На рис. 1-3 показано устойчивое отставание по скорости утилиты cwRsync от Robocopy, независимо от того, с какими параметрами они запускались. Также из графических зависимостей видно, что разница по скорости копирования между различными режимами работы утилиты Robocopy несущественна.
Несмотря на то, что в целом по всем результатам экспериментов cwRsync показала свою неэффективность по скорости процесса, она в некоторых случаях является обязательной к применению. Последнее связано с тем, что утилита Robocopy не справляется с превышением длины имени файла (больше 250 символов) и пропускает их, не спрашивая и не предупреждая пользователя [5, 6]. Это значит, что при синхронизации не архивированных каталогов могут быть потеряны файлы, что недопустимо. В этом случае единственным вариантом будет применение cwRsync. Также замечено, что cwRsync точно повторяет время и дату создания файлов, тогда как Robocopy устанавливает дату копирования каталога.
Данные табл. 7 показывают, что при восстановлении данных объемом от 100 до 400 Кб время операции примерно одинаково и непостоянно. Лишь объем в 500 Кб оказывает несущественное влияние на общий процесс и выявит тенденцию на увеличение времени операции.
Данные табл. 8 представляют зависимость количества и объема файлов на время восстановления данных при наличии или отсутствии файлов в каталоге изначально. Показано, что операция происходит намного быстрее, если проверяемый каталог уже имеет файлы внутри.
Анализ данных эксперимента в табл. 9 показывает, что лучше всего подход с применением архивирования работает в случае наличия больших объемов данных, состоящих из относительно мелких по размеру файлов. В противном случае из-за наличия операции архивирования скорость процесса резервного копирования снижается и происходит медленнее, чем синхронизация каталогов в изначальном состоянии.
V. Выводы и заключение
Анализ результатов исследования (табл. 7, рис. 1-3) показывает, что самое большое влияние на процесс резервного копирования оказывают количество файлов и объем удаляемых или «потерянных» файлов.
Был установлен оптимальный размер файла для процесса резервного копирования при его использовании на одном ЭВМ и без использования сетевых технологий и внешних жестких дисков, его среднее значение составляет 685 Мб.
Введение в эксплуатацию процесса архивирования не всегда положительно сказывается на времени процесса резервного копирования. Необходимы дальнейшие исследования, для выявления порогов, при которых данную операцию целесообразней вводить. Однако, несмотря на это, архивирование можно применять все равно, т.к. оно в большинстве случаев необходимо для удобства передачи файлов и носит утилитарное назначение, а также создает условия для относительно дешевого варианта автоматизированного процесса резервного копирования [7, 8].
Данные исследования позволят повысить качество, удобство и стабильность операций в процессе резервного копирования в локальных, изолированных условиях и помогут разработчикам в дальнейшем создавать надежные автоматизированные, автономные и гибкие системы резервного копирования.
Список литературы
1. Ruben G. A. How to automatically test and validate your database backup and recovery strategy // Journal of Physics: Conference Series, 2011. Vol. 331. DOI: 10.1088/1742-6596/331/4/042031.
2. Rahman P. A., Novikova Freyre Shavier G D. Reliability model of disk arrays RAID-5 with data striping // IOP Conference Series: Materials Science and Engineering, 2018. Vol. 327. DOI: 10.1088/1757-899X/327/2/022087.
3. Rahman P. A. Using a specialized Markov chain in the reliability model of disk arrays RAID-10 with data mirroring and striping // IOP Conference Series: Materials Science and Engineering, 2017. Vol. 177. DOI: 10.1088/1757-899X/177/1/012087.
4. Proskuriakov N. E., Yakovlev B. S., Pries V. V. Improving the Quality of Backup Process for Publishing Houses and Printing Houses // Journal of Physics: Conference Series, 2018. Vol. 998. DOI: 10.1088/1742-6596/998/1/012026.
5. Gotch М. Где мои файлы, ROBOCOPY? URL: https://habr.com/post/261359/ (дата обращения: 20.04.2018).
6. Malikov V. We use Robocopy. Examples. URL: https://vladimirmalikov.com/%D0%B8%D1%81%D0% BF%D0%BE%D0%BB%D1%8C%D0%B7%D1%83%D0%B5%D0%BC-robocopy-%D0%BF%D1%80%D0%
B 8%D0%BC%D0%B5%D 1 %80%D 1 %8B/ (дата обращения: 20.04.2018).
7. Mosk D. Work with 7zip from the command line. URL: https://www.dmosk.ru/miniinstruktions.php?mini=7zip-cmd (дата обращения: 20.04.2018).
8. Pakhomov S. Comparison of 64-bit archivers WinRAR 4.2, WinZip 17.0 and 7-Zip 9.30. URL: http://compress.ru/article.aspx?id=23664 (дата обращения: 20.04.2018).
УДК 531.7:54.08
ИСПОЛЬЗОВАНИЕ АДДИТИВНЫХ ТЕХНОЛОГИЙ ПРИ ПРОТОТИПИРОВАНИИ.
КОНТРОЛЬ ГЕОМЕТРИЧЕСКИХ ХАРАКТЕРИСТИК ДЕТАЛИ ИЗ ПЛАСТИКА ABS ДЛЯ ОПРЕДЕЛЕНИЯ ИСХОДНЫХ РАЗМЕРОВ ДЛЯ ПЕЧАТИ
ADDITIVE TECHNOLOGIES FOR PROTOTYPING. CONTROL GEOMETRIC CHARACTERISTICS OF PARTS FROM ABS PLASTIC TO DETERMINE THE ORIGINAL DIMENSIONS FOR PRINTING
А. В. Тигнибидин, С. В. Такаюк
'Омский государственный технический университет, г. Омск, Россия
A.V. Tignibidin1, S.V. Takayuk
Omsk State Technical University, Omsk, Russia
Аннотация. Для создания прототипов деталей методом послойного нанесения (FDM) используются пластики различных типов, таких как ABS, PLA и др. Невысокая стоимость этих пластиков обусловливает актуальность использования данного вида прототипирования при разработке моделей. Одной из основных проблем использования 3D-печати является усадка пластика при использовании нагревательных платформ. В статье представлены результаты исследования детали «Куб» после различных режимов печати, для определения наиболее предпочтительного режима при использовании универсального пластика ABS. Для производства изделий с высокими требованиями к геометрическим характеристикам
