CC BY
55
УДК 004.056.2
С. В. Клименко, В. В. Яковлев, С. Е. Ададуров
МЕТОД КОНТРОЛЯ ЦЕЛОСТНОСТИ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ CRC КОДА
Дата поступления: 25.10.2017 Решение о публикации: 08.11.2017
Аннотация
Цель: Дать сравнительную оценку производительности способов получения содержимого и CRC кода дорожки CKD диска, выявить временную эффективность рассматриваемых способов. Методы: Для сравнения применялись математические методы. Результаты: Подробно описаны способы получения содержимого и CRC кода дорожки диска - принцип работы канальных команд и их формат. Приведены результаты сравнения анализируемых способов, выявлена временная эффективность каждого из них в одиночных и множественных запросах. Практическая значимость: Полученные результаты позволяют определить сравнительную временную эффективность способов получения содержимого и CRC кода дорожки.
Ключевые слова: Системы хранения данных, CRC, CKD, производительность, эффективность, дорожка, том.
Sergey V. Klimenko, postgraduate student, s.klimenko@live.ru; Valentin V. Yakovlev, D. Eng. Sci., professor, jakovlev@pgups.ru (Petersburg State Transport University); Sergey E. Adadurov, D. Eng. Sci., professor, Adadurov.Sergey@niizht.ru (Research Institute of Railway Transport) METHOD FOR MONITORING DATA INTEGRITY USING CRC CODE
Summary
Objective: To give a comparative assessment of the performance of the ways of obtaining content and CRC code of the CKD track, to reveal the time efficiency of the methods in question. Methods: The methods in question were compared by means of mathematical methods. Results: The methods of obtaining the contents and CRC of the track code are described in detail - the principle of operation of the channel commands and their format. The results of comparison of the considered methods are given, the temporal efficiency of each method in single and multiple queries is revealed. Practical importance: The results of the analysis allow us to determine the relative temporal efficiency of the methods for obtaining the contents and CRC of the track code.
Keywords: Storage systems, CRC, CKD, performance, efficiency, track, volume.
В области обеспечения непрерывности бизнеса существует много различных проблем, связанных с быстрым ростом данных в современных 1Т инфраструктурах, среди которых особое значение приобретают задачи поддержания адекватного уровня отказоустойчивости и актуальности баз данных. Значительная роль при этом отводится внедрению новых технологий управления данными, в
частности по направлениям резервного копирования, архивирования, репликации и деду-пликации в системах хранения данных (СХД), работающих под управлением мейнфреймов. Названные технологии отчасти методически сходны, но имеют принципиально разное назначение. Резервное копирование (Backup) служит для гарантированного восстановления данных, утраченных по какой-либо причине
в продуктиве (системе, в которой непосредственно работают с файлами). Архивирование используется для освобождения места в рабочей нагрузке путем сжатия утрачивающих актуальность данных и их перемещения на более медленные носители с низкой стоимостью хранения файлов. Репликация - это постоянное дублирование всех данных из продуктива на параллельно работающую систему (локальную или облачную платформу) в режиме синхронизации; дедупликация - это технология, при помощи которой обнаруживаются и исключаются избыточные данные в дисковом хранилище. В результате это позволяет сократить объемы физических носителей для хранения тех же объемов данных.
Одной из наиболее распространенных операционных систем на мейнфреймах является операционная система z/OS, основной объект системы организации данных в ней - набор данных [1], который размещается на CKD (Count Key Data) томах (рис. 1). CKD - это модель дисковой организации данных, в которой предполагается, что диск состоит из фиксированного числа дорожек, каждая из которых обладает максимальной вместимостью данных. Название архитектуры CKD происходит от формата записи, который состоит из полей, счетчика (Count), необязательного поля ключа (Key) и самих данных (Data).
Запись является наименьшей адресуемой единицей данных, хранящаяся на диске. Она одна или более могут быть записаны на дорожку. Дорожка - это наименьшая единица
дискового пространства, которая может быть независимо отформатирована или защищена от неавторизованного доступа. Каждый CKD диск (том) состоит из определенного числа цилиндров, а каждый цилиндр, в свою очередь, содержит 15 дорожек. Механизм, перемещающий головки чтения/записи в заданное место магнитной поверхности, называется ак-туатором.
Размер каждой дорожки равен 47 476 байт для тома модели 3380 и 56 664 байт для тома модели 3390 [2]. Далее будет рассматриваться модель тома 3390.
Для защиты данных от потери, реализации аварийного восстановления, а также для переноса данных в новые местоположения используется репликация данных - процесс их копирования в массиве в другое пространство в пределах этого же массива в другой отдельный или удаленный массив [3]. Целью может быть перемещение данных, их защита в другом местоположении или передача в резервный центр обработки.
После создания реплики часто возникает потребность в проверке целостности (идентичности) данных между дисковыми массивами.
Осуществить контроль целостности исходного и целевого томов для заданных дорожек и цилиндров после процесса репликации можно следующими способами:
1) воспользоваться стандартными средствами операционной системы z/OS и составить канальную программу, которая будет считы-
Рис. 1. Структура CKD тома 3390
вать содержимое в выделенные заранее буферы и проверять непосредственно сами данные между собой;
2) воспользоваться возможностями СХД и запрашивать контрольную сумму (CRC код) содержимого и проверять контрольные суммы между собой.
Под контрольной суммой понимается некоторое значение, рассчитанное по набору данных путем применения математических алгоритмов, обеспечивающих устойчивость к хэш-коллизиям, например CRC-32 или MD5 [4].
Главное отличие между двумя вышеуказанными способами состоит в том, что в первом речь идет о сравнении содержимого исходного и целевого томов, а во втором - контрольных сумм содержимого.
Второй способ осуществим благодаря тому, что современные СХД обладают расширенными функциональными возможностями и могут производить подсчет контрольных сумм (Cyclic Redundancy Check (CRC) кодов) по запросу, в частности, контрольной суммы всей дорожки. Например, такой возможностью пользуется программный продукт для проверки целостности данных на томах Disk-Compare [5].
Данные способы были исследованы с помощью СХД Symmetrix VMAX 40K, подключенной по FICON каналу к мейнфрейму, работающему под управлением операционной системы z/OS1.12.
Рассматриваемые способы отличаются друг от друга и количеством требуемой памяти для временного хранения полученного содержимых дорожек или их CRC кодов. При этом размер одной дорожки составляет 56 Кбайт, а так как в проверке целостности участвуют два тома, то необходимо иметь два буфера
(2-56 Кбайт) для хранения содержимых дорожек томов. В то же время размер CRC кода одной дорожки составляет 4 байта, соответственно размер буферов будет существенно меньше.
Канальная подсистема
Канальная подсистема (Channel Subsystem) позволяет направлять поток информации между устройствами ввода/вывода и основным хранилищем (рис. 2).
Основными компонентами канальной подсистемы являются:
1) периферийные устройства (Input/Output device), к которым относятся внешние запоминающие устройства;
2) устройства ввода/вывода информации.
Номер устройства задается 16-разрядным
кодом, что допускает применение до 65 536 устройств.
Канальная подсистема освобождает процессоры от непосредственной связи с устройствами ввода/вывода и позволяет обрабатывать данные одновременно с обработкой ввода/вывода. Она использует один или несколько каналов в качестве канала связи при управлении потоком информации на устройства ввода/вывода или с них. Также канальная подсистема выполняет функцию управления трассировкой для проверки доступности канала, выбора доступного пути канала и начала выполнения операции с устройством ввода/вывода.
Устройства ввода/вывода подключаются через устройства управления к канальной подсистеме через каналы. Один канал предусмотрен и предназначен для каждого устройства ввода/вывода, доступного для канальной подсистемы (рис. 3).
Процессор (CPU) Канальная подсистема (Channel Subsystem)
Устройство
ввода/вывода
(Input/Output
device)
Рис. 2. Связь канальной подсистемы с устройством ввода/вывода
_ Каналы _
(Channels)
Рис. 3. Связь канальной подсистемы с устройством ввода/вывода через устройство управления
Операция ввода/вывода устройства регулируется устройством управления, который обеспечивает логические и буферные возможности, необходимые для работы соответствующего устройства ввода/вывода. Функция устройства управления может быть размещена с устройством ввода/вывода или в CPU, или может использоваться отдельное устройство управления. Устройства управления могут быть подключены к канальной подсистеме через несколько каналов, а устройство ввода/вывода - к нескольким устройствам управления.
Канальные команды DE и Л6
Для получения содержимого дорожки заданного цилиндра существуют канальные
команды Channel Command Word (канальное слово канальной программы, далее CCW). Канальная программа состоит из набора CCW команд. Ее исполнение происходит путем последовательного считывания команд CCW и выполнения задаваемых в CCW командах операций с периферийным устройством [6]. Одними из таких команд являются следующие:
1) Read Track, канальная команда DE;
2) Read Track Data, канальная команда A6.
На рис. 4 представлена схема взаимодействия СХД и мейнфрейма для сравнения содержимых треков.
Команда Read Track передает несколько записей в канал. Она предназначена главным образом для служебных программ дампа или восстановления. Эта команда отправляет все записи с логического тома без предварительного определения количества записей на до-
Передача по каналу считанного трека
Мейнфрем (хост)
Запрос содержимого трека с тома 1
Сохранение в буфер 1
Запрос содержимого трека с тома 2
]Е
> Сохранение в буфер 2
Побайтное сравнение содержимых буферов
КЭШ
1
Чтение трека
Том 1
Том 2
Рис. 4. Взаимодействие СХД и мейнфрейма для сравнения содержимых треков
рожке и их форматов. После прочтения последней записи на дорожке содержимое передается на канал.
Команда Read Track Data передает несколько записей с дорожки на канал. Чтение данных дорожки является действительным только в домене команды «Локальная запись», в которой указан код операции «Чтение дорожки», или команды «Найти запись», указывающей «Прочитать дорожку» или код операции «Чтение дорожки» [7].
Структура CCW команды
CCW - это операция ввода/вывода, используемая для связи с канальной подсистемой. CCW содержит команду канала, такую как чтение, запись или управление, а также адрес данных области данных. Данные передаются в подсистему каналов. Канальная подсистема передает состояние ввода/вывода обратно в выдающее приложение.
Результат выполнения канальной программы приведен в сокращенном виде (так как результат выполнения команды составляет 56 Кбайт) на рис. 5.
Под кодировкой EBCDIC (Extended Binary Coded Decimal Interchange Code - расширенный двоично-десятичный код обмена информацией) понимается стандартный 8-битный код, разработанный корпорацией IBM для использования на мейнфреймах собственного
производства и совместимых с ними. К примеру код «C1» в кодировке EBCDIC соответствует латинской букве «А».
Из результата можно увидеть поле RESP-TIME (далее время отклика), которое дает представление о времени получения данных с дорожки.
Получение CRC кода
Программное обеспечение компании EMC для управления дисковым массивом на низком уровне использует протокол связи, называемый системным вызовом (syscall). Под ним понимается набор специальных канальных команд, которые могут быть понятны СХД Symmetrix.
Системные вызовы могут объединяться в Symmetrix Application Programming Interface (SymmAPI) и представлять собой Application Programming Interface (API) к операционной системе хранения данных.
Программные модули SymmAPI находятся на хост-системе (мейнфрейме) и позволяют системным интеграторам и независимым поставщикам программного обеспечения получать доступ к системе хранения данных. SymmAPI взаимодействует с системой хранения данных путем использования канальных команд. Хост-система и система Symmetrix связаны через один или несколько физических интерфейсов.
? :#@1="ABCDEFG
Содержимое на дорожке в кодвровке EBCDIC
Рис. 5. Результат выполнения CCW команды
В ответ на запрос от приложения, работающего на хосте, SymmAPI отправляет системный вызов к СХД Symmetrix и получает в ответ данные от СХД.
На рис. 6 представлена схема взаимодействия СХД и мейнфрейма для сравнения CRC кодов содержимых треков.
Для того чтобы получить контрольные суммы (CRC коды) дорожек, необходимо сформировать корректный запрос посредством
системного вызова к СХД. В запрос входит следующая информация:
1) номер системного вызова, отвечающий за подсчет контрольной суммы;
2) номер диска (Symmetrix device number);
3) номер цилиндра;
4) число дорожек, для которых необходимо вернуть CRC код (от 1 до 15).
Результат выполнения системного вызова к СХД приведен на рис. 7.
Передача по каналу подсчитанного CRC трека
Рис. 6. Взаимодействие СХД и мейнфрейма для сравнения CRC кодов содержимых треков »> Syscall Successful
00000000 17000006 920502Е8 4А443700 74D22AEB *........JD7.t.*.*
00000010 20000152 00000000 * ..R________*
»> Response Time: 0.015008 Seconds
00000050
111 >. 1 \ 'll HHUl
число CRC кодов
Номер диска Номер диливдра
»> Data: 00000000 00000010 00000020 00000030 00000040
0000002D
00000010
0000 0001 0002
0004
ОООО DOOO ОООО
0003D000
Q000
569F5A5B 5364FC17 F873A80B A19F11E5 D74BC772
000003CD 000003CD 000003CD 000003CD 000003CD 000003CD
00000002 00000002 00000002 00000002 00000002 00000002
V.Z[ Sd. . . s . .
.К.г
Номер дорожки CRC код
Рис. 7. Результат выполнения системного вызова
Оценка временной эффективности
Для оценки временной эффективности был разработан одинаковый набор тестов, позволяющий собрать статистику по каждому из ранее описанных способов.
Под временной эффективностью понимается отношение времени отклика на получение CRC кода ко времени отклика получения содержимого дорожек.
Статистика отражает время отклика на исполнение запросов в зависимости от числа дорожек. Время отклика получено для /-дорожек, где / = 1, 5, 10, 15.
Блок-схема алгоритма проведенных тестов для сбора статистики представлена на рис. 8.
Для вычисления среднеарифметического значения времени отклика на исполнение запроса использовалась формула
- 1 N
'=N '§ <,
(1)
в которой - время отклика 1-го содержимо-го/СЯС; N - общее количество обращений к дорожке.
Среднеквадратичное отклонение рассчитывалось следующим образом:
11 N -
Ч)2
(2)
где t - среднеарифметическое значение. Временная эффективность
5 = 100 JCRC + °CRC 400> tR + °R
(3)
Задать номер дорожки/цилиндра тома
Задать количество повторений N
Да
N = 0 ?
Нет
Исполнить канальную программу/ Запросить CRC код
Запомнить время отклика
Уменьшить количество повторений
здесь tR и tCRC - время получения содержимого и CRC кода соответственно, gr и gcrc -их среднеквадратичные отклонения соответственно.
Результаты вычислений по формулам (1) -(3) представлены в табл. 1, 2.
Среднее время получения запроса - величина непостоянная, так как зависит от степени загрузки канала между хостом и СХД, а также от степени загруженности самого хоста
Рис. 8. Блок-схема - структура теста
и СХД. Стоит также отметить, что главное преимущество способа контроля целостности по CRC коду в меньшей нагрузке на канал между СХД и мейнфреймом, поскольку количество передаваемой информации в разы сокращается. Однако при таком способе идет дополнительная нагрузка на кэш, потому что в нем происходит подсчет CRC кода содержимого дорожки.
Рассмотрим том размерностью 65 520 цилиндров. Его размер составляет: 65 520 х 15 х х 56 664 = 55 689 379 200 байт ~ 52 Гбайт (где 15 - количество дорожек, 56 664 - размер в байтах каждой дорожки). Соответственно 52 Гбайт придется передать по каналу только для одного тома. Способ получения CRC кода требует пересылки меньшего количества информации по каналу: 65 520 х 15 х 4 = = 3 931 200 байт ~ 4 Мбайт (где 15 - количество дорожек, а 4 - размер в байтах каждого CRC кода дорожки).
Таким образом, нагрузка на канал умень-
65 520-15 • 56 664 1у11_ шится в-= 14 116 раз.
65 520-15х4
Отметим, что систематическое изложение вопросов, касающихся проблематики настоящей статьи, содержится в [9, 10].
ТАБЛИЦА 1. Результаты выполнения запросов к группам дорожек
Тип запроса к дорожке Количество дорожек Количество запросов Среднее время отклика, с Среднеквадратичное отклонение
1 100 0,001 0,0007
Получение 5 0,0038 0,0017
содержимого 10 50 0,0063 0,0013
15 0,0094 0,0015
1 100 0,0011 0,0001
Получение 5 0,004 0,0011
CRC кода 10 50 0,0068 0,0015
15 0,0092 0,0008
ТАБЛИЦА 2. Эффективность получения CRC кодов по сравнению с содержимым
Тип запроса к дорожке Количество дорожек Эффективность, %
1 29,41
Получение CRC кода 5 7,27
10 -9,21
15 8,26
Заключение
В статье описаны способы получения содержимого дорожки тома при помощи стандартных средств операционной системы z/OS и способ получения CRC кода, который генерируется программно на стороне СХД по запросу пользователя. Была собрана статистика, позволяющая оценить производительность рассматриваемых способов.
Анализ результатов показал, что способ генерации CRC кода дорожки на стороне СХД для контроля целостности данных обладает преимуществами, такими как снижение времени отклика и нагрузки в канале передачи данных между СХД и мейнфреймом.
Библиографический список
1. Бартеньев О. В. Особенности тестирования наборов данных в операционной системе z/OS / О. В. Бартеньев, С. В. Клюев // Программные продукты и системы. - 2014. - № 107. - С. 53-58.
2. Kuzler C. IBM Enterprise Storage Server / C. Kuzler, P. Norman, A. Pate, R. Wolf. - San Jose,
California : IBM Corporation, International Technical Support Organization, 1999. - 250 p.
3. Глоссарий EMC. - URL : https://russia.emc. com/corporate/glossary/replication.htm (дата обращения : 20.09.2017).
4. Мыцко Е. А. Особенности программной реализации вычисления контрольной суммы CRC32 на примере PKZIP, WINZIP, ETHERNET / Е. А. Мыцко, А. Н. Мальчуков // Вестн. науки Сибири. - 2011. -№ 1 (1). - С. 279-282.
5. New Features in EMC Enginuity 5876 for Mainframe Environments. - 2012. - 19 p.
6. Варфоломеев В. А. Архитектура платформ IBM eServer zSeries / В. А. Варфоломеев, Э. К. Лец-кий, М. И. Шамров, В. В. Яковлев. - М. : Интуит, 2016. - 640. с.
7. Internal Disk Subsystem : Reference Guide. -International Business Machines Corporation. - First ed. - Armonk, New York, 1999. - 264 p.
8. High Level Assembler for z/OS & z/VM & z/VSE Language Reference Version 1 Release 6. - International Business Machines Corporation. - Sixth ed. -San Jose, California, 2008. - 484 p.
9. Hennessy J. L. Computer Architecture a Quantitative Approach / J. L. Hennessy, D. A. Patterson. -
Fifth ed., 225 Wyman Street, Waltham, MA : Elsevier Inc., 2012. - 851 p.
10. Jacob B. Memory Systems Cache, Dram, Disk / B. Jacob, W. Ng Spencer, D. T. Wang. 30 Corporate Drive, Suite 400. Burlington, MA : Morgan Kaufmann Publ., 2008. - 982 p.
11. Яковлев В. В. Оценка влияния помех на производительность протоколов канального уровня / В. В. Яковлев, Ф. И. Кушназаров // Изв. Петерб. гос. ун-та путей сообщения. - СПб. : ПГУПС, 2015. -№ 1 (42). - С. 133-138.
12. Яковлев В. В. Обеспечение информационной безопасности с помощью сервера защиты z/OS Security Server / В. В. Яковлев, А. Д. Хомонен-ко // Изв. Петерб. гос. ун-та путей сообщения. -СПб. : ПГУПС, 2008. - № 3 (16). - С. 99 -111.
13. Kaplan M. Test Machine Scheduling and Optimization for z/OS / M. Kaplan T. Kimbrel, K. Mckenzie, R. Prewitt, M. Sviridenko, C. William, C. Yilmaz. -Honolulu, Hawaii : In the Proceedings of the IEEE Symposium on Computational Intelligence in Scheduling April 1-5, 2007. - Р. 24-27.
References
1. Bartenyev O. V. & Klyuyev S. V. Osobennosti testirovaniya naborov dannykh v operatsionnoy systeme z/OS [Peculiarities of data sets testing in the z/OS operating system]. Programmniye produkty i sistemy [Software and Systems], 2014, no.107 (3), pp. 53-58. (In Russian)
2. Kuzler C., Norman P., Pate A. & Wolf R. IBM Enterprise Storage Server. San Jose, California, IBM Corporation, International Technical Support Organization Publ., 1999, 250 p.
3. EMC Glossary. - URL: https://russia.emc.com/ corporate/glossary/replication.htm (accessed: 20.09. 2017).
4. Mytsko E. A. & Malchukov A. N. Osobennosty programmnoy realizatsii vychisleniya kontrolnoy summy CRC32 na primere PKZIP, WINZIP, ETHERNET [Features of the software implementation of
CRC32 checksum calculation using the example of PKZIP, WINZIP, ETHERNET]. Vestnyk nauky Si-biry [Newsletter of Siberian Science], 2011, no. 1 (1), pp. 279-282. (In Russian)
5. New Features in EMC Enginuity 5876for Mainframe Environments, 2012, 19 p.
6. Varfolomeev V. A., Letskiy E. K., Shamrov M. I. & Jakovlev V. V. Architektura platform IBM eServer zSeries [Architecture of IBM platforms eServer zSeries]. Moscow, Intuit Publ., 2016, 640 p. (In Russian)
7. Internal Disk Subsystem: Reference Guide. International Business Machines Corporation Publ., First ed. Armonk, New York, 1999, 264 p.
8. High Level Assembler for z/OS & z/VM & z/VSE Language Reference Version 1 Release 6. International Business Machines Corporation Publ., Sixth ed. San Jose, California: 2008, 84 p.
9. Hennessy J. L. & Patterson D. A. Computer Architecture a Quantitative Approach. Fifth ed., 225 Wyman Street, Waltham, MA: Elsevier Inc., 2012, 851 p.
10. Bruce Ja., Spencer W. Ng. & D. T. Wang. Memory Systems Cache, Dram, Disk. 30 Corporate Drive, Suite 400. Burlington, MA, Morgan Kaufmann Publ., 2008, 982 p.
11. Jakovlev V. V., Kushnazarov F. I. Otsenka vli-janija pomekh na proizvoditelnost protokolov kanalno-go urovnya [Estimating the impact of interference on the performance of link layer protocols]. Proceedings of Petersburg Transport University, 2015, issue 1 (42), pp. 133-138. (In Russian)
12. Jakovlev V. V. & Khomonenko A. D. Obespeche-nie informatsionnoy bezopasnosty s pomoshju servera zashity z/OS Security Server [Ensuring Information Security with the z/OS Security Server]. Proceedings of Petersburg Transport University, 2008, no. 3 (16), pp. 99-111. (In Russian)
13. Kaplan M., Kimbrel T., Mckenzie K., Prewitt R., Sviridenko M., William C. & Yilmaz C. Test Machine Scheduling and Optimization for z/OS. Proceedings of the IEEE Symposium on Computational Intelligence in Scheduling April 1-5. Honolulu, Hawaii, 2007, pp. 24-27.
КЛИМЕНКО Сергей Витальевич - аспирант, s.klimenko@live.ru; ЯКОВЛЕВ Валентин Васильевич - доктор техн. наук, профессор, jakovlev@pgups.ru (Петербургский государственный университет путей сообщения Императора Александра I); АДАДУРОВ Сергей Евгеньевич - доктор техн. наук, профессор, Adadurov.Sergey@niizht.ru (АО «Научно-исследовательский институт железнодорожного транспорта», Москва).
