CC BY
31
УДК 004.076 Дата подачи статьи: 04.12.18
Б01: 10.15827/0236-235Х.125.068-072 2019. Т. 32. № 1. С. 068-072
Управление энергозатратами процесса хранения, данных при выборе размера физического блока данных
Т.М. Татарникова 1, д.т.н, доцент, профессор, [email protected] Е.Д. Пойманова 1, старший преподаватель, [email protected]
1 Санкт-Петербургский государственный университет аэрокосмического приборостроения, г. Санкт-Петербург, 190000, Россия
В статье рассматривается иерархия функций процесса хранения данных на физическом уровне.
На первом уровне выполняются функции по поддержанию устойчивого состояния минимальных единиц хранения данных. От количества устойчивых состояний минимальной единицы хранения данных зависит количество сохраняемых битов данных. Показано, что минимальные единицы хранения данных различаются в зависимости от типа записи и вида носителя. Приводится выражение, позволяющее оценить минимальную энергию, необходимую для преобразования минимальной единицы хранения.
На втором уровне выполняются функции по объединению минимальных единиц хранения данных в физические блоки данных. Показана структура физического блока. Приведен пример изменения размера физического блока, демонстрирующий возможность его регулирования в зависимости от вида хранимой информации и требований к системе хранения. При увеличении физического блока уменьшается доля метаданных, сохраняемых на носитель, и таким образом увеличивается эффективность использования емкости носителя.
На третьем уровне выполняются функции по объединению физических блоков в логические блоки данных. Размер логического блока зависит от возможностей установленной файловой системы и определяется при форматировании. На уровне файла задается адресация битов данных, физических и логических блоков, тем самым биты данных логически объединяются в файл. Приведены результаты, демонстрирующие существенное сокращение расхода энергии при увеличении размера блока данных и уменьшении объема метаданных по сравнению с энергозатратами при сохранении исходного файла.
Ключевые слова: хранение данных, иерархия функций процесса хранения данных, минимальная единица хранения, энергетический барьер, физический блок данных, логический блок данных, файл, метаданные, файловая система.
Назначение информационного процесса хранения заключается в предоставлении информации в целостном виде по требованию пользователя спустя директивное время хранения. Реализация этого процесса требует соответствующих физических ресурсов: емкостей для размещения данных, гарантированного времени хранения и энергии для хранения данных [1].
Эффективное расходование физических ресурсов при хранении данных особенно актуально в современных условиях формирования глобального цифрового пространства [2].
В статье предлагается модель управления энергетическими ресурсами, основанная на изменении размера физического блока данных.
Функции физического уровня реализации процесса хранения данных
На физическом уровне реализации процесса хранения данных происходят запись битов данных, инкапсуляция их в физические и логические блоки и организация адресации, позволяющей формировать файл данных для дальнейшей работы пользователя (рис. 1).
На уровне минимальной единицы хранения (МЕХ) данных выполняются функции по поддержанию ее устойчивого состояния.
МЕХ - это наименьший физический объект носителя данных, имеющий свойство находиться в одном из нескольких устойчивых состояний, устанавливаю-
Файл данных
п t\ - \ J ÙLUU u ... U Логический блок данных
Физический блок данных
п птпгтппптпгтпппп гтттггттп п п п тпгтпп МЕХ данных
Рис. 1. Инкапсуляция данных при хранении данных Fig. 1. Data encapsulation for data storage
щихся управляющим сигналом. От количества устойчивых состояний зависит количество сохраняемых битов данных: если состояний 2, то МЕХ может сохранить 1 бит данных, если 4, то 2 бита, если 8, то 3 бита и т.д. [3].
МЕХ различаются в зависимости от типа записи и вида носителя:
- для магнитной записи носителями данных являются магнитная лента, магнитный диск, магнитооптический диск, МЕХ - домен (макроскопическая область на носителе с вектором намагниченности, отличающимся от соседних доменов); принцип магнитной записи заключается в использовании магнитного слоя носителя, который обеспечивает сохранение остаточной намагниченности при воздействии на него магнитным полем, создаваемым устройством чтения/записи; соответственно, одно направление соответствует 1, другое - 0;
- для полупроводниковой записи носителем данных является твердотельный накопитель (SSD - solidstate drive), МЕХ - транзистор;
- для механической (оптической) записи носителями являются различные оптические диски (CD, DVD, BD, М диск, стеклянный диск), МЕХ - информационный рельеф;
- для альтернативного носителя, каковым является вольфрамовый диск (по сути - оптический носитель), МЕХ - это QR-код, поскольку информация записывается с помощью QR-кодов;
- для биологической записи носитель данных -биоматериал или бактерии, МЕХ - нуклид.
МЕХ отделены друг от друга энергетическим барьером. Энергетический барьер - это количество энергии, необходимое для преобразования МЕХ, то есть изменения 0^-1 или 1^-0.
В статье [4] показано, что минимальную энергию, необходимую для преодоления энергетического барьера, можно оценить следующим образом:
E > kBTln ^Nttm j, (2)
где kB - постоянная Больцмана; T - абсолютная температура окружающей среды; N - количество битов, хранящихся в памяти; tm - время жизни памяти; т - время корреляции тепловых флуктуаций от термического возбуждения.
На уровне физического блока данных реализуются функции по объединению МЕХ в физические блоки данных. Физическим блоком, например, магнитного диска является сектор, структура которого приведена на рисунке 2.
Сектор имеет следующие компоненты [1]:
- интервал между секторами;
- метка синхронизации, обозначающая начало сектора (позволяет синхронизировать работу диска);
- адресная метка, содержащая данные для идентификации номера и расположения сектора, а также информацию о расположении сектора;
- область данных пользователя;
- область исправления ошибок (в ней хранятся коды исправления ошибок, с помощью которых исправляются и восстанавливаются поврежденные данные).
Традиционный размер физического блока данных составляет 512 байт, к которым дополнительно записываются 15 байт, приходящихся на 1-й, 2-й и 3-й компоненты и 50 байт - на 5-й компонент.
В декабре 2009 года Ассоциацией IDEMA был утвержден формат секторов размером 4 КБ (Advanced Format), позволяющий повысить эффективность использования дискового пространства (рис. 3).
Использование секторов данного формата позволяет увеличить эффективность использования дискового пространства до 97 % по сравнению с форматом 512 байт, где эффективность составляет 88 %.
1 2 3 4 5
15 байт 512 байт
W w 4 w
Рис. 2. Структура сектора магнитного диска Fig. 2. A magnetic disk sector structure
1 2 3 4 5
^ 15 байт 4096 байт 100 байт
W w ч w
Рис. 3. Структура сектора Advanced Format Fig. 3. The Advanced Format sector structure
Этот пример по изменению размера физического блока демонстрирует, что для системы хранения размер физического блока может и, наверное, должен регулироваться в зависимости от вида хранимой информации и требований к системе хранения. При увеличении физического блока уменьшается доля метаданных, сохраняемых на носитель, и таким образом увеличивается эффективность использования пространства носителя.
Помимо формирования физических блоков данных, в большинстве файловых систем существует также деление данных на логические блоки (кластеры), которые реализуются функциями уровня логического блока данных.
Размер логического блока зависит от возможностей установленной файловой системы и определяется при форматировании. Эффективность работы файловой системы во многом зависит от выбранного размера логического блока: чем он меньше, тем медленнее будет считываться файл, поскольку основное время тратится на поиск логических блоков. С другой стороны, большие по размеру логические блоки приводят к потере дискового пространства из-за недоза-полняемости блоков в результате того, что одни и те же данные формируют разные по размеру файлы.
На уровне файла задается адресация битов данных, физических и логических блоков, по сути логически объединяя биты данных в файл (рис. 4).
Для эффективного выделения емкостей для хранения необходим предварительный анализ сохраняемых файлов [5-7] - их форматов и размеров, на основе которого, в частности, может быть принято решение о размере логического блока файловой системы.
Файловую систему выбирают исходя из типа носителя, типа операционной системы, поддерживаемого размера логической единицы данных (кластера, блока), максимального размера файла, максимального количества файлов, максимального размера тома, мак-
Файл
Адрес ЛБ] Адрес ЛБ^
Адрес ФБ] ... Адрес ФБ/, Адрес ФБ^ Адрес ФБдт
п ппппппппп - пиггтлппппп - шошошшоо... пптпппппп
Рис. 4. Структура подуровня файла эталонной модели сохранения
Fig. 4. The structure of the file sublevel of the reference preservation model
симальной длины имени, возможности журналирова-ния [8, 9].
В таблице дано сравнение нескольких известных файловых систем по некоторым характеристикам.
Как видно из таблицы, современные файловые системы позволяют работать с файлами большого размера, имеющими различные логические блоки данных.
Управление энергетическими ресурсами путем изменения размера физического блока данных
Рассмотрим, как влияет количество битов в блоке данных пользователя на энергозатраты при хранении данных.
Обозначим: V - количество битов данных на носителе; - количество битов данных в одном блоке; 5"м -количество метаданных в одном блоке; 5п - количество «полезных» данных в одном блоке; Р - количество блоков на носителе; Ет - энергия, затрачиваемая на гарантированное хранение с учетом технологии записи; Еп - энергия, затраченная на запись «полезных» данных; Ем - энергия, затраченная на запись метаданных.
Характеристики файловых систем
File system features
Характеристика Файловая система
FAT 32 HPFS ext2 NTFS exFAT
Носитель Жесткий диск Жесткий диск Жесткий диск, SSD Жесткий диск Флэш-память
Операционная система Начиная с Windows 95 OS/2, Windows NT Linux Windows Windows
Поддерживаемый размер 512 байт 512 байт 512 байт
сектора
Логическая единица Кластер Сектор, Блок Кластер Кластер
данных экстент
Поддерживаемый размер 15 байт-32 Кб - 1024/2048/4096/8192 512 байт-64 Кб 4 Кб-128 Кб
логической единицы байт
данных
Максимальный размер ~ 4 Гб 2Гб 16 Гб-2 Тб 264 байт (16 Эб) 16 Эб
файла
Максимальный объем Том до 8 Тб 2 Тб Том 2 - 32 Тб 264 байт - 1 кла-
носителя стер
Для введенных величин справедливы следующие
соотношения: S = Su + Sn
P - V, S
Ет En + Eм
Очевидно, что энергия, затрачиваемая на сохранение исходного информационного массива, зависит от размера блока данных [10]. При увеличении размера блока данных будет уменьшаться количество метаданных, приходящихся на каждый бит «полезной» информации, или, что то же самое, уменьшаться энергия Eм, затрачиваемая на запись метаданных [11, 12].
Данные на магнитный носитель записываются блоками, состоящими из «полезных» данных и метаданных, которые содержат служебную информацию. Количество метаданных, приходящихся на один блок, будем считать константой. Чем больше размер записываемых блоков на носителе, тем меньше будет общее количество метаданных на нем и, следовательно, на один «полезный» бит будет приходиться меньше метаданных, а значит, для сохранения одного «полезного» бита потребуется меньше энергии [13].
Размер блоков данных, записываемых на носитель, определяется требованиями операционной системы. Очевидно, что с увеличением размера блока данных скорость обработки информации операционной системой будет падать. Однако в определенных случаях, например, для системы долговременного хранения, скорость обработки не является критичной, так как данные не требуют обращения к ним в режиме реального времени.
С учетом емкости сохраняемого информационного массива общая энергия E, затраченная на запись V бит,
будет равна E - kBT to
V
t
"о j
Рассмотрим магнитный диск размером V бит, тогда энергия, затрачиваемая на запись «полезных» данных,
равна
Еп - KT ln
SP
Л
- kj ln
-oj
( V t^
i S - SM ) V—
S то j
энергия, затрачиваемая на запись метаданных, равна
(
E, - LT ln
SP
\
(
- KT ln
о j
S
Vt
A
S т
о j
На рисунке 5 показан график зависимости энергии от размера записываемого блока данных.
На графике видно, что энергия, затрачиваемая при сохранении исходного файла, существенно сокращается при увеличении размера блока данных и уменьшении объема метаданных.
Таким образом, размер физического блока для системы сохранения может регулироваться в зависимости от вида хранимой информации. При увеличении физического блока уменьшается доля метаданных, сохраняемых на носитель, и увеличивается эффективность использования емкости носителя.
Литература
1. Information Storage and Management. John Wiley & Sons Inc., 2016, 544 p.
2. Kish L.B. Moore's law and the energy requirement of computing versus performance. IEEE Proce., Circuits, Devices and Systems, 2004, vol. 151, no. 2, pp. 190-194.
3. Landauer R. Irreversibility and heat generation in the computing process. IBM J. of Research and Development, 2000, vol. 44, no. 1, pp. 261-269.
4. Landauer R. Information is physical. Physics Today, 1991, vol. 44, no. 5, pp. 23-29.
5. Kish L.B., Granqvist C.G. Does information have mass? IEEE Proc., 2013, vol. 101, no. 9, pp. 1895-1899.
6. Bogatyrev V.A., Parshutina S.A., Poptcova N.A., Bogaty-rev A.V. Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters. In: V. Vishnevsky, K. Sa-mouylov, D. Kozyrev (eds.) DCCN 2016, CCIS, vol. 678, pp. 337-348. DOI: 10.1007/978-3-319-51917-3_30.
7. Kutuzov O.I., Tatarnikova T.M. Model of a self-similar traffic generator and evaluation of buffer storage for classical and fractal queuing system. Proc. Moscow Workshop on Electronic and Networking Technologies, MWENT, 2018, pp. 1-3.
8. Татарникова Т.М. Анализ данных. СПб: Изд-во СПбГЭУ, 2018. 85 с.
9. Farley M. Building storage networks. McGraw-Hall, Osborne, 2001, 590 p.
10. Татарникова Т.М., Пойманова Е.Д Технологии долговременного хранения данных // Наука и образование в XXI веке: матер. Междунар. науч.-практич. конф. Тамбов: Бизнес-Наука-Общество, 2013. Ч. 31. C. 136-137.
11. Пойманова Е.Д. Обобщенная модель процесса сохранения данных // Информационно-технологическое обеспечение цифровой экономики: сб. стат. СПб: Изд-во СПбГЭУ, 2018. C. 80-85.
12. Проскуряков Н.Е., Ануфриева А.Ю. Анализ и перспективы современных систем хранения цифровых данных // Изв. ТулГУ: Технич. науки. 2013. Вып. 3. C. 368-377.
13. Бурмистров В.Д., Заковряшин Е.М. Создание хранилища данных для распределенной системы // Молодой ученый. 2016. № 12. C. 143-147.
V
Software & Systems
DOI: 10.15827/0236-235X.125.068-072
Received 04.12.18 2019, vol. 32, no. 1, pp. 068-072
Energy consumption management in data storage process when choosing the size of a data physical block
T.M. Tatarnikova 1, Dr.Sc. (Engineering), Associate Professor, Professor, [email protected] E.D. Poymanova1, Senior Lecturer, [email protected]
1 St. Petersburg State University of Aerospace Instrumentation, St. Petersburg, 190000, Russian Federation
Abstract. The papers considers the function hierarchy of data storage at a physical level.
At the first level, there are functions to maintain a steady state of minimum data storage units. The number of stable states of data storage minimum unit affects the number of stored data bits. It is shown that minimum data storage units differ depending on the file type and the medium type. There is an expression that allows estimating the minimum energy required to convert a minimum storage unit.
At the second level, there are functions to combine the minimum units of data storage into physical data blocks. The paper shows the structure of a physical unit. There is an example of changing a physical block size. It demonstrates the possibility of adjusting a physical block size depending on the stored information type and requirements for the storage system. When a physical block increases, the metadata stored in a medium decreases, and thus the efficiency of using the media capacity increases.
At the third level, there are functions to unite the physical blocks into logical data blocks. The logical block size depends on the capabilities of the installed file system and is set when formatting. At the file level, there is addressing of data bits, physical and logical blocks, thereby the data bits are logically combined into a file. The paper presents the results that demonstrate a significant reduction in energy consumption with a data block size increase and a metadata volume decrease compared to energy consumption when maintaining the original file.
Keywords: data storage, data storage hierarchy, minimum storage unit, energy barrier, physical data block, logical data block, file, metadata, file system.
1. Information Storage and Management. 2nd ed. John Wiley & Sons Publ., 2016, 544 p.
2. Kish L.B. Moore's law and the energy requirement of computing versus performance. IEEE Proc.: Circuits, Devices and Systems. 2004, vol. 151, no. 2, pp. 190-194.
3. Landauer R. Irreversibility and heat generation in the computing process. IBM J. of Research and Development. 2000, vol. 44, no. 1, pp. 261-269.
4. Landauer R. Information is physical. Physics Today. 1991, vol. 44, no. 5, pp. 23-29.
5. Kish L.B., Granqvist C.G. Does information have mass? IEEE Proc. 2013, vol. 101, no. 9, pp. 1895-1899.
6. Bogatyrev V.A., Parshutina S.A., Poptcova N.A., Bogatyrev A.V. Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters. DCCN 2016. CCIS. Vishnevsky V., Samouylov K., Kozyrev D. (Eds.), vol. 678, pp. 337-348.
7. Kutuzov O.I., Tatarnikova T.M. Model of a self-similar traffic generator and evaluation of buffer storage for classical and fractal queuing system. Moscow Workshop on Electronic and Networking Technologies, MWENT. 2018, pp. 1-3.
8. Tatarnikova T.M. Data Analysis. St. Petersburg, SPbSUE Publ., 2018, 85 p.
9. Farley M. Building Storage Networks. McGraw-Hall Publ., Osborne, 2001, 590 p.
10. Tatarnikova T.M., Poymanova E.D. Long term storage technologies. Proc. Int. Sci. Pract. Conf. "Science and Education in 21 century". Tambov, Biznes-Nauka-Obshchestvo Publ., 2013, vol. 31, pp. 136-137 (in Russ.).
11. Poymanova E.D. A generalized model of the data storage process. Digital Economy Information and Technology: Proc. St. Petersburg, SPbSUE Publ, 2018, pp. 80-85 (in Russ.).
12. Proskuryakov N.E., Anufrieva A.Yu. Analysis and prospects of modern digital data storage systems. News of the Tula State University. Technical Sciences. 2013, no. 3, pp. 368-377 (in Russ.).
13. Burmistrov V.D., Zakovryashin E.M. Creating a data warehouse for a distributed system. Young Scientist. 2016, no. 12, pp. 143-147 (in Russ.).
References
