CC BY
1519. Leigh A., Five PR tips indies really need / Gama-sutra - The Art & Business of Making Games // Informa PLC Informa UK Limited, 2013 r. -URL: https://gamasutra.com/view/news/196115/ Five_PR_tips_indies_really_need.php (date of access: 11.11.2020).
20. Johnston K., Three Common Mistakes in Promoting a Game / Blog about the business of games // Gamesbrief, 2013 r. - URL: https://games-bri-ef.com/2013/10/three-common-mistakes-in-pro-moting-a-game/ (date of access: 11.11.2020).
DOI 10.6060/ivecofn.20214701.526 УДК 004.052
ОЦЕНКА ПРОИЗВОДИТЕЛЬНОСТИ СЕРВЕРА ВИРТУАЛИЗАЦИИ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ РОССТАТА
Родионычева Екатерина Дмитриевна (ORCID 0000-0002-3986-1065)*, Голубев Александр Сергеевич (ORCID 0000-0003-2573-242X)
Ивановский государственный университет, ул. Ермака, 39, Иваново, 153025, Россия E-mail: rodionycheva.97@yandex.ru*, golubewalex@bk.ru
В статье рассмотрен сервер виртуализации информационно-вычислительной системы Росстата, внедрение которого влияет на успешное функционирование всех подсистем. Проведен анализ с выделением наиболее важных параметров и характеристик с целью определения необходимой мощности и выбора подходящего оборудования для сервера виртуализации. Данное направление отмечается высокой актуальностью, совершенствованию информационно-вычислительной системы органов государственной статистики уделяется большое внимание со стороны руководства Рос-стата. Техническое оснащение непосредственно влияет на работу всей системы и должно быть согласовано с устанавливаемым программным обеспечением. Информация, хранящаяся в системах Росстата, имеет высокую ценность для государства, ее хранению и обработке уделяется огромное внимание. Повышение эффективности технической составляющей является одной из важных задач развития Росстата. Огромные масштабы деятельности требуют высокой степени надежности и больших мощностей внедряемого оборудования. В настоящее время происходит процесс внедрения централизованной системы, что свидетельствует о тенденции повышения степени централизации управления органом в сравнении с предыдущими периодами, когда обработка и передача данных осуществлялась, в основном, преимущественно на уровне субъектов. В связи с процессом централизации происходит пересмотр и оптимизация основных направлений деятельности органов статистики: порядок взаимодействия с юридическими и физическими лицами, сокращение и оптимизация форм отчетности, изменения в проведении регулярных переписей и другие элементы работы. Все это основано на внедрении современных средств информационных технологий и программного обеспечения. Современный рынок информационно-технических средств предлагает широкий спектр разнообразного оборудования, от выбора которого зависит стабильность работы всего программно-аппаратного комплекса, на базе которого развернута ЦСОД.
Ключевые слова: сервер виртуализации, ЦСОД, RAID-массивы, виртуализация, IOPS, информационно-вычислительная система Росстата, производительность жесткого диска, пропускная способность диска.
EVALUATING THE PERFORMANCE OF THE VIRTUALIZATION SERVER OF THE ROSSTAT INFORMATION AND COMPUTING SYSTEM
Rodionycheva Ekaterina D. (ORCID 0000-0002-3986-1065)*, Golubev Aleksandr S. (ORCID 0000-0003-2573-242X)
Ivanovo State University, st. Ermaka, 39, Ivanovo, 153025, Russia E-mail: rodionycheva.97@yandex.ru*, golubewalex@bk.ru
The article considers the virtualization server of Rosstat information and computing system, the implementation of which affects the successful functioning of all subsystems. The analysis was carried out, highlighting the most important parameters and characteristics in order to determine the required capacity and select the appropriate hardware for the virtualization server. This direction is marked by high relevance; the management of Rosstat pays great attention to improving the information and computing system of state statistics bodies. The technical equipment directly affects the operation of the entire system and must be coordinated
with the installed software. The information stored in Rosstat systems is of high value to the state, and great attention is paid to its storage and processing. Improving the efficiency of the technical component is one of the important development tasks of Rosstat. The huge scale of activity requires a high degree of reliability and large capacities of the equipment being introduced. Currently, the process of introducing a centralized system is underway, which indicates a trend towards an increase in the degree of centralization of body management in comparison with previous periods, when the processing and transmission of data was carried out mainly, mainly at the level of subjects. In connection with the process of centralization, the main areas of activity of statistics bodies are being revised and optimized: the procedure for interacting with legal entities and individuals, reduction and optimization of reporting forms, changes in the conduct of regular censuses and other elements of work. All this is based on the introduction of modern information technology tools and software. The modern market of information and technical means offers a wide range of various equipment, the choice of which determines the stability of the operation of the entire software and hardware complex, on the basis of which the CDPS is deployed.
Keywords: virilization server, CDPS, RAID, virtualization, IOPS, information and computing system of Rosstat, hard disk performance, disk bandwidth.
Для цитирования:
Родионычева Е.Д., Голубев А.С. Оценка производительности сервера виртуализации информационно -вычислительной системы Росстата. Известия высших учебных заведений. Серия «Экономика, финансы и управление производством». № 01(47). 2021. С. 133-139. DOI 10.6060/ivecofin.20214701.526
For citation:
Rodionycheva E.D., Golubev A.S. Evaluating the performance of the virtualization server of the Rosstat information and computing system. News Of Higher Educational Institutions. Series «Economy, Finance And Production Management» № 01(47). 2021. С. 133-139. DOI 10.6060/ivecofin.20214701.526 (in Russian)
Введение
В условиях цифровизации российской экономики внедрение информационных систем широко применяется в органах государственного управления. Данные системы помогают оперативно управлять подразделениями, централизовать систему менеджмента и упростить процесс взаимодействия как с другими организациями, так и с гражданами.
Перед органами государственной статистики стоит задача оперативно вести мониторинг огромного числа показателей отчетности предприятий всех отраслей народного хозяйства. Цель оптимизации в данном аспекте - снижение отчетной нагрузки на респондентов и совершенствование процесса сбора данных, сделав его незаметным для бизнеса и населения. При этом внедряемые инструменты должны стать гибкими и удобными для всех категорий пользователей, что является непростой задачей.
Анализ предметной области
Информационно-вычислительная система Росстата (ИВС) включает в себя целый комплекс сервисов, позволяющих создать целостность элементов и обеспечить грамотную работу каждого звена (структура ИВС представлена на рисунке 1). Важнейшим компонентом данного комплекса выступает централизованная система обработки данных (ЦСОД), процесс внедрения которой начался в 2018 году [1].
В ЦСОД входят несколько подсистем, которые предназначены для обработки получаемых данных, а также для их хранения и передачи в другие хранилища Росстата.
Для обеспечения автономности работы и грамотного функционирования независимо друг от друга подсистем необходимо их изолировать. Важным элементом, обеспечивающим предоставление вычислительных ресурсов и обеспечение изоляции вычислительных процессов, выступает сервер виртуализации. На нем необходимо развернуть гипервизор, с помощью которого можно распределять в нужном объеме физические ресурсы для каждого виртуального сервера. Таким образом, в рамках одного сервера будет функционировать несколько подсистем ЦСОД независимо друг от друга. Это позволит оптимизировать потребление вычислительных ресурсов и ресурсов хранения, которые необходимы для эффективной работы подсистем ЦСОД.
Ключевым фактором для сервера виртуализации, на наш взгляд, является производительность и надежность. ЦСОД работает с большим количеством критической информации, поэтому подсистемы должны быть развернуты на базе отказоустойчивого кластера, что позволит в случае выхода из строя одного виртуального сервера распределить нагрузку на другие сервера.
ЦСОД
ЕССО
АС ГС ОФСН
спээо
ЕХД
BI системы
Витрины данных
СМАД + Единая система НСИ
ЕСТП сэд Интернет-портал Интран ет-п оргал
Мультисервисная сеть (МСС)
Рисунок 1. Подсистемы ИВС Росстата Figure 1. Subsystems of the ^S of Rosstat
Рассмотрим наиболее значимые технические характеристики оборудования. Для обеспечения высокой производительности сервера виртуализации необходим мощный процессор и достаточное количество оперативной памяти. Отметим, что для обеспечения отказоустойчивости необходимо предусмотреть запас в размере 50100% от необходимого объема памяти [3], поэтому для оптимальной работы необходимого количества виртуальных серверов, выделенных для подсистем ЦСОД, необходимо 384 ГБ оперативной памяти: 12 шт. DDR4 2933 МГц ECC REG по 32 ГБ. Кроме этого, нужен процессор, поддерживающий необходимый объем оперативной памяти. Для рассматриваемой системы подходит 24-ядерный процессор Intel Xeon E7-8890 v4 с частотой 2,2 ГГц и объемом кэш-памяти 60 МБ [2].
Показатели быстродействия дисковой подсистемы зависят от характеристик устанавливаемых дисков. SAS диски рассчитаны на режим работы 24х7 и постоянную интенсивную нагрузку. SATA диски медленнее и, поэтому, менее подходят для серверов. Использование дисков меньшего объема, объединенных в RAID-массив, практичнее использования меньшего количества дисков большого объема [4]. Поэтому в сервер виртуализации будут установлены диски по 2 ТБ, а чтобы объединить их в RAID-массив необходим RAID-контроллер LSI 9361-4i, 1 ГБ, CacheVault с поддержкой RAID 0, 1, 5, 6, 10, 50 и 60. Выберем, из поддерживаемых контроллером, уровень RAID, наиболее подходящий для сервера виртуализации.
Выделим критерии выбора RAID-массива:
- надежность;
- скорость записи данных;
- скорость чтения данных;
- доступный объем для записи данных не менее 7 ТБ.
Рассмотрим подробнее каждый уровень и тип RAID-массива, поддерживаемый контроллером. Сравнительный анализ представлен в таблице 1.
При объединении дисков в RAID 0 будет получен максимальный объем дискового пространства, поэтому при выборе данного RAID-массива для сервера виртуализации потребуются 4 жестких диска. Данные разбиваются на блоки фиксированной длины и после этого записываются на все диски поочередно, распределяясь по массиву равномерно. Это позволяет обеспечить высокую скорость и записи, и чтения. Однако, минусом является низкая надежность, т. к. выход из строя одного из дисков массива выступает причиной полной потери данных.
Выбор уровня RAID 1 сократит объем доступного дискового пространства для данных, поэтому для сервера необходимо 8 дисков. Они будут разделены контроллером на 2 раздела по 4 диска, на первый будет вестись запись данных, а второй будет его дублировать. Преимуществом данного уровня является высокая надежность: выход из строя 2 дисков в одном разделе или по 1 в разных разделах, но не дублирующих друг друга, не приведет к потере данных. Недостаток заключается в низкой скорости записи, т. к. она производится на оба раздела.
Таблица 1. Сравнение параметров RAID-массивов Table 1. Comparison of parameters of RAID-arrays
Уровень Мин. кол-во дисков для построения массива, шт. Необходимое кол-во дисков для построения массива, шт. Полезная емкость массива, ТБ Надежность
RAID 0 2 4 7,45 очень низкая
RAID 1 2 8 7,45 очень высокая
RAID 10 4 8 7,45 очень высокая
RAID 5 3 5 7,45 средняя
RAID 6 4 6 7,45 высокая
RAID 50 6 6 7,45 средняя
RAID 60 8 8 7,45 средняя
RAID 10 - комбинация из RAID 1 и RAID 0. Представляет собой массив уровня RAID 1 из двух массивов RAID 0. Отличается высокой надежностью, как RAID 1, и наивысшей производительностью при чтении, т. к. оно выполняется с того диска зеркальной пары, головки которого ближе к нужному сектору. А запись производится медленнее, т. к. данные пишутся два раза. Как и при выборе уровня RAID 1, потребуется закупить 8 дисков.
Использование RAID 5 позволяет записывать данные блоками, распределяя их равномерно на все диски, как в RAID 0, но при этом предусмотрено вычисление контрольных сумм записываемых и хранимых в массиве данных, которые также хранятся на каждом диске. При выходе из строя одного из дисков, данные хранящиеся на нем автоматически будут вычислены по имеющимся контрольным суммам и восстановлены при замене диска. Полная потеря данных произойдет при выходе из строя двух и более дисков. Недостатком этого уровня является низкая скорость записи, т. к. производится 4 операции: чтение предыдущего блока данных, чтение четности, запись новых данных и запись четности. Из-за вычисления и записи контрольной суммы RAID 5 в 4 раза медленнее RAID 0. Необходимо 4 жестких диска.
Уровень RAID 6 поддерживает двойную четность. Данные разделяются на блоки и вместе с контрольными суммами, которые вычисляются по двум разным алгоритмам, циклически записываются на все диски массива. Таким образом, контроллером будет производиться 6 операций: 3 из которых на чтение и 3 на запись, поэтому скорость снизится еще больше по сравнению с RAID 5. Выход из строя только одного диска не
приведет к отказу всего массива. При этом для построения необходимо 4 диска.
RAID 50 - объединение двух массивов RAID 5 в массив с чередованием, что позволяет повысить скорость записи данных за счет параллельного использования нескольких массивов уровня RAID 0. Минимальное количество дисков - 6. Еще одним недостатком можно считать его отказоустойчивость - массив откажет при выходе из строя более одного диска.
RAID 60 - объединение двух массивов RAID 6 в массив с чередованием, повышает скорость записи, относительно скорости записи в RAID 6, при этом для построения массива необходимо 8 дисков, а доступно будет лишь 7,45 ТБ дискового пространства. Данные не будут потеряны при выходе из строя двух дисков из каждого RAID 6 массива.
Из таблицы видим, что, выбрав любой уровень RAID, можно получить необходимый доступный объем для записи данных, поэтому будем ориентироваться в первую очередь на высокую надежность и скорость записи и чтения. Для этого будет проведен сравнительный анализ производительности жестких дисков для RAID 0, RAID 10, RAID 5 и RAID 6. RAID 50 и RAID 60 при средней надежности имеют меньшую эффективность использования дискового пространства, соответственно, они не будут приведены в анализе. Но сначала рассмотрим рынок жестких дисков для сервера с интерфейсом SAS, объемом 2 ТБ (табл. 2).
Выбор диска с кэш памятью обусловлен тем, что она выступает в качестве буфера хранения считанных, но еще не переданных данных для их дальнейшей обработки и хранения, и для тех данных, к которым система обращается чаще все-
го. Объем кэш памяти определяет вместимость этой хранимой информации. За счет большего размера производительность жесткого диска возрастает, поскольку данные подгружаются напрямую из кэша и не требуют физического чтения,
Рассмотрим показатели производительности для проведения сравнительного анализа моделей жестких дисков по различным уровням RAID-массивов при одинаковой глубине очереди. Отметим, что показатель IOPS - есть отношение пропускной способности к размеру блока диска, где размер блока диска выступает отношением количества информации на одну операцию ввода к количеству информации на одну операцию вывода. Среднее время задержки, в данном случае, вызвано вращением диска - это величина обратно пропорциональная количеству оборотов в секунду. Сравнительный анализ представлен в таблице 3.
Сравнительный анализ моделей дисков, приведенный в таблице 3, показывает, что наибольшая производительность обеспечивается при использовании RAID 0, но данный уровень RAID не обеспечивает высокую надежность. RAID 5 и RAID 6 имеют недостаточную производительность, поэтому для сервера виртуализации будет выбран RAID 10, который обеспечит наибольшую надежность и производительность.
Что касается жестких дисков, то наибольшую производительность обеспечивает HDD SAS 3,5" WD RE DRIVE 2 ТБ 6 ГБ/с 7200RPM 32 МБ Cache, но, как было отмечено ранее, необходим жесткий диск с наибольшим объемом кэш-памяти, каким является HDD SAS 3,5" HGST Ultrastar 7K6000 2 ТБ 12 ГБ/с 7200RPM 128 МБ Cache.
при котором требуется обращение к секторам, и время на то, чтобы головка диска отыскала нужный участок данных и прочитала его. В связи с этим, предпочтение будет отдаваться дискам с большим объемом кэш-памяти.
Таким образом, для развертывания сервера виртуализации необходимо закупить 8 шт. HDD SAS 3,5" HGST Ultrastar 7K6000 2 ТБ 12 ГБ/с 7200RPM 128 МБ Cache стоимостью 30 876 рублей. Общая стоимость накопителей составит 247 008 рублей.
Анализируя совокупность затрат на внедрение данного технического обеспечения следует отметить, что выходные показатели мощности сполна соответствуют необходимым, что свидетельствует о целесообразности данного внедрения. Условием создания отказоустойчивого кластера виртуальных серверов является достаточный объем оперативной памяти и возможность объединения нескольких физических дисковых устройств в логический модуль для обеспечения высокой производительности.
При использовании данного оборудования отмечается высокая скорость работы, обработки и передачи данных, значительная надежность. Данная система повысит производительность работы подсистем Росстата, что позволит выйти на новый информационно-технический уровень и ускорит работу. Тенденции увеличения объемов информации, обрабатываемых органами государственной статистики, требуют большого внимания к информационно-вычислительной системе и, соответственно, каждой подсистеме. В данной статье был рассмотрен сервер виртуализации и, как одна из возможностей оптимизации информационно-вычислительной системы - со-
Таблица 2. Сравнение параметров моделей жестких дисков Table 2. Comparison of parameters of hard disk models
Модель диска Объем кэшпамяти, МБ Скорость вращения шпинделя, RPM Скорость передачи данных, ГБ/с Цена, руб.
HDD SAS 3,5" WD RE DRIVE 2 ТБ 32 7200 6 19 324
HDD SAS 3,5" HGST Ultrastar 7K4000 2 ТБ 64 7200 6 12 818
HDD SAS 3,5" HGST Ultrastar 7K6000 2 ТБ 128 7200 12 30 876
HDD SAS 3,5" Seagate Exos 7E8 2 ТБ 128 7200 12 7 499
HDD SAS 3,5" Seagate Constellation ES.3 2 ТБ 128 7200 6 12 238
вершенствование и модернизация сервера через выбор ИАГО-массива и жесткого диска к нему.
Заключительное положение В статье был проведен анализ уровней ЯЛШ-массивов, поддерживаемых ИАГО-контроллером, на основе которого было выбрано 4 наиболее подходящих уровня. Далее произведена оценка производительности, которая позволила выбрать наиболее надежный и производительный уровень ИЛГО-массива для сервера виртуализации ЦСОД. Результаты тестирования конкретных моделей жестких дисков показывают высокие ре-
Литература
1. Основные направления деятельности Федеральной службы государственной статистики на 2019 год и плановый период 2020 и 2021 годов: Доклад руководителя Росстата П.В. Малкова // Вопросы статистики. 2019. №5. С. 3-19.
2. Виртуализация [Электронный ресурс] // URL: https://habr.com/ru/post/99255/. (дата обращения 16.11.2020).
3. Создание централизованной системы сбора, обработки, хранения и распространения статистических данных. [Электронный ресурс] // URL: https://globalcio.ru/live/projects/402/. (дата обращения 16.11.2020).
зультаты по параметрам производительности и надежности. Это позволяет аргументированно выбрать необходимые технические средства для оптимизации работы системы и обеспечит бесперебойную и эффективную работу ЦСОД. Данная инновация позволит повысить оперативность работы сервера, что является шагом для пересмотра организационной структуры подразделений по информационно-техническому обеспечению Росстата в дальнейшем, а также пересмотр должностных инструкций и оптимизация кадрового обеспечения отделов информационных технологий.
4. Стратегия развития Росстата до 2024 года. [Электронный ресурс] // URL: https://rosstat. gov.ru/strategy. (дата обращения: 15.11.2020).
5. Федеральная служба государственной статистики. [Электронный ресурс] // URL: https:// rosstat.gov.ru/. (дата обращения 15.11.2020).
6. Intel представил 24-ядерный процессор для серверов. [Электронный ресурс] // URL: https:// cnews.ru/news/top/2016-06-06_intel_predstavila_ 24yadernyj_protsessor_dlya_serverov. (дата обращения 16.11.2020).
7. RAID. [Электронный ресурс] // URL: https:// ru.wikipedia.org/wiki/RAID. (дата обращения 16.11.2020).
8. Tadviser. [Электронный ресурс] // URL: https:// tadviser.ru. (дата обращения 15.11.2020).
Таблица 3. Сравнительный анализ производительности и среднего времени задержки жестких дисков Table 3. Comparative analysis of performance and average latency of hard drives
Модель диска Показатель RAID 0 RAID 10 RAID 5 RAID 6
HDD SAS 3,5" WD RE DRIVE 2 ТБ 6 ГБ/с 7200RPM 32 МБ Cache Производительность, ЮPS 2210 1350 335 349
Среднее время задержки, мс 116 190 764 734
HDD SAS 3,5" HGST Ultrastar 7K4000 2ТБ 6ГБ/с 7200RPM 64 МБ Cache Производительность, ЮPS 2070 1340 330 344
Среднее время задержки, мс 124 192 776 744
HDD SAS 3,5" HGST Ultrastar 7K6000 2ТБ 12ГБ/с 7200RPM 128 МБ Cache Производительность, ЮPS 2070 1340 330 344
Среднее время задержки, мс 124 192 776 744
HDD SAS 3,5" Seagate Exos 7E8 2ТБ 12 ГБ/с 7200RPM 128 МБ Cache Производительность, ЮPS 1380 841 263 274
Среднее время задержки, мс 185 304 973 934
HDD SAS 3,5" Seagate Constellation ES.3 2 ТБ 6 ГБ/с 7200RPM 128 МБ Cache Производительность, ЮPS 1340 813 254 265
Среднее время задержки, мс 192 315 1010 966
9. Team Computers. [Электронный ресурс] // URL: https://team.ru/RAID-IOPS-Calculator.php (дата обращения 15.11.2020).
10. IOPS. [Электронный ресурс] // URL: https://ru. wikipedia.org/wiki/IOPS. (дата обращения 15.11.2020).
11. IOPS — что это такое, и как его считать. [Электронный ресурс] // URL: https://habr.com/ ru/post/164325/. (дата обращения 15.11.2020).
12. Производительность RAID-массивов. [Электронный ресурс] // URL: https://efsol.ru/artic-les/raid-performance.html. (дата обращения 15.11.2020).
13. Чем отличается SAS от SATA [Электронный ресурс] // URL: http:// home-engineer.ru/ interes-noe-i-poleznoe-procomputers/chem-otlichaetsya-sas-ot-sata/. (дата обращения 15.11.2020).
14. Особенности SAS жестких дисков [Электронный ресурс] // URL: http://status-spb.com/oso-bennosti-sas--zhestkih-diskov. (дата обращения 15.11.2020).
15. RAID Levels [Электронный ресурс] // URL: https://ixbt.com/storage/raids.html. (дата обращения 15.11.2020).
16. RAID-массивы — надежность и производительность [Электронный ресурс] // URL: https://rlab.ru/doc/raid_arrays.html. (дата обращения 15.11.2020).
17. Виртуализация серверов [Электронный ресурс] // URL: https://stekspb.ru/blog/it/virtualiza-ciya-serverov/. (дата обращения 15.11.2020).
18. 7 мер защиты сервера [Электронный ресурс] // URL: https://habr.com/ru/company/galtsystems/ blog/314344/. (дата обращения 15.11.2020).
19. Как выбрать модель RAID-контроллера? [Электронный ресурс] // URL: https://3dnews. ru/166136. (дата обращения 15.11.2020).
20. Выбираем процессор для сервера: как выбрать и не ошибиться? [Электронный ресурс] // URL: https: //habr.com/ru/company/galtsystems/blog/ 301590/. (дата обращения 15.11.2020).
References
1. The main activities of the Federal State Statistics Service for 2019 and the planning period of 2020 and 2021: Report of the head of Rosstat P.V. Malkova // Questions of statistics. 2019. N 5. рр. 3-19.
2. Virtualization. [Electronic resource] // URL: https://habr.com/ru/post/99255/. (date of access 16.11.2020).
3. Creation of a centralized system for collecting, processing, storing and disseminating statistical data. [Electronic resource] // URL: https:// glob-alcio.ru/live/projects/402/. (date of access 16.11.2020).
4. Development strategy of Rosstat until 2024. [Electronic resource] // URL: https:// rosstat.gov. ru/strategy. (date of access: 15.11.2020).
5. Federal State Statistics Service. [Electronic resource] // URL: https: //rosstat.gov.ru/. (date of access 15.11.2020).
6. Intel introduced a 24-core processor for servers. [Electronic resource] // URL: https://cnews.ru/ news/top/2016-06-06_intel_predstavila_24yader-nyj_protsessor_dlya_serverov. (date of access 16.11.2020).
7. RAID. [Electronic resource] // URL: https://ru. wikipedia.org/wiki/RAID. (date of access 16.11.2020).
8. Tadviser. [Electronic resource] // URL: https:// tadviser.ru. (date of access 15.11.2020).
9. Team Computers. [Electronic resource] // URL: https:// team.ru/RAID-IOPS-Calculator.php. (date of access 15.11.2020).
10. IOPS. [Electronic resource] // URL: https://ru. wikipedia.org/wiki/IOPS. (date of access 15.11.2020).
11. IOPS - what it is and how to calculate it. [Electronic resource] // URL: https://habr. com/ru/post/164325/. (date of access 15.11.2020).
12. Performance of RAID-arrays. [Electronic resource] // URL: https://efsol.ru/articles/raid-per-formance.html. (date of access 15.11.2020).
13. What is the difference between SAS and SATA [Electronic resource] // URL: http://home-engi-neer.ru / interesnoe-i-poleznoe-pro-computers/ chem-otlichaetsya-sas-ot-sata/. (date of access 15.11.2020).
14. Features of SAS hard drives [Electronic resource] // URL: http://statusspb.com/osoben-nosti-sas--zhestkih-diskov. (date of access 15.11.2020).
15. RAID Levels [Electronic resource] // URL: https://ixbt.com/storage/raids.html. (date of access 15.11.2020).
16. RAID arrays - reliability and performance [Electronic resource] // URL: https://rlab.ru/doc/ raid_arrays.html. (date of access 15.11.2020).
17. Server virtualization [Electronic resource] // URL: https://www.stekspb.ru/blog/it/virtualizaciya-ser-verov/. (date of access 15.11.2020).
18. 7 server URL protection measures [Electronic resource] // URL: https://habr.com/ru/company/ galtsystems/blog/314344/. (date of access 15.11.2020).
19. How to choose a RAID controller model? [Electronic resource] // URL: https://3dnews.ru/ 166136. (date of access 15.11.2020).
20. Choosing a processor for the server: how to choose and not be mistaken? [Electronic resource] // URL: https://habr.com/ru/company/galt-sys-tems/blog/301590/. (date of access 15.11.2020).
