CC BY
16
УДК 004.272, 004.9
DOI: 10.14529/cmse220102
ВЫСОКОПРОИЗВОДИТЕЛЬНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ ЮЖНО-УРАЛЬСКОГО ГОСУДАРСТВЕННОГО
УНИВЕРСИТЕТА
© 2022 Р.В. Биленко, Н.Ю. Долганина, Е.В. Иванова, А.И. Рекачинский
Южно-Уральский государственный университет (454080 Челябинск, пр. им. В.И. Ленина, д. 76) E-mail: bilenkorv@susu.ru, dolganinani@susu.ru, elena.ivanova@susu.ru, alexander.rekachinsky@susu.ru Поступила в редакцию: 20.02.2022
В настоящее время в Южно-Уральском государственном университете достигнуты значительные результаты в области суперкомпьютерного моделирования, искусственного интеллекта и больших данных. ЮУрГУ обладает энергоэффективным суперкомпьютером «Торнадо ЮУрГУ», который занимает 15е место в рейтинге самых мощных суперкомпьютеров СНГ ТОП50 (сентябрь 2021). Для исследований в области искусственных нейронных сетей в ЮУрГУ был установлен специализированный многопроцессорный комплекс «Нейрокомпьютер». «Нейрокомпьютер» использует мощные передовые графические ускорители для обучения нейронных сетей. Суперкомпьютер «Торнадо ЮУрГУ» и комплекс «Нейрокомпьютер» находятся в центре научной жизни Университета, позволяя производить сложнейшие вычисления для расчетов в области инжиниринга, естественных наук, наук о человеке и искусственного интеллекта. Вычислительные ресурсы ЮУрГУ используются в образовании и в коммерческих целях для расчетов задач партнеров Университета. В работе описываются характеристики высокопроизводительного оборудования ЮУрГУ, доступное системное и прикладное параллельное программное обеспечение, приведены сведения о решенных научных и инженерных задачах.
Ключевые слова: суперкомпьютер, нейрокомпьютер, параллельная система хранения данных, администрирование суперкомпьютеров, суперкомпьютерное моделирование, нейронные сети.
ОБРАЗЕЦ ЦИТИРОВАНИЯ
Биленко Р.В., Долганина Н.Ю., Иванова Е.В., Рекачинский А.И. Высокопроизводительные вычислительные ресурсы Южно-Уральского государственного университета // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2022. Т. 11, № 1. С. 15-30. DOI: 10.14529/cmse220102.
Введение
В Южно-Уральском государственном университете достигнуты значительные результаты в области создания цифровой индустрии. Активно развиваются исследования с применением суперкомпьютерного моделирования, искусственного интеллекта и больших данных. В настоящее время ЮУрГУ обладает энергоэффективным суперкомпьютером «Торнадо ЮУрГУ», который занимает 15 место в рейтинге самых мощных суперкомпьютеров СНГ Т0П50 (сентябрь 2021). Задачи в области искусственного интеллекта требуют высокого параллелизма на общей памяти, но суперкомпьютер с кластерной архитектурой этого не обеспечивает. Для создания искусственных нейронных сетей ЮУрГУ был приобретен специализированный многопроцессорный комплекс «Нейрокомпьютер». Нейрокомпьютер использует мощные передовые графические ускорители для обучения нейронных сетей. Высокопроизводительными вычислительными ресурсами ЮУрГУ пользуются более 500 человек, это не только сотрудники и студенты Южно-Уральского государственного университета, но сотрудники внешних образовательных, научных и производственных орга-
низаций (промышленные предприятия, университеты, институты РАН). В ЮУрГУ создан научно-образовательный центр «Искусственный интеллект и квантовые технологии» (НОЦ ИИКТ) [1], сотрудники которого занимаются администрированием высокопроизводительных ресурсов ЮУрГУ, научными исследованиями в области суперкомпьютерных технологий, обеспечивают поддержку пользователей. В данной работе выполнен обзор высокопроизводительных ресурсов ЮУрГУ, системного и прикладного программного обеспечения.
Остаток статьи организован следующим образом. В разделе 1 описаны основные высокопроизводительные ресурсы ЮУрГУ, установленные в НОЦ ИИКТ, такие как суперкомпьютер «Торнадо ЮУрГУ», комплекс «Нейрокомпьютер», системы хранения данных Panasas ActiveStor 11, OceanStor Dorado 3000 V6, Huawei OceanStor 5300 V5. Раздел 2 посвящен обзору системного программного обеспечения, используемого в НОЦ ИИКТ. Описано применение систем мониторинга и управления оборудованием и программными системами в НОЦ ИИКТ. В разделе 3 представлено прикладное программное обеспечение, доступное пользователям высокопроизводительных ресурсов ЮУрГУ, выполнен обзор решаемых научных и инженерных задач. Заключение содержит итоговые выводы.
1. Высокопроизводительные ресурсы 1.1. Суперкомпьютер «Торнадо ЮУрГУ»
Суперкомпьютер «Торнадо ЮУрГУ» представляет собой вычислительный комплекс с полным жидкостным охлаждением производительностью 473.6 Терафлопс, который в настоящее время занимает 15 место в рейтинге самых мощных суперкомпьютеров СНГ Т0П50 (сентябрь 2021). Использование жидкостного охлаждения влечет за собой увеличение энергоэффективности системы (экономия 40-50% электроэнергии по сравнению с системами с воздушным охлаждением), а также максимизацию плотности упаковки электроники, что позволяет избавиться от подвижных частей в вычислителе, шума и вибрации, повышая тем самым надежность и эргономику установки [2]. Технические характеристики суперкомпьютера «Торнадо ЮУрГУ» представлены в табл. 1.
Таблица 1. Технические характеристики суперкомпьютера «Торнадо ЮУрГУ»
Характеристика Значение
Число выч. узлов/процессоров/ 480/960/384/29184
сопроцессоров/процессорных ядер
Тип процессора Intel Xeon X5680 (Gulftown, 6 ядер по 3.33 GHz)
Тип сопроцессора Intel Xeon Phi SE10X (61 ядро по 1.1 GHz)
Оперативная память 16.9 Тбайт
Дисковая память 204 Тбайт, Panasas ActiveStor 11; 700 Тбайт, Huawei OceanStor 5300 V5
Тип системной сети InfiniBand QDR (40 Гбит/с)
Тип управляющей сети Gigabit Ethernet
Пиковая производительность 473.6 Терафлопс
Операционная система Linux CentOS 6.2
Суперкомпьютер «Торнадо ЮУрГУ» для хранения исходных данных и результатов расчетов пользователей оснащен высокопроизводительной параллельной системой хране-
ния данных Panasas ActiveStor 11 с пиковой производительностью 30 88б операций ввода-вывода в секунду, при этом скорость записи составляет 2 402 МБ/с, а скорость чтения — 3 239 МБ/с. В настоящее время хранилище успешно используют более 500 пользователей суперкомпьютера, система используется непрерывно с момента установки в 2013 году и показала себя отказоустойчивой и надежной.
Система хранения данных Panasas ActiveStor 11 состоит из пяти полок. Четыре полки содержат по 10 узлов для хранения данных (StorageBlade) объемом 4 Тбайт и по одному узлу управления (DirectorBlade), пятая — состоит из 11 узлов хранения данных. Объем хранилища составляет 204 Тбайт, часть которого отведена под репликацию данных. Узлы управления выполняют задачу хранения метаданных, а также обеспечивают доступ к данным по таким протоколам как NFS и CIFS. В системе настроено 7 виртуальных узлов горячего резерва (hot spare), позволяющих достигнуть устойчивости работы при отказе до семи дисков включительно.
Полки в Panasas ActiveStor 11 имеют поддержку только интерфейса 10 Gigabit Ethernet. Для подключения системы к сети Infiniband QDR со скоростью 40 Гбит/c используются три Ininiband роутера Panasas, которые маршрутизируют пакеты из сети Infiniband QDR в сеть СХД. Балансировка нагрузки сети выполняется на вычислительных узлах посредством маршрутов до сети системы хранения с одинаковой метрикой.
1.2. Комплекс «Нейрокомпьютер»
Архитектура комплекса «Нейрокомпьютер» основывается на разнородных графических ускорителях, что позволяет гибко выбрать подходящее оборудование для максимально эффективного расчета любой задачи связанной с нейронными сетями. Комплекс состоит из шести серверов, объединенных общей очередью задач, с помощью которой пользователь получает доступ к серверу с требуемой для его задачи архитектурой. Характеристики комплекса «Нейрокомпьютер» представлены в табл. 2.
Архитектура комплекса «Нейрокомпьютер» представлена на рис. 1 и состоит из двух GPU-серверов Dell PowerEdge R750 на базе NVIDIA Ampere A100, трех GPU-серверов Dell PowerEdge R750 на базе NVIDIA Ampere A30, одного GPU-сервера HPE Apollo ProLiant XL270d Gen10 на основе NVIDIA Tesla V100 и трех управляющих серверов Dell PowerEdge R640.
GPU-сервер Dell PowerEdge R750 на базе передовых на сегодняшний день графических процессоров NVIDIA Ampere A100 имеет два таких процессора с объемом видеопамяти 80 Гбайт, два процессора Intel Xeon Silver 4314, оперативную память объемом 192 Гбайт и постоянную память на твердотельных накопителях объемом 1.9 T6. GPU-сервер Dell PowerEdge R750 на базе NVIDIA Ampere A30 состоит из двух графических процессоров, имеющих объем видеопамяти 24 Гбайт, двух процессоров Intel Xeon Silver 4314, оперативной памяти объемом 192 Гбайт и твердотельных дисках объемом 1.9 Tбайт. Данные серверы наилучшим образом подходят для требовательных к видеопамяти задач и задач, которым ресурсы необходимы в монопольный доступ.
GPU-сервер HPE Apollo ProLiant XL270d Gen10 представляет собой сервер с восемью графическими процессорами NVIDIA Tesla V100 SXM2 (32 Гбайт видеопамяти), объединенных сетью NVLink, двумя процессорами Intel Xeon Gold б254, оперативной памятью объемом 192 Гбайт и твердотельными дисками общим размером 7.б8 Тбайт. Сервер позволя-
2022, т. ll, № l
17
Таблица 2. Технические характеристики комплекса «Нейрокомпьютер»
Характеристика Значение
Число графических процессоров/ 18/91432
ядер СТОА
Типы графических процессоров NVIDIA Ampere A100 80 GB PCI-E — 4 шт. NVIDIA Ampere A30 24 GB PCI-E — 6 шт. NVIDIA Tesla V100 SXM2 — 8 шт.
Число вычислительных процессоров/ 18/268
процессорных ядер
Типы вычислительных процессоров Intel Xeon Gold 6254 (Cascade Lake, 18 ядер по 4 GHz) — 2 шт.; Intel Xeon Silver 4314 (Ice Lake, 16 ядер по 3.4 GHz) — 10 шт.; Intel Xeon Silver 4214 (Cascade Lake, 12 ядер по 3.2 GHz) — 6 шт.
Оперативная память 1920 Гбайт
Хранилище данных 700 Тбайт, Huawei OceanStor 5300 V5; 46 Тбайт, система хранения данных на основе твердотельных накопителей Huawei OceanStor Dorado 3000 V6
Коммуникационная сеть Mellanox Infiniband QSFP28, Mellanox Infiniband SFP28, Gigabit Ethernet
Пиковая производительность 276.4 Терафлопс
Операционная система Linux Centos 7.8
ет достигнуть максимальной эффективности при распараллеливании задач на нескольких графических ускорителях.
Также в комплекс входят три управляющих сервера Dell PowerEdge R640, необходимых для организации работы комплекса. Каждый управляющий сервер содержит два процессора Intel Xeon Silver 4214 и 256 Гбайт оперативной памяти.
Для обучения нейронных сетей используются наборы данных больших объемов, которые в большинстве случаев состоят из множества мелких файлов (изображения, аудио и видео файлы). Для эффективного обучения нейронных сетей к комплексу «Нейрокомпьютер» подключена система хранения данных на основе твердотельных накопителей Huawei OceanStor Dorado 3000 V6, которая обеспечивает максимально доступную производительность при работе с данными типами файлов. Данная система выполняет чтение и запись на два порядка быстрее по сравнению с жесткими дисками и, в отличие от классических систем хранения, не теряет производительность при работе с большим количеством мелких файлов.
Архитектура Huawei OceanStor Dorado 3000 V6 представляет собой систему, содержащую два контроллера, которые могут сменять друг друга в случае отказа одного из них, обеспечивая тем самым бесперебойную работу хранилища. В каждый контролер встроен один процессор Kungpeng 920, разработанный компанией Huawei на базе архитектуры ARM, с 96 Гбайт кэш-памяти и сопроцессор Ascend 310 для поддержания сервисных нейронных
Рис. 1. Архитектура комплекса «Нейрокомпьютер»
сетей, встроенных в хранилище. Система включает в себя 12 твердотельных накопителей Enterpise SSD по 3.84 Тбайт каждый. Все компоненты хранилища являются собственной разработки компании Huawei. Объем хранилища составляет 46.08 Тбайт с кэшем 192 Гбайт. Эффективный объем хранилища, который могут использовать пользователи для своих данных, составляет не менее 35 Тбайт, остальное пространство используется для обеспечения отказоустойчивости хранилища.
Для долговременного хранения данных пользователей и результатов вычисления в комплексе «Нейрокомпьютер» используется система хранения данных Huawei OceanStor 5300 V5 с объемом памяти 700 Тбайт. Архитектура СХД Huawei OceanStor содержит два контролера, в каждый контролер встроен один процессор Kungpeng 920 с 64 Гбайт кэш-памяти, зеркалирование данных между контролерами осуществляется через сеть 100 Гбит/с. Система включает в себя жесткие диски NL-SAS 50 шт. по 14 Тбайт каждый. Поддержка большинства популярных протоколов, таких как NFS, CIFS, iSCSI и др., позволяет использовать данное хранилище как для комплекса «Нейрокомпьютер», так и для суперкомпьютера «Торнадо ЮУрГУ».
2. Системное программное обеспечение
На каждый узел суперкомпьютера «Торнадо ЮУрГУ» установлена операционная система CentOS 6.2. Используются компиляторы Intel Compiler (C/C++, Fortran 77, Fortran 90), GCC, библиотека параллельного программирования MPI2 (Intel MPI, OpenMPI, MVAPICH), позволяющие реализовывать пользователям собственные приложения для решения своих задач.
В комплексе «Нейрокомпьютер» установлена операционная система CentOS 7.8. Используются несколько разных версий компилятора GCC, библиотеки CUDA, NCCL и CUDNN для работы с графическими ускорителями, библиотека параллельного программирования OpenMPI. Для конфигурации пользовательского окружения Python-программы (установка необходимой версии Python, установка сопутствующих библиотек, обеспечивающих взаимодействие с искусственными нейронными сетями, Keras [3], Tensorflow [4] и др.) в комплексе «Нейрокомпьютер» установлена система Anaconda.
Для совместного эффективного использования ресурсов большим количеством пользователей на каждом вычислительном комплексе в НОЦ ИИКТ установлена отказоустойчивая и масштабируемая система управления кластерами и планирования заданий SLURM [5]. На суперкомпьютере «Торнадо» установлена SLURM версии 2.5.3, в комплексе «Нейрокомпьютер» используется SLURM версии 20.02.4.
2.1. Системы мониторинга
Одной из основных задач системного администратора является обеспечение корректной и бесперебойной работы оборудования, например, Infiniband и Ethernet сетей, систем хранения данных и др. Для системного мониторинга в НОЦ ИИКТ используются системы Nagios и Zabbix. В НОЦ ИИКТ также была разработана собственная система мониторинга загрузки суперкомпьютеров, которая позволяет формировать отчеты о загрузке и деятельности пользователей из структурных подразделений университета [6].
Система Nagios предоставляет информацию о работоспособности оборудования и программных сервисов и формирует сообщение об изменении состояния, отправляемое по электронной почте администратору [7]. Основной подход к написанию проверок в Nagios — описание проверок в виде скриптов с помощью самостоятельно написанного кода, а также с помощью стандартного набора базовых проверок, которые не подходят для организации мониторинга всех компонентов ресурсов НОЦ ИИКТ. За счет возможности самостоятельного написания простых проверок Nagios позволяет гибко выполнять проверки различных сервисов, но это также является серьезным недостатком. Необходимо самостоятельно описывать все нестандартные проверки, что требует проанализировать SNMP команды оборудования и описать их обработчики. Оповещение через электронную почту также неудобный механизм, зачастую письма попадают в спам либо доходят позднее, чем необходимо для быстрого реагирования на проблемы. В НОЦ ИИКТ Nagios используется для проверки состояния сервисов, таких как почта, очереди задач, и сетевого, коммуникационного и других видов оборудования (рис. 2).
Nagios'
General
О Home
О Documentation
Current Status
Рис. 2. Мониторинг состояния оборудования с помощью веб-интерфейса системы Nagios
Система мониторинга Zabbix [8] появилась в НОЦ ИИКТ позднее, чем Nagios, но благодаря возможностям активного и пассивного мониторинга систем, установки на Windows
Infrastructure (nternp) Host__Services_
chiller I Aurora 11 Tornado
rack-power
ups-tornado-1 I BAT I I L1 I I 12 I 1 13 1
ups-ural-1 I BAT 111 I 1 L2I 1 13 1
ups-ural-2 I BAT I I L1 I 1 12 1 L3 1
и Linux системы используется более широко. В Zabbix предусмотрено создание графиков для отдельных групп оборудования (рис. 3), большая пополняемая база стандартных проверок для оборудования (например, для системы хранения Dorado и др.), что позволяет настроить мониторинг нового оборудования в кратчайшие сроки. Полезным инструментом Zabbix также являются графики, они позволяют сравнивать параметры, мониторинг которых проводился в различные временные промежутки, выявлять зависимости и проблемы. В дополнение к перечисленному существенным преимуществом системы Zabbix является возможность интеграции с популярными мессенджерами и корпоративными системами, что позволяет достигнуть практически мгновенного реагирования на возникшее изменение состояния оборудования или программного сервиса. В настоящее время в НОЦ ИИКТ активно внедряется Zabbix, заменяя большую часть функционала Nagios, но полностью покрыть функциональность Nagios система Zabbix пока не может. Схема инфраструктуры НОЦ ИИКТ в системе мониторинга Zabbix представлена на рис. 4.
Рис. 3. Мониторинг состояния чиллера суперкомпьютера Торнадо с помощью
веб-интерфейса системы Zabbix
2.2. Системы управления
Для установки и конфигурирования программного обеспечения большого количества вычислительных узлов, как на суперкомпьютере «Торнадо ЮурГУ», в НОЦ ИИКТ используются специализированные программные системы управления xCAT и Puppet.
xCAT (Extreme Cluster Administration Tool) — масштабируемый инструментарий для развертывания и сопровождения больших кластеров [9]. xCAT предоставляет унифицированный интерфейс для управления аппаратным оборудованием, обнаружением и развертыванием diskful/diskless операционных систем. Все команды являются клиент-серверными, поддерживают аутентификацию, протоколируются и управляются политиками. xCAT поддерживает разграничение прав на основе политик доступа. В клиент-серверном приложении xCAT весь поток между клиентом и сервером контролируется службой xcatd (xCAT daemon) на управляющем узле (Management Node). Когда служба xcatd получает упакованную как XML команду, она проверяет полномочия отправителя, сверяясь со списками
Рис. 4. Схема инфраструктуры НОЦ ИИКТ в системе мониторинга Zabbix
контроля доступа ACL в таблице политик. Также служба получает информацию о состоянии и статусе узлов с момента начала их работы. xCAT спроектирован для масштабирования очень больших кластеров. Благодаря поддержке иерархии, один управляющий узел может иметь любое количество stateless или statefull сервисных узлов, что повышает производительность и позволяет управлять очень большими кластерами. В НОЦ ИИКТ xCAT используется для установки кластерной операционной системы на вычислительные узлы, посредством PXE загрузки по DHCP, с первоначальной установкой и конфигурацией операционной системы и запуском фонового процесса системы Puppet для дальнейшей конфигурации.
Puppet представляет собой систему управления конфигурацией и язык для описания задач конфигурирования. Puppet используется системными администраторами для эффективного управления большим количеством систем и обеспечения единой конфигурации. В НОЦ ИИКТ с помощью Puppet настраивается вся конфигурация узла после его базовой установки с помощью xCAT, а именно, установка очереди задач SLURM, пакетов для работы с высокоскоростной сетью Infiniband, хранилищем и системных пакетов. Такая организация установки системы позволяет гибко вносить изменения в конфигруацию системы в случае необходимости.
3. Прикладное программное обеспечение
На высокопроизводительных вычислительных ресурсах ЮУрГУ установлено прикладное программное обеспечение как проприетарное, так и свободное [10], в т.ч.:
- многоцелевой конечно-элементный пакет для проведения анализа в широком круге инженерных дисциплин ANSYS [11];
- многоцелевой конечно-элементный комплекс разработки для анализа высоконелинейных и быстротекущих процессов в задачах механики твердого и жидкого тела LS-DYNA [12];
- комплексное решение в области моделирования трехмерных турбулентных течений жидкости и газа FlowVision [13];
- специализированный инженерный программный комплекс, предназначенный для анализа процессов обработки металлов давлением, термической и механической обработки SFTC DEFORM [14];
- специализированный пакет для решения инженерных, научно-технических и экономических задач MathWorks MATLAB [15];
- открытая интегрируемая платформа для численного моделирования задач механики сплошных сред OpenFOAM [16].
На вычислительных ресурсах НОЦ ИИКТ ЮУрГУ ежегодно выполняется более 250 научных задач из различных областей — искусственный интеллект, машиностроение, металлургия и металлообработка, топливно-энергетический комплекс, легкая промышленность, производство суперкомпьютеров и программного обеспечения, в т.ч.:
- мониторинг выбросов загрязняющих веществ от автотранспорта в режиме реального времени [17]
- изучение реакции нормализованного вегетационного индекса (NDVI) ландшафтов в нижнем бассейне Тигра на текущую глобальную и региональную изменчивость климата [18]
- моделирование сжимаемости изоструктурных галогенсодержащих кристаллов на макро- и микроуровнях[19],
- изучение квантового электронного давления и сжимаемости кристаллов для диборида магния при моделируемом сжатии [20],
- механизм реакции разложения Тетракиса с помощью реактивной динамики [21],
- первопринципное компьютерное моделирование в системах Fe-C [22],
- моделирование полосно-пропускающих фильтров на основе многослойной технологии [23],
- валидатор решений задач линейного программирования VaLiPro [24],
- параллельный подход для поиска аномалий в больших временных рядах [25],
- использование концепции матричного профиля в реляционную СУБД для интеллектуального анализа временных рядов [26],
- поверхностная обработка арамидной ткани и ее влияние на механику фрикционного взаимодействия нитей [27],
- разработка суперкомпьютерной модели иглопробивного войлока [28],
- пластическая деформация при динамическом уплотнении нанопорошка алюминия: моделирование молекулярной динамики и механическая модель [29],
- компьютерное моделирование поведения представительного объема порошкового материала [30],
- PaaS-решения для туманных вычислений [31],
- концепция и классификация платформ для поддержки распределенных вычислительных систем для туманных вычислений [32],
- обеспечение безопасности уязвимых участников дорожного движения [33],
- синтез речи на русском языке [34],
- система учета посещаемости студентов на основе методов компьютерного зрения [35],
- оценка транспортного потока на основе данных с камеры видеонаблюдения [36].
Заключение
В настоящее время в Южно-Уральском государственном университете активно развиваются исследования, связанные с суперкомпьютерными технологиями. Созданный в ЮУрГУ научно-образовательный центр «Искусственный интеллект и квантовые технологии» предоставляет доступ к высокопроизводительным ресурсам более 500 пользователям, которые являются студентами и сотрудниками ЮУрГУ и внешних образовательных, научных и производственных организаций. Суперкомпьютер «Торнадо ЮУрГУ», комплекс «Нейрокомпьютер», системы хранения данных Panasas ActiveStor 11, OceanStor Dorado 3000 V6, Huawei OceanStor 5300 V5 администрируются сотрудниками НОЦ ИИКТ: выполняется поддержание работоспособности очереди задач SLURM, обеспечение корректной и бесперебойной работы Infiniband и Ethernet сетей, хранилищ и другого оборудования, с помощью специализированных систем мониторинга и управления. На высокопроизводительных ресурсах ЮУрГУ установлено современное параллельное программное обеспечение, позволяющее выполнять научно-исследовательские и опытно-конструкторские работы из разных областей знаний.
Исследование выполнено при финансовой поддержке Министерства науки и высшего образования РФ (государственное задание FENU-2020-0022) и Российского фонда фундаментальных исследований (грант № 20-07-00140).
Литература
1. Научно-образовательный центр искусственный интеллект и квантовые технологии ЮУрГУ. URL: https://supercomputer.susu.ru/ (дата обращения: 11.03.2022).
2. Абрамов С.М., Заднепровский В.Ф., Лилитко Е.П. Суперкомпьютеры «СКИФ» ряда 4 // Информационные технологии и вычислительные системы. 2012. № 1. С. 3— 16.
3. Keras. Documentation. URL: https ://keras . io/guides/ (дата обращения: 10.02.2022).
4. Tensorflow. Documentation. URL: https : / / www . tensorf low . org/ (дата обращения: 10.02.2022).
5. Slurm. Documentation. URL: https : //slurm. schedmd. сот/documentation. html (дата
обращения: 10.02.2022).
6. Kostenetskiy P., Semenikhina P. SUSU Supercomputer Resources for Industry and fondamental Science // 2018 Global Smart Industry Conférence (GloSIC), Chelyabinsk, Russia, November 13-15, 2018. IEEE, 2018. P. 1-7. DOI: 10.1109/GloSIC.2018.8570068.
7. Borghesi A., Molan M., Milano M., Bartolini A. Anomaly Détection and Anticipation in High Performance Computing Systems // IEEE Transactions on Parallel and Distributed Systems. 2022. Vol. 33, no. 4. P. 739-750. DOI: 10.1109/TPDS. 2021.3082802.
8. Борисов С.H., Зима A.M., Дьяченко P.A., Елизаров П.В. Обзор современных информационных систем мониторинга сетей передачи данных // Современная наука: Актуальные проблемы теории и практики. Серия: Естественные и технические науки. 2019. № 5. С. 29-34.
9. Lascu О., Brindeyev A., Quintero D.E. и др. хСАТ 2 Guide for the CSM System Administrator. 2008. URL: https://www.redbooks.ibm.com/redpapers/pdfs/redp4437. pdf (дата обращения: 27.02.2022).
10. НОЦ ИИКТ ЮУрГУ. Прикладное программное обеспечение. URL: http : / / supercomputer.susu.ru/users/simulation/.
11. ANSYS. URL: http://ansys.com (дата обращения: 24.02.2022).
12. LSTC LS-DYNA. URL: http://www.ls-dyna.com/ (дата обращения: 24.02.2022).
13. FlowVision. URL: https://tesis.com.ru/own_design/flowvision/ (дата обращения: 24.02.2022).
14. SFTC DEFORM. URL: https://tesis.com.ru/cae_brands/deform/ (дата обращения: 24.02.2022).
15. MATLAB. URL: https://www.mathworks.com/ (дата обращения: 24.02.2022).
16. OpenFOAM. URL: https ://www. openf oam. com/ (дата обращения: 24.02.2022).
17. Shepelev V., Zhankaziev S., Aliukov S., et al. Forecasting the Passage Time of the Queue of Highly Automated Vehicles Based on Neural Networks in the Services of Cooperative Intelligent Transport Systems // Mathematics. 2022. Vol. 10, no. 2. Article 282. DOI: 10.3390/mathl0020282.
18. Alhumaima A., Abdullaev S. Tigris basin landscapes: Sensitivity of vegetation index ndvi to climate variability derived from observational and reanalysis data // Earth Interactions. 2020. Vol. 24, no. 7. P. 1-18. DOI: 10.1175/EI-D-20-0002.1.
19. Bartashevich E., Sobalev S., Matveychuk Y., Tsirelson V. Simulation of the compressibility of isostructural halogen containing crystals on macro- and microlevels // Journal of Structural Chemistry. 2021. Vol. 62. P. 1607-1620. DOI: 10.1134/S0022476621100164.
20. Matveychuk Y.V., Bartashevich E.V., Skalyova K.K., Tsirelson V.G. Quantum electronic pressure and crystal compressibility for magnesium diboride under simulated compression // Materials Today Communications. 2021. Vol. 26. P. 101952. DOI: 10.1016/j .mtcomm.2020. 101952.
21. Zybin S.V., Morozov S.I., Prakash P., et al. Reaction Mechanism and Energetics of Decomposition of Tetrakis(l,3-dimethyltetrazol-5-imidoperchloratomanganese(II)) from Quantum-Mechanics-based Reactive Dynamics // Journal of the American Chemical Society. 2021. Vol. 143, no. 41. P. 16960-16975. DOI: 10.1021/j acs. Ic04847.
22. Mirzoev A.A., Ridnyi Y.M. Ab initio calculation of total energy of a bcc iron cell containing three dissolved carbon atoms, and internal friction in Fe-C solid solutions // Journal of Alloys and Compounds. 2021. Vol. 883. P. 160850. DOI: 10.1016/j . jallcom.2021.160850.
23. Fomin D.G., Dudarev N.V., Darovskikh S.N. Duplexer Based on Volumetric Modular Technology // 2021 IEEE 22nd International Conference of Young Professionals in Electron Devices and Materials (EDM), Souzga, the Altai Republic, Russia, June 30-July 4, 2021. IEEE, 2021. P. 97-100. DOI: 10.1109/EDM52169.2021.9507637.
24. Sokolinsky L.B., Sokolinskaya I.M. VaLiPro: Linear Programming Validator for Cluster Computing Systems // Supercomputing Frontiers and Innovations. 2021. Vol. 8, no. 3. P. 51-61. DOI: 10.14529/jsfi210303.
25. Zymbler М., Grents A., Kraeva Y., Kumar S. A Parallel Approach to Discords Discovery in Massive Time Series Data // Computers, Materials and Continua. 2021. Vol. 66, no. 2. P. 1867-1876. DOI: 10.32604/cmc . 2020.014232.
26. Zymbler M., Ivanova E. Matrix Profile-Based Approach to Industrial Sensor Data Analysis Inside RDBMS // Mathematics. 2021. Vol. 9, no. 17. Article 2146. DOI: 10.3390/ math9172146.
27. Ignatova A.V., Dolganina N.Y., Sapozhnikov S.B., Shabley A.A. Aramid fabric surface treatment and its impact on the mechanics of yarn's frictional interaction // PNRPU Mechanics Bulletin. 2017. No. 4. P. 121-137.
28. Dolganina N.Y., Teleshova E.A., Semenikhina P.N. Development of Supercomputer Model of Needle-Punched Felt // 2020 Global Smart Industry Conference (GloSIC), Chelyabinsk, Russia, November 17-19, 2020. IEEE, 2020. P. 1-6. DOI: 10 . 1109/GloSIC50886 .2020 . 9267856.
29. Mayer A.E., Ebel A.A., Al-Sandoqachi M.K. Plastic deformation at dynamic compaction of aluminum nanopowder: Molecular dynamics simulations and mechanical model // International Journal of Plasticity. 2020. Vol. 124. P. 22-41. DOI: https://doi.org/10.1016/ j.ijplas.2019.08.005.
30. Иванов В.А. Микромеханическая модель представительного объема порошковых материалов // Вестник Южно-Уральского государственного университета. Серия: Металлургия. 2021. Т. 21, № 3. С. 67—81. DOI: 10.14529/met210308.
31. Vetoshkin N., Radchenko G. Towards the Fog Computing PaaS Solution // 2020 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (US-BEREIT), Yekaterinburg, Russia, May 14-15, 2020. IEEE, 2020. P. 0516-0519. DOI: 10. 1109/USBEREIT48449.2020.9117791.
32. Kirsanova A.A., Radchenko G.I., Tchernykh A.N. Fog Computing State of the Art: Concept and Classification of Platforms to Support Distributed Computing Systems // Supercomputing Frontiers and Innovations. 2021. Vol. 8, no. 3. P. 17-50. DOI: 10.14529/j sf Í210302.
33. Pustokhina I.V., Pustokhin D.A., Vaiyapuri Т., et al. An automated deep learning based anomaly detection in pedestrian walkways for vulnerable road users safety // IEEE Transactions on Parallel and Distributed Systems. 2021. Vol. 142, no. 4. P. 105356. DOI: 10 . 1016/j.ssci.2021.105356.
34. Kuzmin A.D., Ivanov S.A. Transfer Learning for the Russian Language Speech Synthesis // 2021 International Conference on Quality Management, Transport and Information Security, Information Technologies (IT QM IS), Yaroslavl, Russian Federation, September 6-10, 2021. IEEE, 2021. P. 507-510. DOI: 10.1109/ITQMIS53292.2021.9642715.
35. Strueva A.Y., Ivanova E.V. Student Attendance Control System with Face Recognition Based on Neural Network // 2021 International Russian Automation Conference (RusAuto-Con), Sochi, Russian Federation, September 5-11, 2021. IEEE, 2021. P. 929-933. DOI: 10.1109/RusAutoCon52004.2021.9537386.
36. Fedorov A., Nikolskaia K., Ivanov S., et al. Traffic flow estimation with data from a video surveillance camera // Journal of Big Data. 2019. Vol. 6. Article 73. DOI: 10.1186/s40537-019-0234-z.
Биленко Роман Владимирович, лаборант НОЦ ИИКТ, Южно-Уральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация)
Долганина Наталья Юрьевна, к.т.н., директор НОЦ ИИКТ, кафедра системного программирования, Южно-Уральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация)
Иванова Елена Владимировна, к.ф.-м.н., руководитель лаборатории суперкомпьютерного моделирования НОЦ ИИКТ, кафедра системного программирования, ЮжноУральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация)
Рекачинский Александр Игоревич, директор суперкомпьютерного центра НОЦ ИИКТ, Южно-Уральский государственный университет (национальный исследовательский университет) (Челябинск, Российская Федерация)
DOI: 10.14529/cmse220102
HIGH-PERFORMANCE COMPUTING RESOURCES OF SOUTH URAL STATE UNIVERSITY
© 2022 R.V. Bilenko, N.Yu. Dolganina, E.V. Ivanova, A.I. Rekachinsky
South Ural State University (pr. Lenina 76, Chelyabinsk, 454080 Russia) E-mail: bilenkorv@susu.ru, dolganinani@susu.ru, elena.ivanova@susu.ru, alexander.rekachinsky@susu.ru Received: 20.02.2022
Currently, South Ural State University has achieved significant results in the field of supercomputer modeling, artificial intelligence and big data. SUSU has an energy-efficient supercomputer "Tornado SUSU", which ranks 15th in the ranking of the most powerful supercomputers of the CIS TOP50 (September 2021). For research in artificial neural networks, a specialized multiprocessor "Neurocomputer" complex was installed at SUSU. The "Neurocomputer" uses powerful advanced graphics accelerators to train neural networks. The supercomputer and the "Neurocomputer" are at the center of the scientific life of the University, allowing for the most complex calculations in the field of engineering, natural sciences, human sciences and artificial intelligence. SUSU computing resources are used in education and for commercial purposes to calculate the tasks of the University's partners. The paper describes the characteristics of high-performance SUSU equipment, available system and application parallel software, provides information about solved scientific and engineering tasks.
Keywords: supercomputer, neurocomputer, parallel storage system, supercomputer administration, supercomputer modeling, neural networks.
FOR CITATION
Bilenko R.V., Dolganina N.Yu., Ivanova E.V., Rekachinsky A.I. High-performance Computing Resources of South Ural State University. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering. 2022. Vol. 11, no. 1. P. 15-30. (in Russian) DOI: 10.14529/cmse220102.
This paper is distributed under the terms of the Creative Commons Attribution-Non Commercial 4.0 License which permits non-commercial use, reproduction and distribution of the work without further permission provided the original work is properly cited.
References
1. SUSU Research and Educational Center for Artificial Intelligence and Quantum Technologies. URL: https ://supercomputer. susu.ru/ (accessed: 11.03.2022).
2. Abramov S.M., Zadneprovskiy V.F., Lilitko E.P. Supercomputers "SKIF" series 4. Information technologies and computing systems. 2012. No. 1. P. 3-16.
3. Keras. Documentation. URL: https ://keras . io/guides/ (accessed: 10.02.2022).
4. Tensorflow. Documentation. URL: https://www.tensorflow.org/ (accessed: 10.02.2022).
5. Slurm. Documentation. URL: https : // slurm . schedmd . com/documentation . html (accessed: 10.02.2022).
6. Kostenetskiy P., Semenikhina P. SUSU Supercomputer Resources for Industry and fundamental Science. 2018 Global Smart Industry Conference (GloSIC), Chelyabinsk, Russia, November 13-15, 2018. IEEE, 2018. P. 1-7. DOI: 10.1109/GloSIC.2018.8570068.
7. Borghesi A., Molan M., Milano M., Bartolini A. Anomaly Detection and Anticipation in High Performance Computing Systems. IEEE Transactions on Parallel and Distributed Systems. 2022. Vol. 33, no. 4. P. 739-750. DOI: 10.1109/TPDS. 2021.3082802.
8. Borisov S.N., Zima A.M., Dyachenko R.A., Elizarov P.V. Review of modern information monitoring systems for data networks. Modern science: Actual problems of theory and practice. Series: Natural and technical sciences. 2019. No. 5. P. 29-34. (in Russian).
9. Lascu O., Brindeyev A., Quintero D.E., et al. xCAT 2 Guide for the CSM System Administrator. 2008. URL: https://www.redbooks.ibm.com/redpapers/pdfs/redp4437.pdf
(accessed: 27.02.2022).
10. SUSU REC AIQT. Application software. URL: http://supercomputer.susu.ru/users/ simulation/ (in Russian).
11. ANSYS. URL: http://ansys.com (accessed: 24.02.2022).
12. LSTC LS-DYNA. URL: http://www.ls-dyna.com/ (accessed: 24.02.2022).
13. FlowVision. URL: https : / / tesis . com . ru / own _ design / flowvision/ (accessed: 24.02.2022).
14. SFTC DEFORM. URL: https : / /tesis . com . ru / с ae _ brands / deform/ (accessed: 24.02.2022).
15. MATLAB. URL: https://www.mathworks.com/ (accessed: 24.02.2022).
16. OpenFOAM. URL: https://www.openfoam.com/ (accessed: 24.02.2022).
17. Shepelev V., Zhankaziev S., Aliukov S., et al. Forecasting the Passage Time of the Queue of Highly Automated Vehicles Based on Neural Networks in the Services of Cooperative Intelligent Transport Systems. Mathematics. 2022. Vol. 10, no. 2. Article 282. DOI: 10 . 3390/mathl0020282.
18. Alhumaima A., Abdullaev S. Tigris basin landscapes: Sensitivity of vegetation index ndvi to climate variability derived from observational and reanalysis data. Earth Interactions. 2020. Vol. 24, no. 7. P. 1-18. DOI: 10.1175/EI-D-20-0002.1.
19. Bartashevich E., Sobalev S., Matveychuk Y., Tsirelson V. Simulation of the compressibility of isostructural halogen containing crystals on macro- and microlevels. Journal of Structural Chemistry. 2021. Vol. 62. P. 1607-1620. DOI: 10.1134/S0022476621100164.
20. Matveychuk Y.V., Bartashevich E.V., Skalyova К.К., Tsirelson V.G. Quantum electronic pressure and crystal compressibility for magnesium diboride under simulated compression. Materials Today Communications. 2021. Vol. 26. P. 101952. DOI: https://doi.org/10. 1016/j.mtcomm.2020.101952.
21. Zybin S.V., Morozov S.I., Prakash P., et al. Reaction Mechanism and Energetics of Decomposition of Tetrakis(l,3-dimethyltetrazol-5-imidoperchloratomanganese(II)) from Quantum-Mechanics-based Reactive Dynamics. Journal of the American Chemical Society. 2021. Vol. 143, no. 41. P. 16960-16975. DOI: 10.1021/j acs. Ic04847.
22. Mirzoev A.A., Ridnyi Y.M. Ab initio calculation of total energy of a bcc iron cell containing three dissolved carbon atoms, and internal friction in Fe-C solid solutions. Journal of Alloys and Compounds. 2021. Vol. 883. P. 160850. DOI: https://doi.Org/10.1016/j .jallcom. 2021.160850.
23. Fomin D.G., Dudarev N.V., Darovskikh S.N. Duplexer Based on Volumetric Modular Technology. 2021 IEEE 22nd International Conference of Young Professionals in Electron Devices and Materials (EDM), Souzga, the Altai Republic, Russia, June 30-July 4, 2021. IEEE, 2021. P. 97-100. DOI: 10.1109/EDM52169.2021.9507637.
24. Sokolinsky L.B., Sokolinskaya I.M. VaLiPro: Linear Programming Validator for Cluster Computing Systems. Supercomputing Frontiers and Innovations. 2021. Vol. 8, no. 3. P. 5161. DOI: 10.14529/j sf i210303.
25. Zymbler M., Grents A., Kraeva Y., Kumar S. A Parallel Approach to Discords Discovery in Massive Time Series Data. Computers, Materials and Continua. 2021. Vol. 66, no. 2. P. 1867-1876. DOI: 10.32604/cmc . 2020.014232.
26. Zymbler M., Ivanova E. Matrix Profile-Based Approach to Industrial Sensor Data Analysis Inside RDBMS. Mathematics. 2021. Vol. 9, no. 17. Article 2146. DOI: 10.3390/ math9172146.
27. Ignatova A.V., Dolganina N.Y., Sapozhnikov S.B., Shabley A.A. Aramid fabric surface treatment and its impact on the mechanics of yarn's frictional interaction. PNRPU Mechanics Bulletin. 2017. No. 4. P. 121-137. URL: https://ered.pstu.ru/index.php/ mechanics/article/view/118.
28. Dolganina N.Y., Teleshova E.A., Semenikhina P.N. Development of Supercomputer Model of Needle-Punched Felt. 2020 Global Smart Industry Conference (GloSIC), Chelyabinsk, Russia, November 17-19, 2020. IEEE, 2020. P. 1-6. DOI: 10 . 1109/GloSIC50886 .2020 . 9267856.
29. Mayer A.E., Ebel A.A., Al-Sandoqachi M.K. Plastic deformation at dynamic compaction of aluminum nanopowder: Molecular dynamics simulations and mechanical model. International Journal of Plasticity. 2020. Vol. 124. P. 22-41. DOI: https://doi.0rg/lO.lOl6/j . ijplas.2019.08.005.
30. Ivanov V.A. Micromechanical model of representative volume of powders material. Bulletin of the South Ural State University. Series: Metallurgy. 2021. Vol. 21, no. 3. P. 67-81. DOI: 10.14529/met210308.
31. Vetoshkin N., Radchenko G. Towards the Fog Computing PaaS Solution. 2020 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (US-BEREIT), Yekaterinburg, Russia, May 14-15, 2020. IEEE, 2020. P. 0516-0519. DOI: 10. 1109/USBEREIT48449.2020.9117791.
32. Kirsanova A.A., Radchenko G.I., Tchernykh A.N. Fog Computing State of the Art: Concept and Classification of Platforms to Support Distributed Computing Systems. Supercomputing Frontiers and Innovations. 2021. Vol. 8, no. 3. P. 17-50. DOI: 10.14529/j sf Í210302.
33. Pustokhina I.V., Pustokhin D.A., Vaiyapuri Т., et al. An automated deep learning based anomaly detection in pedestrian walkways for vulnerable road users safety. IEEE Transactions on Parallel and Distributed Systems. 2021. Vol. 142, no. 4. P. 105356. DOI: 10.1016/ j.ssci.2021.105356.
34. Kuzmin A.D., Ivanov S.A. Transfer Learning for the Russian Language Speech Synthesis. 2021 International Conference on Quality Management, Transport and Information Security, Information Technologies (IT QM IS), Yaroslavl, Russian Federation, September 6-10, 2021. IEEE, 2021. P. 507-510. DOI: 10.1109/ITQMIS53292.2021.9642715.
35. Strueva A.Y., Ivanova E.V. Student Attendance Control System with Face Recognition Based on Neural Network. 2021 International Russian Automation Conference (RusAuto-Con), Sochi, Russian Federation, September 5-11, 2021. IEEE, 2021. P. 929-933. DOI: 10.1109/RusAutoCon52004.2021.9537386.
36. Fedorov A., Nikolskaia K., Ivanov S., et al. Traffic flow estimation with data from a video surveillance camera. Journal of Big Data. 2019. Vol. 6. Article 73. DOI: 10.1186/s40537-019-0234-z.
