CC BY
14
УДК 519.68, 681.3.016
ТЕХНОЛОГИИ РАСПРЕДЕЛЕННЫХ СИСТЕМ ХРАНЕНИЯ ДАННЫХ ДЛЯ РАСЧЕТНОГО МОДЕЛИРОВАНИЯ
МАТЕРИАЛОВ
А. М. Захаров1, М.А. Казарян2, А. В. Обходский1, А. С. Попов1
В работе рассмотрен способ структурирования экспериментальных данных для применения в программных комплексах моделирования материалов. Для обмена данными между узлами сети предложен унифицированный транспортный файл - UTF. При проведении исследований алгоритмов структурирования данных оценивалась скорость поиска данных в системе хранения в условиях растущего объема информации в базе.
Ключевые слова: программный комплекс, моделирование материалов, система хранения данных, разнородные данные.
Введение. При проведении экспериментальных исследований в области компьютерного моделирования материалов генерируются терабайты выходных данных. Они включают: физические константы, данные о времени и месте проведения эксперимента, расчетные константы для моделирования, результаты моделирования, сохраняемые в виде файлов, исходные данные, включающие базисные наборы для описания атомных ор-биталей, исполняемые файлы программ квантово-химических расчетов, транспортные файлы с метаданными эксперимента.
Для оптимизации аппаратных ресурсов хранения и организации доступа к экспериментальным данным используются специализированные подходы к хранению и структурированию данных, например, сетевые хранилища или системы хранения данных (СХД) на основе СУБД [1,2].
В рассматриваемом решении СХД разделяет экспериментальные данные между базой данных пользователя и внешним сервером хранения данных по команде пользователя. Внешний сервер хранения данных обеспечивает пользователя дополнительными
1 Национальный исследовательский Томский политехнический университет, 634034 Россия, Томск, пр-т Ленина, 30.
2 ФИАН, 119991 Россия, Москва, Ленинский пр-т, 53; e-mail: kazar@sci.lebedev.ru.
ресурсами памяти, которые могут быть задействованы для уменьшения нагрузки на ЭВМ пользователя. Использование этой архитектуры позволяет отдельным узлам СХД эффективно работать под управлением разных операционных систем [3, 4].
При проведении экспериментальных исследований для формирования запросов многопараметрического поиска экспериментальных данных в базе и организации взаимодействия между узлами СХД использовался специализированный программный модуль хранения данных [5, 6]. Структурная схема модуля приведена на рис. 1.
Рис. 1: Структура программного модуля хранения данных.
База данных программного комплекса моделирования материалов состоит из таблиц, каждая из которых описывает отдельные особенности эксперимента. При проведении экспериментов по моделированию свойств материалов методом Хартри-Фока-Рутаана в базу, в таблицу Original-Material, заносятся порядковый номер эксперимента, химическая и рациональная формулы. В таблицу Designed-Material сохраняются рассчитанные в ходе эксперимента свойства материала: пластичность, хрупкость, плотность, ссылки на файлы с рассчитанными параметрами 2-D и 3-D визуализации результатов эксперимента.
В состав базы данных материалов входит набор таблиц, содержащий исходные данные для моделирования, в том числе: таблица Methods - содержит информацию о расчетных методах, название метода, ссылки на файл с описанием метода, файл с расчетными параметрами и исполняемый файл для расчета свойств материалов. В таблице Basises находится идентификатор используемого базисного набора, ссылки на файл с расчетными коэффициентами базиса и исполняемый расчетный файл базиса. В таблице Operators хранятся ссылки на файлы математических операторов для вычисления значений свойств материалов.
Для установления соответствия между таблицами с результатами расчетов и исходными метаданными в базе установлены поля-ключи, которые формируют вспомогательные таблицы связи. Например, запись в таблице связи Original Material-has_Methods включает параметры эксперимента: номер, химическую и рациональную формулы материала, название расчетного метода. Эта запись создает перекрестную ссылку между таблицей Original Material и расчетной таблицей Methods. Таблицы связи введены для всех таблиц базы данных, по ним осуществляется поиск проведенных экспериментов по набору критериев.
Для передачи результатов экспериментов между серверами хранения данных используются транспортные xml-файлы эксперимента (UTF) [7, 8]. Структура UTF повторяет структуру базы данных. Файл содержит данные из таблиц Original Material, Designed Material, Original Material-has-Researchers, Original Material-has-Methods, Original Material-has-Basises, Original Material-has-Operators.
Экспериментальные исследования СХД включали оценку быстродействия модуля хранения при поиске данных в условиях растущего объема базы. Результаты исследований представлены на рис. 2.
15000
\ 12500
к
8 юооо
щ
В 7500
Я
| 5000
CD
И 2500
°0 6000 12000 18000 Объем базы данных, число записей
Рис. 2: Быстродействие СХД для локального и внешнего сервера.
Сетевое взаимодействие модуля хранения с системой управления базой данных во многом зависит от пропускной способности сети и от характеристик используемых сетевых устройств. Разработанный модуль хранения данных в среднем позволяет уменьшить время доступа к СУБД по сети на 30% по сравнению с клиентскими программами, в которых используются стандартизованные драйверы доступа к СУБД.
Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации. Соглашение о предоставлении субсидии RFMEFI57814X0095 от 28.11.2014 г.
ЛИТЕРАТУРА
[1] Lu Jiang-Feng, Wang Chun-Yi, Hu Jie, Energy Procedia 16, 883 (2012).
[2] E. J. Lingerfelt, A. Belianinov, E. Endeve, O. Ovchinnikov, Procedia Computer Science 80, 2276 (2016).
[3] Ylber Januzaj, Jaumin Ajdari, Besnik Selimi, Procedia - Social and Behavioral Sciences 195, 1851 (2015).
[4] Y. Deng, Journal of Network and Computer Applications 32(5), 1064 (2009).
[5] Prasad Teli, Manoj V. Thomas, K. Chandrasekaran, Procedia Technology 24, 1558 (2016).
[6] G. Fedak, H. He, F. Capello, Journal of Network and Computer Applications 32(5), 961 (2009).
[7] Jun-Ki Min, Chun-Hee Lee, Chin-Wan Chung, Information and Software Technology 50, 462 (2008).
[8] L. Catani, Nuclear Instruments and Methods in Physics Research 586(3), 444 (2008).
Поступила в редакцию 20 октября 2016 г.
