CC BY
1568. Ashby M. F. Engineering Materials 1. An Introduction to Properties, Applications and Design / M.F. Ashby, D.R. Jones. —Burlington: Elsevier Butterworth — Heinemann, 2005. — 409 р.
9. Кобылянский Г.П. Радиационная стойкость циркноия и сплавов на его основе. Справочные материалы по реакторному материаловедению / Г.П. Кобылянский, А.Е. Новоселов, — Димитровград: ГНЦ РФ НИИАР, 1996.
10. Влияние неопределенности исходных данных на оценку долговечности оболочки твэла при переменном режиме эксплуатации / М.В. Максимов, С.Н. Пелых, О.В. Маслов, В.Е. Баскаков // Ядерная и радиационная безопасность. — 2009. — Вып. 2.
11. Ивещение 320.3793 об изменении 320.00.00.00.000 Д61, ФГУП ОКБ «Гидропресс».
12. Королёв А.В., Комарова-Ракова Я.О. Исследование возмож-ности получения «магне-газа» из водно-угольной смеси. Ядерна енергетика та довшлля. 2016. Вып. 2(8). С. 64-65.
13. Комарова-Ракова Я.О. Получение магнегаза в отработанных угольных шахтах и использование его в пиковых нагрузках энергосистемы. Ядерна енергетика та довкшля. 2018. Вып. 1(11). С. 69-71.
14. Дубковский В.А, Комарова Я.О, Королёв А.В. Повышение маневренности ядерных энергоблоков путем производства магнегаза во время снижения электропотребления. ISSN 20736231. Ядерная и радиационная безопасность 3(83).2019
СОВРЕМЕННЫЕ ПОДХОДЫ К ПОСТРОЕНИЮ ХРАНИЛИЩ ДАННЫХ
Кошлич А.Д.
Магистрант 2-года обучения по направлению «Программная инженерия» Брянский государственный технический университет, Россия, г. Брянск
Гулаков К.В.
к.т.н., доцент каф. «Информатика и программное обеспечение» Брянский государственный технический университет, Россия, г. Брянск
MODERN APPROACHES TO BUILDING DATA WAREHOUSES
Koshlich A.
2rd years magister "Computer science and software", Bryansk State Technical University, Russia, Bryansk
Gulakov K.
Associate professor, candidate of technical sciences "Computer science and software",
Bryansk State Technical University, Russia, Bryansk
АННОТАЦИЯ
В статье приводится обзор современных подходов к построению ХД, применяемых для интеллектуального хранения и использования данных. Рассматриваются сходства, различия и возможности, выявленные в результате практического исследования.
ABSTRACT
This article is devoted to the review of modern approaches to creating data warehouses. Data warehouses are used to intelligently store and use data. The article discusses the similarities and differences. Special attention is paid to the possibilities of different approaches to building data warehouses.
Ключевые слова: хранилища данных, якорное моделирование, нормализация, 6NF, свод данных, темпоральные базы данных, гибкая разработка.
Keywords: data warehouses, anchor modeling, normalization, 6NF, data set, temporal databases, agile development.
Интеллектуальное хранение данных и их дальнейшее использование в современном мире уже стали неотъемлемой частью успешно развивающегося бизнеса. Для этой цели существуют хранилища данных.
Поддержка и развитие хранилищ данных -сложная, требующая длительного времени и подверженная ошибкам задача. Основная причина заключается в том, что среда хранилища данных постоянно меняется, а само хранилище должно обеспечивать стабильный и согласованный интерфейс для доступа к информации, охватывающей расширенные периоды времени. Источники, предоставляющие данные для хранилища, постоянно меняются
со временем, причем с различной частотой. Также меняются аналитические и отчетные потребности в поиске информации.
С целью решения данной проблемы создавались различные методы построения ХД. Ранее наибольшей популярностью пользовались подходы Кимбалла и Инмона. Но бизнес-требования к информационным системам продолжают расти и в настоящее время популярность обрели такие подходы как Data Vault и Anchor Modeling. Два названных подхода имеют сходства и различия, о них речь идет в данной работе.
Во второй части подробнее рассмотрен процесс моделирования и построения хранилища по
методологии Anchor Modeling, а также возможности такого хранилища.
1. Концепция построения хранилища данных
Процедура построения ХД включает следующие этапы (Рис. 1).
»Определение состава •Описание (онтологии)
Формализациия
Построение структуры ХД
•Anchor • Data Vault
>Разработка ETL
Загрузка данных
> Многомерная модель •Табличная модель
Сб
да
источников
Рис. 1. Этапы построения хранилища данных
Формализация источников подразумевает изучение источников для будущего хранилища и их описание на понятном проектировщику языке.
Построение структуры ХД происходит на основе выбранного подхода. Выбор подхода зависит от потребностей, которым модель должна удовлетворять.
ETL (Extract, Transform, Load) - извлечение, трансформация и загрузка данных. Написание ETL-процессов является важной задачей, необходимой для поддержания целостности и корректности данных, попадающих в хранилище из различных источников.
Сборка витрин данных осуществляется для обеспечения возможности анализа собранных данных.
Текущая статья направлена на рассмотрение подходов ко второму этапу. В будущем планируется создание программы для его автоматизации на основе одного из подходов. В статье представлены особенности подходов, а также приводится перечень предложений по автоматизации.
1.1. Технологии построения структуры хранилища данных
Data Vault представляет собой набор связанных между собой нормализованных таблиц, ориен-тирован-ных на хранение детализированной информации с возможностью отслеживания происхождения данных и под-держивающих одну или несколько областей бизнеса. [1] Это гибридная технология, вобравшая в себя достоинства от схем 3NF и Звезда. Дизайн Data Vault гибок, расширяем, отличается последовательностью и легкой адаптируемостью к изменяющимся потребностям компании.
Anchor Modeling был создан для того, чтобы воспользоваться преимуществами высокой степени нормализации базы данных и избежать его недостатков. Это технология создания базы данных, подходящая для информации, которая со временем изменяется как по структуре, так и по содержанию. [2]
В ходе исследования были построены две модели данных на основе одного и того же источника
с применением двух разных методов моделирования: Anchor Modeling и Data Vault. Были выявлены сходства, различия, а также особенности процесса проектирования хранилищ данных вышеназванными методами.
Сущности
Data Vault и Anchor Modeling основаны на использовании схожих сущностей для моделирования. Так якоря в Anchor Modeling наиболее близки по смыслу к хабам Data Vault. Главным отличием является то, что хабы хранят бизнес-ключи, в то время как якоря всегда находятся в 6NF и при необходимости имеют бизнес-ключи в виде атрибутов (отдельные таблицы, так же в 6NF). При нормализации сателлитов Data Vault до 6NF получаются таблицы аналогичные атрибутам Anchor Modeling. В отличие от атрибутов, сателлиты не обязательно сильно нормализованы. Ссылки и связи так же выполняют схожую роль. Ключевым отличием является то, что ссылки Data Vault могут иметь собственные сателлиты, а в Anchor Modeling атрибуты могут быть только у якорей.
Графическая нотация
Anchor Modeling создавался вместе с собственной графической нотацией. Воспользоваться ей можно бесплатно через инструмент моделирования на официальном сайте [3]. Полученная диаграмма содержит изображения сущностей, не отображая внутреннюю структуру таблиц, поскольку структура таблицы для каждой сущности является фиксированной.
Графическая нотация для Data Vault появилась значительно позднее, чем сам метод. Использование данной нотации является условно бесплатным: скачать шаблон бесплатно можно, заполнив форму на сайте [4], но он предназначен только для использования в программе Microsoft Visio, которая является платной. Диаграмма так же содержит изображения сущностей, не раскрывая структуру таблиц. Такой вариант может оказаться не вполне удобным, поскольку проектировщик самостоятельно принимает решение о структуре большинства таблиц, и они далеко не всегда находятся в 6NF. Для большей
наглядности при моделировании Data Vault часто используют ER-диаграммы в нотации UML. Простота моделирования Anchor Modeling предназначен для моделирования не только хранилищ данных, но и обычных баз данных. В простейшем случае, от проектировщика требуется разделить исходные данные на связанные объекты и их свойства, что, как правило, не вызывает затруднений. Вся литература и видеоуроки находится в открытом доступе на официальном сайте [5], также авторы методологии отвечают на вопросы на форуме. Для желающих доступны платные курсы.
Data Vault создавался непосредственно для моделирования хранилищ данных. Такое моделирование тесно связано с бизнес-логикой предприятия, что требует от проектировщика некоторой степени вовлеченности. Также для принятия оптимальных решений о структуре некоторых таблиц, например, сателлитов, проектировщику потребуется опыт в проектировании и разработке хранилищ данных. В открытом доступе можно найти небольшое количество обучающей литературы, официальные источники [6], как правило, ссылаются на платные курсы. Программные инструменты Инструмент для Anchor Modeling имеет открытый исходный код. С его помощью можно построить графическую модель и на ее основе сгенерировать SQL-код на создание базы данных, всех необходимых представлений и триггеров.
Существует ряд инструментов для автоматизации моделирования Data Vault, но все они являются платными, поэтому их возможности не рассматриваются в данной работе.
2. Создание якорного хранилища данных 2.2. Структура таблиц В качестве источника для построения тестового хранилища используется образец базы данных Adventure Works [11]. Для текущего исследования был взят фрагмент «Продажи посредников».
Якорная схема может быть автоматически переведена в схему реляционной базы данных с помощью ряда правил. Формализация правил может быть найдена в источнике [7].
Каждый якорь переводится в таблицу, содержащую один столбец. Доменом для этого атрибута является набор идентификаторов (будет использоваться набор целых чисел). Имя таблицы - это якорь, а имя столбца - это сокращение якоря с суффиксом _ID. К примеру, якорь PR_Product будет преобразован в таблицу PR_Product (PR_ID).
Узел переводится в двоичную таблицу, в которой один столбец содержит значения узла, а другой - идентификатор узла. Например, узел GEN_Gender переведен в таблицу GEN_Gender (GEN_ID, GEN_Gender).
Каждый атрибут преобразуется в отдельную таблицу, содержащую столбец для идентификаторов и столбец для значений. Если атрибут является статическим, результирующая таблица является двоичной. Например, статический атрибут EM_BIR_Employee_BirthDate будет преобразован в таблицу EM_BIR_Employee_BirthDate (EM_ID,
EM_BIR_Employee_BirthDate). Первичный ключ таких таблиц (в данном случае EM_ID) - это внешний ключ, относящийся к столбцу идентификаторов привязываемой таблицы (EM_Employee.EM_ID), которая обладает атрибутом.
Если атрибут узловой, второй столбец также содержит внешний ключ. Например, узловой атрибут EM_GEN_Employee_Gender будет переведен в таблицу EM_GEN_Employee_Gender (EM_ID, GEN_ID), где GEN_ID - это внешний ключ, ссылающийся на столбец GEN_Gender.GEN_ID.
Таблицы, соответствующие историзирован-ным атрибутам, содержат, кроме того, третий столбец для хранения моментов времени, в которые значения атрибутов становятся действительными. Если, например, сущность
EM_FNA_Employee_FName является историзиро-ванным атрибутом (как в нашем примере), он будет переведен в таблицу EM_FNA_Employee_FName (EM_ID, EM_FNA_Employee_FName,
EM_FNA_ChangedAt). Это делается аналогичным образом для узловых историзированных атрибутов.
Наконец, связи преобразуются в таблицы с первичными ключами, состоящими из подмножества внешних ключей, на которые ссылается связь. Например, статическая связь
VA_wasUsed_SA_atSale транслируется в таблицу VA_wasUsed_SA_atSale (VA_wasUsed, SA_atSale). Логика перевода историзированных, узловых статических и узловых историзированных связей похожа на принципы историзированных, узловых статических и узловых историзированных атрибутов. Аналогично для преобразования в реляционную якорная схема может быть переведена в XML. Пример этого показан в [8].
Все якоря, узлы и атрибуты дадут таблицы 6NF; единственные конструкции в якорной модели, которые могут привести к появлению таблиц не-6NF - это связи.
2.3. Представления и функции
Из-за большого количества таблиц и обработки темпоральных данных при создании якорной базы данных автоматически добавляется слой абстракции в виде представлений и функций, чтобы упростить запросы к якорной базе данных. Они де-нормализуют якорную базу данных и извлекают данные с заданной временной перспективой. Есть три различных типа функций, введенных для каждой якорной таблицы, соответствующий наиболее часто встречающимся запросам: последнее состояние, точка-во-времени, и интервальная функция. Представления и функции для таблиц связей создаются способом, аналогичным таковому для якорных таблиц.
Полное представление
Полное представление якорной таблицы - это ее денормализация и связывание с ней таблицы атрибутов. Она создается путем левого внешнего соединения таблицы якоря со всеми связанными с ней таблицами атрибутов.
Последнее представление
Последнее представление якорной таблицы -это представление, основанное на полном представлении, в которое включены только самые последние значения для атрибутов с историей. Представление используется, чтобы ограничить результирующие строки только теми, которые содержат последнюю версию. Названия таких представлений имеют префикс 1 в рассматриваемом примере.
Функция момента времени
Функция «точка во времени» - это функция для якорной таблицы с точкой времени в качестве аргумента, возвращающего набор данных. Он основан на полном представлении, где для каждого атрибута включено только его последнее значение перед или в данный момент времени.
Интервальная функция
Интервальная функция - это функция для якорной таблицы, принимающая два момента времени в качестве аргументов и возвращающая набор данных. Она основана на полном представлении, где для каждого атрибута включены только значения между заданными моментами времени.
2.4. Создание таблиц
Поскольку каждый элемент якорной модели имеет четкую заранее определенную структуру в физической модели, получить 8рЬ-скрипт на создание таблиц возможно в автоматизированном режиме при помощи вышеназванного инструмента. Таким образом, после построения графической модели получаем готовый 8рЬ-код, который остается только запустить. После выполнения получаем готовую базу данных.
2.5. Загрузка данных из источника
При загрузке данных в якорную базу данных используется стратегия нулевого обновления. Это означает, что разрешены только вставки, и что данные всегда добавляются, а не обновляются. Если в модели существуют непостоянные сущности или отношения, их необходимо смоделировать с помощью элемента, хранящего состояние непостоянства, а не удаления строк. Операторы удаления разрешены только для удаления ошибочных данных.
Если нулевая стратегия обновления используется вместе с должным образом поддерживаемыми метаданными, всегда можно найти строки, которые принадлежат определенному пакету, пришли из определенной исходной системы, были загружены определенным счетом или были добавлены между некоторыми заданными датами. Вместо того, чтобы запускать систему устранения неисправностей при каждом добавлении данных, ее можно подготовить и использовать только после обнаружения ошибки. Поскольку ничего не было обновлено, внесенные ошибки имеют форму строк, и их легко найти. Можно создать сценарии, которые позволяют удалять ошибочные строки независимо от того, когда они были добавлены.
Исключение обновлений дает преимущество с точки зрения производительности из-за их более высокой стоимости по сравнению с операторами вставки. При отсутствии обновлений также отсутствует блокировка строк, что снижает влияние на
производительность чтения при записи в базу данных.
При создании якорной базы данных были автоматически созданы представления. Всю дальнейшую работу с хранилищем следует осуществлять через них.
Существуют два подхода к написанию ETL-процедур: 1) их можно написать вручную на основе инструкции T-Sql Merge; 2) можно воспользоваться специализированными средствами, например SQL Server Data Tools (SSDT) для Visual Studio.
3. Автоматизация Anchor Modeling
3.1. Автоматизация моделирования
Некоторое время назад Хуан-Хосе ван дер
Линден создал сценарий, который преобразовывает базу данных в модель Anchor. Сценарий опубликован в официальном сообществе [9]. Отмечается, что данная работа еще не завершена, и в будущем она будет дополнена новыми функциями.
Автор обращает внимание, что сценарий будет использовать статистику столбцов, чтобы определить, следует ли создавать узлы, поэтому первый запуск может занять много времени. Существующая статистика будет использована повторно, поэтому второй запуск скрипта происходит намного быстрее. Скрипт пытается определить связи на основе первичных ключей и соответствующих имен столбцов.
В результате применения сценария к произвольной базе данных генерируется xml-файл с якорной моделью, который может быть открыт официальным инструментом для генерации скрипта на создание базы данных. Историзировано всё, кроме бизнес-ключей.
На текущий момент, в официальном источнике отмечаются следующие ограничения данного скрипта:
• Создает только двоичные связи.
• Не обрабатывает составные первичные ключи.
• Пропускает связи таблицы с той же таблицей.
Следует также отметить, что данный сценарий представляет собой SQL-код, а не полноценное приложение. Дополнительно выделим следующие возможности, которые могут быть добавлены путем создания приложения с графическим интерфейсом:
• Исключение из модели отдельных таблиц источника.
• Возможность генерации модели на основе нескольких источников.
• Учет мнения пользователя по созданию узлов.
• Учет мнения пользователя по именованию таблиц.
• Учет мнения пользователя по историзации атрибутов и связей.
3.2. Автоматизация заполнения данными. Заполнение узлов.
Также в источнике [9] доступен скрипт, который может быть использован для получения кода
загрузки узла на основе данных, сохраненных в описаниях узлов модели в результате запуска приведенного выше скрипта. На вход требуется предоставить имя базы-источника, а также адрес xml-документа с якорной моделью. Полученный код работает аналогично приведенному в пункте 4.4.
Существуют готовые инструменты и библиотеки для заполнения Anchor-модели данными. Например, Sisula ETL-Framework [10], позволяющий загружать данные в ХД. Например, следующий сценарий, размещенный в [9], можно использовать для создания сопоставлений источника и назначения для использования с инфраструктурой ETL Sisula на основе данных, сохраненных в описаниях атрибутов в модели после выполнения сценария выше.
4. Возможности якорной модели 4.1. Изменение структуры источника Добавление поля
В случае, если в таблице-источнике появляется поле, которое требуется ввести в уже существующее якорное хранилище, необходимо провести расширение хранилища, которое якорная модель поддерживает. Модели, построенные на основе методологии Anchor Modeling могут безопасно менять свою структуру и расширяться. Приведем несколько примеров возможного развития модели. [6] Удаление поля
Как было сказано выше, операция удаления в Anchor Modeling не применяется. Таким образом, если из таблицы-источника удаляется поле, в хранилище остается соответствующая таблица. Поскольку отсутствие NULL-значений является одной из основных особенностей данной методологии, из
ETL процесса необходимо будет исключить таблицу, соответствующую удаленному полю источника.
4.2. Историзация таблиц фактов
Anchor Modeling обеспечивает синтаксические элементы для поддержки темпоральности не только таблиц измерений, но и таблиц фактов, как для атрибутов (историзированные атрибуты), так и для связей (историзированные узловые связи).
В рассматриваемом примере только один якорь связан с таблицей фактов - SA_Sale. В якоре и его атрибутах хранится информация об уже произведенных продажах. Таблица фактов хранит информацию об уже совершенных и выполненных сделках, поэтому все элементы являются статическими.
Однако, в данном случае, не учитывается, что заказ может подлежать возврату со стороны покупателя после попадания в хранилище. В других подходах, возможно, это не является проблемой, т.к. применяется удаление записей. В нашем случае, данные могут только добавляться, а возвращенные заказы продолжат принимать участие в аналитике. Проблема решается добавлением нового историзированного атрибута, хранящего статус заказа. Так как в статусе может храниться лишь небольшое ограниченное число значений (выполнен, отменен), сделаем его узловым (рис. 2). Данный подход позволит не только распознавать возвраты при аналитике, но и впоследствии разом удалить все записи, помеченные соответствующим статусом, в качестве ошибочных, если такое решение будет принято.
Рис. 2. Фрагмент хранилища после добавления узлового историзированного атрибута
SA_STT_Sale_Status
4.3. Техника устранения таблиц
За счет особенностей структуры якорной модели, к ней применима функция оптимизации запросов современных механизмов баз данных, которая называется устранением таблиц. Современные оптимизаторы запросов используют этот метод автоматически. На практике это означает, что таблицы, содержащие невыбранные атрибуты в запросах, автоматически удаляются.
Благодаря тому, как создаются индексы и внешние ключи в базе данных, исключение таблиц используется в полной мере в представлениях и
табличных функциях, эффективно повышая производительность в якорных базах данных. Повышение производительности увеличивается с увеличением количества таблиц, которые могут быть устранены благодаря меньшему количеству данных, которые необходимо читать и меньшего числа соединений, которые необходимо выполнять. В якорных базах данных с высокой степенью декомпозиции эти выгоды часто бывают существенными, поскольку многие таблицы могут быть исключены, а оставшиеся таблицы содержат небольшое число столбцов.
В ходе исследования был проведен эксперимент, который показал что часть таблиц была исключена из плана выполнения, что очень положительно сказывается на производительности при выборке из крупных представлений.
Выводы
В статье были рассмотрены современные подходы к построению хранилищ данных.
В рамках исследования было спроектировано и построено хранилище данных с использованием методологии Anchor Modeling. В качестве источника данных использовалась база данных Adventure Works.
В процессе проектирования и заполнения таблиц была выявлена высокая степень точности правил и принципов методологии Anchor Modeling. Несмотря на это, процесс создания даже небольшого хранилища занимает достаточно много времени и требует многократного выполнения однотипных действий. При этом полученная модель демонстрирует гибкость и достаточно высокий потенциал по различным параметрам: была опробована техника устранения таблиц, а также продуман сценарий расширения модели.
Таким образом, создание инструмента, позволяющего автоматизировать процесс построения хранилищ данных на основе методологии Anchor Modeling можно считать востребованным направлением для дальнейшей работы. Авторы методологии также ведут работу в данном направлении, но
полноценного инструмента в настоящий момент не существует.
Литература
1. McCartney В., - Data Integration and Warehousing using the Data Vault / B. McCartney. - Alberta Data Architects, Calgary. - 2017.
2. Rönnbäck L., Anchor Modeling - Agile Information Modeling in Evolving Data Environments / L. Rönnbäck, O. Regardt. - 2010.
3. [Электронный ресурс]. -http://www.anchormodeling.com/modeler.
4. [Электронный ресурс]. -http://www.visualdatavault.com
5. [Электронный ресурс]. -http://www.anchormodeling.com
6. [Электронный ресурс]. -https://danlinstedt.com
7. Rönnbäck L., From Anchor Model to Relational Database / L. Rönnbäck, O. Regardt, M. Bergholtz, P. Johannesson, and P. Wohed. - 2010.
8. Rönnbäck L., From Anchor Model to XML / L. Rönnbäck, O. Regardt, M. Bergholtz, P. Johannesson, and P. Wohed - 2010.
9. [Электронный ресурс]. - http://www.anchor-modeling.com/?p=1078
10. [Электронный ресурс]. -https://github.com/Roenbaeck/sisula
11. [Электронный ресурс]. -https://docs.microsoft.com.
ОПТОВЫЕ ЦЕНЫ СВИНЦОВО-ЦИНКОВОЙ РУДЫ
Наниева З.В.
Соискатель, каф. ТАМПП Наниева Б.М. доц., каф. ТМО, Кибизов С.Г.
доц., каф. ТМО, Критская М.Ж.
доц., каф. ОПИ, СКГМИ(ГТУ), г. Владикавказ, РСО-Алании
WHOLESALE LEAD ZINC ORE PRICES
Nanieva Z.
Job seeker TAMPP department Nanieva B. Assoc., Department of TMO, Kibizov S. Assoc., Department of TMO, Cretan M.
Assoc., Department of Industrial Engineering, SKGMI (GTU),
Vladikavkaz, North Ossetia-Alania
АННОТАЦИЯ
Рассматриваются запасы и оптовые цены свинцово-цинковой руды и сопутствующих металлов Ми-зурской, Садонской и Квайсинской обогатительных фабрик, определение стоимости воспроизводства свинцово-цинковых руд и сопутствующих металлов в этих рудах в настоящее время ABSTRACT
The stocks and wholesale prices of lead-zinc ore and associated metals of the Mizur, Sadon and Kvaisinsky concentrating plants are considered, the cost of the reproduction of lead-zinc ores and related metals in these ores is currently determined
