CC BY
71
УДК 004.652
В. Н. Белов, П. П. Макарычев
АНАЛИЗ БАЗЫ ДАННЫХ С ПРИМЕНЕНИЕМ АЛГЕБРЫ КОРТЕЖЕЙ
Аннотация. Рассматривается применение алгебры кортежей для определения возможностей OLAP транзакционной базы данных на примере анализа результатов деятельности сотрудников вуза.
Ключевые слова: алгебра кортежей, оперативный анализ данных, базы данных, С-кортеж.
Abstract. The article describes an approach to determine capabilities of OLAP through the instrumentality of cortege algebra by example of university staff activity results database.
Key words: cortege algebra, OLAP, database, С-cortege.
Введение
Любая организация стремится увеличить эффективность своей деятельности за счет внедрения современных информационных систем и технологий. Как правило, со временем база данных информационной системы организации накапливает существенный объем данных, которые могут быть проанализированы с целью получения новых сведений. Однако при проектировании транзакционных баз данных, как правило, такая возможность не учитывается, соответственно возникает вопрос о применимости и возможностях существующей транзакционной базы данных для анализа данных. Для ответа на данный вопрос используют прототипирование [1]. Как правило, для самых сложных и критичных функций разрабатывается программный код, чтобы определить возможность их реализации. Однако ответ на данный вопрос также может быть получен с помощью исследования схемы базы данных с применением алгебры кортежей (АК), которая дает возможность строить модели обработки данных, позволяя избежать трудозатрат на разработку программного кода.
1. Анализ связей базы данных с помощью АК
АК может использоваться для анализа базы данных различными способами. Часть анализа можно проводить, не углубляясь в структуру отношений, а рассматривая связи между ними. Для этой цели структуру базы данных удобно представить в виде системного графа. Граф, описывающий структуру базы данных результатов деятельности сотрудников вуза, представлен на рис. 1.
Вершины графа F, K, P, L, H соответствуют отношениям «факультет», «кафедра», «сотрудник», «учетные записи», «права доступа». В терминальных таблицах, соответствующих отношениям T1 (кадровый потенциал), T2 (учебная работа), T3 (научная работа), хранятся значения меток шкал для оценки деятельности преподавателей. Отношения D1, D2, D3 соответствуют результатам деятельности. Взаимосвязи между отношениями показаны дугами графа. Данный граф можно представить как С-систему, изоморфную матрице смежности этого графа [2]:
О [ХУ ] =
{ь| {н}
и К}
{к} {р }
{А} {ь Р}
{2 } {^ Р}
{А} {T3, Р}
ь
о
£
На основе С-систем вычислим транзитивное замыкание графа:
о + = о и о 2 и О3 =
{ь| {н |
{Р} {К } ' {Р} {р }
{К } {р } и {А} К }
{А} {ТЪ Р} {21} {К }
{А } {T2, Р} _ {А} К }
{А} {Tз, Р}
{ь| {н |
{Р} {к, р}
{К } {р}
{А} {рь Р, к, Р }
{А} {Т2, Р, к, Р }
{А} {3, Р, к, Р }
■{А} {р}
и {А} {р}
{А} {р}
Транзитивное замыкание графа О + представлено на рис. 2.
Каждый С-кортеж в результирующей С-системе показывает возможности разбиения объектов реального мира, описываемых отношением из первого столбца С-системы, на группы в соответствии с признаками, задаваемыми элементами из второго столбца, а каждый элементарный кортеж соответствует такому варианту разбиения. Таким образом, элементарные кортежи соответствуют простейшему варианту разбиения, а С-кортежи соответствуют более сложному разбиению. Количество элементарных кортежей п, входящих
в С-кортеж, соответствует количеству возможных простейших разбиений и определяет количество возможных более сложных разбиений, равное п!. Используя терминологию многомерной модели данных, можно сказать, что максимальная «степень» композиции графа с самим собой соответствует максимальному уровню измерения, задаваемого отношением во втором столбце, для фактов, задаваемых отношением в первом столбце [3].
ь
о
н6
Рис. 2. Транзитивное замыкание графа базы данных
Данные, полученные с помощью АК, могут быть интерпретированы
в терминах матроидов. С-системы О[ ХУ ] и О + [ ХУ ] позволяют задать матро-
ид графа О+ . Множество элементарных кортежей С-системы О + [ ХУ ] задает
множество дуг графа О +, объединение доменов X и У задает множество вершин графа. Первый элемент каждого элементарного кортежа С-системы
О + [ ХУ ] соответствует началу дуги, а второй элемент элементарного кортежа соответствует концу дуги. Таким образом, можно задать матрицу инцидентности для графа, что позволяет задать соответствующий графовый матроид [4]. Независимые множества матроида будут являться подмножествами множества элементарных кортежей О + [ХУ], соответствующего носителю матроида [5]. Множество элементарных кортежей С-системы О[ ХУ ] задает базис матроида, соответственно ранг матроида в данном случае равен количеству элементарных кортежей С-системы О[ХУ]. Об исследовании базы данных с помощью графового матроида будет написано в следующей статье.
2. Анализ отношений с помощью АК
Каждое отношение может быть представлено в алгебре кортежей как С-система, и становится возможным использование соответствующих операций. Каждое отношение в исследуемой базе данных имеет атрибут, соответствующий суррогатному ключу, обозначаемый как 5^ , где у - имя отношения. Наличие в схемах двух отношений атрибутов, приписанных к одному сорту, позволяет вычислять их композицию и соединение. Для каждого элементарного кортежа С-системы, соответствующей транзитивному замыканию О +, возможно построение частного универсума, определяющего один из вариантов разбиения множества объектов на подмножества с целью проведения ОЬАР. Каждый такой частный универсум может быть получен с помощью операций соединения, перестановки атрибутов и элиминации атрибутов. Так, элемен-
тарному кортежу (К, Е) соответствует отношение Я
8к нк 3/ м/
задающее разбиение кафедр по факультетам, где N - название кафедры,
- название факультета. В структурах АК данное отношение может быть получено следующим образом: для С-системы К 5к5^^
выполним опе-
рацию перестановки атрибута, чтобы преобразовать его в С-систему
К
затем выполним операцию соединения отношения Е
SfNf
и отношения, задаваемого полученной С-системой:
Я-^ Г Sk, #, Sf, Nf
Sf, Nf
К
Sk, ^, Sf
Частный универсум, задаваемый отношением Я^, может быть описан как декартово произведение его атрибутов Я^ = Бк х Ык х Б? х , что позволяет рассматривать его в качестве гиперкуба с измерением Б? и тремя атрибутами информационного назначения. При добавлении в схему отношения
К БкБ?Ык дополнительного атрибута, который может быть использован
в качестве меры, становится возможным ОЬЛР данного гиперкуба для получения более сложной информации, чем вычисление количества кафедр на факультете. При этом алгоритм задания отношения Я^ останется тем же, по-
скольку в этом случае отношение К
может быть получено с по-
мощью элиминации атрибута. Большая часть кортежей данного декартова произведения не будет иметь места в базе данных и может быть задана
С-системой Я. В связи с большим объемом данных, содержащимся в такой системе, фактор наличия возможности использования сокращенного описания в используемой СУБД может быть критичным.
Покажем, как полученная структура АК может быть использована для описания процесса формирования списка кафедр, имеющихся на факультете с названием «ФВТ». Формулировка в АК будет иметь вид
е/к ГSk, #, Sf, Nf ] = [*
{ФВТ}],
где фиктивные компоненты «*», обозначают множества, равные доменам соответствующих атрибутов [2].
Результирующей структурой является С-система, в каждом С-кортеже которой имеется единственный элементарный кортеж, поскольку между атрибутами Бк и Ык имеется функциональная связь.
Таким образом, можно определить С-систему, описывающую разбиение кафедр по факультетам, через объединение входящих в нее С-систем:
т
Я^ = и Бк,Ык, , Ык = [* * 1 Л *],
} =1
где т - количество факультетов в вузе; ] - номер факультета.
Аналогичным образом построим отношения для остальных элементарных кортежей С-системы, соответствующей транзитивному замыканию О+ .
Элементарному кортежу (К,Р) соответствует отношение Л
кр
Ор, Ог, Sk, Sf, ^
, задающее разбиение преподавателей по кафедрам, где
Ыр - имя сотрудника, О - ученая степень, Ор - должность, Ог - ученое звание.
Отношение Якр получается как соединение отношений К и Р :
Л
кр
Бр, Np, Оа, Ор, Ог, Sk, Sf, Nk
= К
Sk, Sf, # ] ® Р Г Sp, Np, Оа, Ор, Ог, Sk
Часто возникает ситуация, при которой возможны различные способы оперативного анализа данных единственного отношения. Рассмотрим отно-
шение Р
Sp, ^, Оа, Ор, Ог, Sk
. Атрибуты О , Ор, Ог определяют тексто-
вое описание соответствующих характеристик. Так уменьшается количество обращений к базе данных и, соответственно, время обработки запроса, что имеет немаловажное значение в информационных системах, ориентированных на транзакционные базы данных. С-система, задающая отношение Р , может быть разбита на составляющее ее С-системы при использовании
Оа, Ор, Ог в качестве измерений гиперкуба, задаваемого отношением
Р Г Бр, Ыр, ОЛ, Ор, Ог, Бк
Допустим, необходимо получить список всех доцентов вуза. Формулировка в АК будет иметь следующий вид:
ер [Бр,Ыр,ОЛ,Ор,ОГ,Бк] = [* * * {доцент} * *] .
Ог, Sk
Тогда С-система, соответствующая отношению Р , может быть представлена как
Бр, Ыр, Оа, Ор, Ог, Бк
Р
= ииОор [ Sp, Np, Оа, Ор, Ог, Sk У=1 г=1 /=1
* d р г °] °і °1
где о у - у -й элемент домена атрибута О ; ор - / -й элемент домена атрибута Ор ; о/> - I -й элемент домена атрибута Ог ; т - кардинальность множества О^ ; п - кардинальность множества Ор ; д - кардинальность множества Ог .
Отношения, соответствующие С-системам, определяющим разбиение результатов деятельности на типы, можно записать следующим образом:
Я
га
?!
Б?, Бр ,У?, 8\, N, Е,и
Б], N, Е ,и
® а
Б?, Бр ,У?, Б]
где У/ - некоторое числовое значение, характеризующее результат деятель-
ности сотрудников вуза, которое может быть агрегировано; N - название вида деятельности сотрудников вуза, к которому относится результат; Е - название подтипа деятельности, к которому относится вид деятельности сотрудников вуза; V - тип пользователя, который является ответственным за учет вида деятельности сотрудников вуза, /е {1,2,3} . В дальнейшем индекс /
будет использоваться для записи отношений
Последовательное соединение нескольких отношений позволяет строить кросс-таблицы. Так, например, результаты деятельности сотрудников вуза удобно представить в виде таблицы, в которой названия столбцов соответствуют видам работ, выполняемых сотрудниками вуза, а названиям строк соответствуют имена сотрудников вуза. В этом случае результатам деятельности сотрудников вуза будут соответствовать ячейки таблицы. Соответствующее отношение может быть получено следующим образом:
Я
Р?1г
Б? ,У?, б! , N, Е,и, Бр, Ыр, О?, ОР, Ог, Бк
= Р
Бр, Шр, О?, ОР, Ог, Бк
® Я
?,ь
Б? ,У?, Б], N, Е ,и, Бр
Произведем соединение полученного отношения с отношением К :
Я
кР?г!г
Б? ,У?, б! , N, Е,и, Бр, Ыр, О?, Ор, Ог, Бк, #
= К
8к8/нк
® Я
р
Б? ,У?, Б], N, Е ,и, Бр, ^р, О?, Ор, Ог, Б
г сік
С помощью полученного отношения можно построить кросс-таблицу, где строки, заголовки которых соответствуют названиям кафедр, будут состоять из множества подстрок, являющегося подмножеством множества строк полученной ранее таблицы:
п
|~* ********** {у} * ^
У —1
где п - количество кафедр в вузе, уе {1, 2,..., п} .
Для каждой такой строки можно вычислить агрегированное значение. Пусть агрегирование производится суммированием, тогда для хранения
агрегированных данных потребуется задать отношение Яа
А,
, где А -
агрегированные значения для кафедр. Агрегированные данные будут представлять собой С-систему, полученную объединением С-кортежей:
О [{«У} М].
} =1
где п - количество кафедр в вузе, у е{1,2,...,п} ; «у е А , «у = '^У1^ ; -
множество всех элементов атрибута С-системы, соответствующей ре-
rлkpditi
зультату выполнения запроса 11 .
Кросс-таблица является одним из возможных способов представления данных, содержащихся в гиперкубе. Для удобства пользователя ОЬЛР-системы предоставляют возможность проведения различных операций для изменения представления данных. Покажем на примере гиперкуба, задаваемого отношением , как АК позволяет моделировать операции ОЬЛР.
К основным операциям ОЬЛР относятся [6]:
- срез;
- вращение;
- консолидация;
- детализация.
Операция среза в АК равнозначна заданию значения одного или нескольких атрибутов отношения. Так, срез по элементу измерения «кафедра» со значением «МОиПЭВМ» и элементу измерения «ученая степень» со значением «доцент» осуществляется реализацией запроса
[******** {доцент} * * * * {МОиПЭВМ}].
Операция вращения, как правило, используется при изменении отображения данных, представленных в виде кросс-таблицы и может рассматриваться как совокупность операций обмена заголовков строк и столбцов местами и изменения порядка элементов с прямого на обратный. При этом вычисляются новые агрегированные значения, соответствующие новой структуре данных. Изменение порядка элементов в АК может быть реализовано в два шага. На первом шаге изменяется порядок вхождения С-кортежей в С-систему, а на втором шаге изменяется порядок элементов, составляющих множество, соответствующее атрибуту, для которого меняется порядок. При обмене заголовков строк и столбцов местами меняется порядок разбиения совокупности данных, входящих в С-систему.
Так, кросс-таблица, где заголовки столбцов соответствуют названиям кафедр и заголовки подстолбцов соответствуют именам сотрудников, а заголовкам строк соответствуют виды работ, может быть получена следующим образом:
п
Rkpditi = |~* * {у} ***********]
У=1
где п - количество видов работ типа i, у е{1, 2,..., п} .
Алгоритм вычисления агрегированных значений при этом остается неизменным.
Операция консолидации возможна при наличии иерархии измерения и осуществляется комбинацией операций соединения отношений, элиминации атрибутов и вычисления агрегированных значений соответствующих фактов некоторым заданным способом. Так, в гиперкубе, задаваемом отношением
Якр?А , имеется измерение, для которого уровню измерения «кафедра» соответствует более высокий уровень «факультет». При выполнении операции консолидации сначала необходимо провести соединение с отношением, соответствующим более высокому уровню иерархии:
Я
АрМ
Б? У?, 8\, N, Е,и, Бр, Ыр, О?, Ор, Ог, Бк, Ык, БА,
БА,Nf 1 ф Якр?! \Б? У?, б!, N1, Е, и, Бр, Np,О?, Ор, Ог, Бк, Nk, БА
Затем выполняется операция элиминации атрибутов, соответствующих более низкому уровню иерархии:
а/зпкяАр?!
Б? У?, Б! , N, Е,и, Бр, ^, О?, Ор, Ог, Бк, ^, БА, Nf
-'г I ^'г ?
На последнем этапе вычисляются новые агрегированные значения.
Осуществление операции консолидации возможно с помощью других алгоритмов, модель выполнения которых также можно построить с помощью АК.
Операция детализации производится аналогично операции консолидации с учетом того, что более высокий уровень иерархии заменяется более низким уровнем.
Аналогичным образом выполнение операций ОЬЛР может быть показано на других данных.
Гиперкуб, задаваемый отношением ЯАр?*! , содержит данные обо всех результатах деятельности одного типа сотрудников вуза.
Поскольку частный универсум, задаваемый декартовым произведением
Б? хБ! хУ? хБр хNp хО? хОр хОг хБк х^ хБА хNf хN хЕхи, может содержать значительно большее число элементов, чем С-система, соответствующая отношению ЯАр?*!, и требует для своего задания осуществления нескольких операций соединения, то при реализации сложных запросов к гиперкубу, задаваемому данным отношением, логично разбивать их на простые запросы. Так, запрос, формирующий список сотрудников факультета ФВТ, прошедших научную стажировку, может быть сформулирован как
Б?, Б3 ,У3?, Бр, Np, О?, Ор, Ог, Бк, Nk, БА, Nf, N3, Е,и
{ФВТ} {научная_стажировка} * *].
При этом реализация может иметь вид п ЯАр,?ъ3ъ, однако это
потребует выполнения четырех операций соединения отношений, данные которых не были отфильтрованы, либо наличия сохраненного отношения
ЯАр?ъ3ъ . В первом случае для обработки данных потребуется большое коли-
чество вычислительных операций и оперативной памяти, а во втором случае в базе данных будет храниться большой объем избыточных данных. Однако в первом случае количество требуемых вычислительных ресурсов можно сократить, осуществляя операции среза перед соединением:
2) б?
Sf,И? = [* {ФВТ}] п Я? [,И?
8к, мк, sf,
Sf, Nf ] ф К [ Sk, Ык, Sf
=03?
sp, ^, ор, ог, sk, #, sf, Sk, Ык, Sf, Ы? 1 ф Р [ sp, ^, о^, ор, ог, sk
4) 03 S3,N3, Е,и =[* * научная_стажировка *]П
ПТз [ s3, N3, Е ,и
5) б^3
>3, sp ,Уз1, s3, N3, Е,г
= б23
S3, N3, Е ,и
Ф03
s3d, sp ,у/, s3
6) б^313
s3d, s3 ,у/, sp, ^, о^, ор, ог, Sk, #, Sf, Ш?, N3, Е ,и
=02^3/3
3 >°3>К3 >
S3d ,У/, s3, N3, Е ,и, Sp
3
фб3
sp, ^, оа, оp, ог, sk, ^к, sf,
Все доступные для анализа данные можно объединить в один ОЬЛР-куб, в котором определены измерения Б?,Б?,Б?,Б{,Б2,Б3,Бр,О?,Ор, Ог,Бк,БА,Е,и и меры У?,У2,У3? :
Я
Jkpdt
Sld, S2d, Sзd, s1t, s2, s3, У^, У2*, ^, sp, ^,
о1d, о^5, ог, Sk, Ик, Sf, , N, N2, N3, Е ,и
и Я
І=1
sf, Sti ,У?, sp, ^, оd, оp, ог, sk, #, sf, , N, Е,и
Данный гиперкуб можно использовать для моделирования наиболее сложных операций обработки данных, однако при реализации запросов необходимо помнить о возможности оптимизации, представленной выше.
3. Анализ сортов атрибутов с помощью АК
Подходы, рассматривающие только связи между отношениями, и их атрибуты не дают возможности определить все доступные варианты анализа данных. Их можно дополнить с помощью анализа сортов атрибутов отношений. Рассмотрим права доступа к данным в отношениях базы данных.
Определим отношение, задающее права всех пользователей системы:
Я
Л
Sh, S ,и, В, Sl, N, А
= ь
Sl, N, А
)И
Sh, S ,и, В, sl
где У - имя сотрудника; А - данные, необходимые для идентификации и аутентификации; Б - значение, равное значению атрибута, соответствующего суррогатному ключу одного из отношений ^, К, Р ; В - значение, определяющее отношение, значение суррогатного ключа которого определяет значение Б .
Атрибуты Бк, БА, Бр, Б приписаны к одному сорту:
Бк и БА и Бр = Б .
Соответственно возможно выполнение операций соединения отношений, содержащих атрибут Б , и отношений, содержащих атрибуты
Бк, БА, Бр .
Таким образом, отношение, соответствующее С-системе данных определенного типа, доступных пользователю, может быть получено с помощью АК.
На первом этапе получим С-системы, соответствующие правам доступа пользователей к данным факультетов, кафедр и сотрудников:
1) 01
S, Sh ,и, В, Sl, N, А
S, Sh ,и, В, Sl, N, А
S, Sh ,и, В, Sl, N, А
=[*
=*
=[*
{факультет} {кафедра} * {сотрудник}
Над полученными С-системами проведем операции добавления фиктивных атрибутов:
5) б '2
6) б '3
S, sf У?, Sгt, N1, Е, Sh ,и, ^, о11, о^5, ог, У, И?, В, Sl, У, А
S, Sf ,y■d, ^, N1, Е, Sh ,и, Np, Od, оp, ог, ^, Nf, В, Sl, Nl, А
S, Sd ,y■d, Stt, N,Е, Sh ,и, Np, оd, Op, ог,Nk,^, В, Sl, У, А
Проведем операции перестановки, элиминации атрибутов и добавления
фиктивных атрибутов над С-системой, задаваемой отношением Я
7) Я{
Sf, ^ ,Уi■d, ^, У, Е ,и, Np, Od, о^5, ог, Nk, Nf, В, Sl, У, А
S) Rf^i 9) R^fkpditi
Sk, sd ,Vd, st, Nj, E ,U, Np, Od, Op, O’, Nk, Nf, B, Sl, Nl, A Sp, Sd ,Vd, St, Nt, E ,U, Np, Od, Op, O’, Nk, Nf, B, Sl, Nl, A
Вычислим С-системы, определяющие доступные данные в зависимости от значений множества, соответствующих атрибуту U, определяющему, от имени какого типа пользователя осуществляется доступ к данным:
10) Q^fkpditi _ Q '|h П R^fkPditi •
11) QhfkPditi _ Q 2 П RfPditi •
12) Q^fkPditi _ Q 3 П R3fkPditi •
13) Q^fkPditi _ Q^fkPditi у Q^hfkPditi у Q^fkPditi
Полученные С-системы для каждого i определяют OLAP-кубы, разделяющие доступ к данным в зависимости от пользователя системы.
Заключение
Таким образом, с помощью АК можно рассмотреть все возможности OLAP для транзакционной базы данных и принять решение о разработке соответствующих программных средств. В случае, если исследованных возможностей OLAP недостаточно, имеет смысл принять решение о разработке специального хранилища данных и исследовать его структуру с помощью АК, чтобы убедиться в соответствии возможностей анализа потребностям организации. При заполнении разработанного хранилища данных возможности OLAP транзакционной базы могут быть использованы при организации ETL-процесса. Таким образом, определение возможностей OLAP с помощью АК на этапе проектирования позволяет принимать решение о разработке, минуя часто встречающийся и трудоемкий этап прототипирования.
Список литературы
1. Overmyer, S. P. Revolutionary vs. Evolutionary Rapid Prototyping: Balancing Software Productivity and HCI Design Concerns / S. P. Overmyer // Proceedings of the Fourth International Conference on Human-Computer Interaction. - Elsevier Science, 1991. - P. 303-307.
2. Кулик, Б. А. Вероятностная логика на основе алгебры кортежей / Б. А. Кулик // Моделирование и анализ безопасности и риска в сложных системах - 2005 : труды Международной научной школы (28 июня - 1 июля 2005 г.). - СПб. : Изд-во СПбГУАП, 2005. - С. 406-412.
3. Педерсен, Т. Б. Технология многомерных баз данных / Т. Б. Педерсен, К. С. Йенсен // Открытые системы. - 2002. - № 1. - С. 45-50.
4. Липский, В. Комбинаторика для программистов : пер. с польск. / В. Липский. -М. : Мир, 1988. - 200 с.
5. Харари, Ф. Теория графов / Ф. Харари. - М. : Мир, 1973. - 300 с.
6. Барсегян, А. А. Методы и модели анализа данных: Data Mining, Visual Mining, Text Mining, OLAP / А. А. Барсегян, М. С. Куприянов, В. В. Степаненко, И. И. Холод. - СПб. : БХВ-Петербург, 2004. - 336 с.
Белов Вадим Николаевич
аспирант, Пензенский государственный университет
E-mail: oracool@gmail.com
Макарычев Петр Петрович
доктор технических наук, профессор, заведующий кафедрой математического обеспечения и применения ЭВМ, Пензенский государственный университет
E-mail: makpp@yandex.ru
Belov Vadim Nikolaevich Postgraduate student, Penza State University
Makarychev Petr Petrovich Doctor of engineering sciences, professor, head of sub-department of computer application and software,
Penza State University
УДК 004.652 Белов, В. Н.
Анализ базы данных с применением алгебры кортежей / В. Н. Белов, П. П. Макарычев // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2011. - № 3 (19). - С. 25-36.
