CC BY
27Journal of Siberian Federal University. Engineering & Technologies 1 (2009 2), 49-58
УДК 004.62:004.92
Методы управления и геоинформационного моделирования в технологии OLAP
Л.Ф. Ноженкова*, А.А. Евсюков, А.И. Ноженков
Институт вычислительного моделирования СО РАН, 660036 Россия, Красноярск, Академгородок1
Получена 11.06.2008, окончательный вариант 15.10.2008, принята к печати 10.03.2009 Представлены методы оперативной аналитической обработки данных на основе интеллектуальных средств управления OLAP-моделированием. Предложены средства метаописания сложных комплексов OLAP-моделей, что позволило реализовать управление расчетами и автоматизировать обработку данных с применением эвристик. Описаны средства оперативного тематического геоинформационного моделирования для визуализации результатов OLAP-анализа.
Ключевые слова: обработка данных, OLAP-анализ, OLAP-модель, геоинформационное моделирование.
Введение
Технология оперативной аналитической обработки многомерных данных OLAP (On-line Analytical Processing) [1] - быстро развивающееся направление интеллектуального анализа данных. На сегодняшний день существует достаточно большое количество программных продуктов, реализующих функции OLAP-анализа. Такие крупные компании, как Hyperion Solutions Corp., IBM, Oracle, Microsoft, Sybase, Panorama Software, Cognos Inc. и другие, ведут разработки в этой области, их решения охватывают практически все существующие задачи. Из отечественных разработчиков следует отметить BaseGroup Labs, Intersoft Lab., а также Институт открытых систем при Ивановском городском энергетическом университете и Институт вычислительного моделирования СО РАН. В программных продуктах реализованы различные способы хранения многомерных структур, средства быстрого извлечения и представления информации, средства быстрого создания приложений. Тенденции развития функциональности OLAP-продуктов в настоящий момент лежат в области создания продуктов класса data mining для постобработки данных, развития средств картографической и трехмерной визуализации данных, веб-сервисов для OLAP-приложений, а также средств, позволяющих расширить область применения OLAP за счет новых подходов к решению сложных прикладных задач.
Наибольшее применение эта технология получила в бизнес-сфере для решения оперативных задач, каждая из которых, как правило, укладывается в рамки одного куба. При этом классические OLAP-продукты малоэффективны для использования в задачах, где необходим комплексный анализ данных, связанный с реализацией сложных аналитических алгоритмов. Методы расчета аналитических показателей и решения задач планирования в здравоохранении, образовании и других областях организационного управления представляют собой сложные многошаговые процессы анализа многомерных данных. Возникает необходимость их поэтапной обработки средствами OLAP. Потребовался новый подход в
Corresponding author E-mail address: [email protected] © Siberian Federal University. All rights reserved
ОЬЛР-технологии, ориентированный на решение сложных аналитических задач, использующих связные многошаговые расчеты с множеством информационных объектов.
Применение ОЬЛР-технологии для сложных территориально ориентированных задач требует развития функций оперативного геоинформационного моделирования. Необходимо не просто визуализировать результаты ОЬЛР-анализа, но и отображать процесс оперативной обработки, выполнять динамическое формирование тематических картографических слоев.
Новый подход к решению разнообразных задач с применением ОЬЛР-технологии основан на построении комплексов так называемых ОЬЛР-моделей [2-6]. В статье изложены результаты работ по развитию технологии ОЬЛР-моделирования в направлении наглядного представления сложных методик, автоматизации управления расчетами и оперативного геоинформационного моделирования результатов. Представлены средства онтологического описания сложных комплексов ОЬЛР-моделей и управления расчетами, позволяющие автоматизировать применение экспертных методов, в частности эмпирических критериев согласования и балансировки расчетных показателей [7, 8]. Описаны методы оперативного геомоделирования результатов ОЬЛР-анализа путем динамического формирования картографических слоев, основанные на картографической привязке многомерных данных ОЬЛР-системы к территориальным объектам ГИС [9, 10].
Построение управляемых комплексов OLAP-моделей
Новый подход в ОЬЛР-технологии ориентирован на решение сложных аналитических задач, использующих связные многошаговые расчеты с множеством информационных объектов, представленных многомерными кубами данных. На рис. 1 схематически показан процесс решения сложной задачи путем реализации комплекса так называемых ОЬЛР-моделей. Термин "ОЬЛР-модель" введен для повышения наглядности описания сложных задач путем разложения на более простые [3, 4].
Построение комплекса ОЬ АР-моделей
Рис. 1. Схема построения комплексов ОЬЛР-моделей
ОЬЛР-модель строится пользователем и несет в себе описательную информацию о решении некоторой аналитической задачи. ОЬЛР-модель М можно представить в виде
M = (X, G, V(X,G), Q(G), I, J(G)).
Здесь X - дискретное множество входных данных - витрина данных;
G = (D, F) - гиперкуб - модель логического многомерного представления данных, характеризующаяся двумя наборами параметров - измерениями и показателями;
D = (di, ¿2,..., dm) - измерения гиперкуба: каждое измерение представляет собой упорядоченное множество значений определенного типа. Измерения могут быть организованы в виде составной иерархии;
F = (fi,f2,...,fn) - показатели (меры) гиперкуба: каждый показатель представляет множество значений, количественно характеризующих анализируемый процесс;
ty(X,G) - функции, описывающие построение элементов гиперкуба G: показателей F и измерений D, исходя из множества входных данных X;
Q(G) - операции над гиперкубом: Q = (с (G,p(F, fi(dj))), V (G,d1 ...dn, R(G, где C(G, p(F, fi,(di))) - агрегирование гиперкуба по иерархии атрибутов выбранного измерения - преобразование G к гиперкубу меньшей мощности за счет агрегирования показателей p(F, n(di)) с учетом отношения иерархической зависимости fi(dj) атрибутов измерения dj. В качестве функции р агрегирования показателей могут выступать, например, min, max, сумма и др.
V (G, di,..., dn) - срез гиперкуба G по измерениям di,... ,dn - операция получения подмножества гиперкуба в результате фиксации подмножеств значений di,... ,dn измерений di, . . . , dn соответственно.
R(G) - операция поворота гиперкуба, которая изменяет порядок измерений в гиперкубе.
I = (T, K, L, H, y(T, K, L, H)) - модель логического представления результатов вычисления OLAP-модели.
Она включает формы представления результатов модели: T - таблицы, K - кросс-таблицы, L - диаграммы, H - карты и y(T, K, L, H) - операции над ними: фильтрация, сортировка таблиц, перемещение, ротация строк и столбцов таблицы, фильтрация, сортировка кросс-таблиц, группировка данных, сортировка, разбиение на сегменты диаграмм, фильтрация карт.
J(G) = (T, a(T)) - операция сохранения гиперкуба в таблицу агрегатов. Операция применяется к представлению гиперкуба в виде таблицы, или кросс-таблицы.
a(T) - преобразование наименований в код, наложение внешних ключей, удаление таблицы агрегатов перед вставкой данных - операции по трансформации таблицы агрегатов.
К характеристикам OLAP-модели относятся: мощность измерения, мощность, размерность и объем гиперкуба. Количество элементов измерения есть мощность измерения. Мощность гиперкуба - произведение мощностей его измерений. Объемом гиперкуба называется произведение мощности куба и количества показателей.
OLAP-модель состоит из исходных данных - витрины данных, информационного куба, операций над ним и способов представления результатов вычисления. Важным моментом построения модели является возможность сохранения в источнике данных результатов расчета. Такой подход позволяет применять поэтапный процесс анализа данных, то есть анализировать ранее полученные результаты.
Для автоматизации поэтапного анализа модели объединяются в комплексы (см. рис. 2). Перед созданием комплекса моделей задачу необходимо декомпозировать на подзадачи таким образом, чтобы каждая подзадача могла быть представлена OLAP-моделью [3]. В рамках одного расчета модели образуют последовательно выполняемую цепочку, при этом данные, рассчитанные одной моделью, в дальнейшем используются другими моделями. Таким
образом, ОЬЛР-модели образуют комплекс моделей, а их связи осуществляются через наследование информации.
Рис. 2. Схема исполнения комплекса ОЬЛР-моделей Выполнение комплекса аналитических моделей сопровождается так называемым интерактивным аналитическим экспериментом, т. е. возможно вмешательство пользователя в выполнение расчета для модификации параметров и настройки отдельной модели.
Рис. 3. ОЬЛР-модели в задачах анализа и планирования медицинской помощи в
здравоохранении
На рис. 3 представлен фрагмент расчета комплекса ОЬЛР-моделей для задачи формирования территориальной программы государственных гарантий оказания бесплатной медицинской помощи жителям Красноярского края [7]. Это задача ежегодного планирования объемов и видов медицинской помощи в регионе. Для автоматизации этого процесса построено более сорока ОЬЛР-моделей. Формирование территориальных программ требует многовариантных расчетов и балансировки показателей, рассчитываемых ОЬЛР-моделями.
Чтобы повысить наглядность построения и расчета комплексов ОЬЛР-моделей для сложных задач, обеспечить управление расчетами и многовариантные расчеты, разработаны средства метаописания комплекса моделей с применением онтологии [8].
Онтология комплекса ОЬЛР-моделей имеет вид
и = (Ш, У, К), где Ш - описание моделей, У - отношения между моделями, К - условия применения и коррекции моделей.
Описание ОЬЛР-модели задается в виде кортежа:
М: <витрина данных>; <назначение модели>; <результат>.
Описание каждой модели в базе знаний формируется автоматически, с помощью специально разработанного программного обеспечения, на основе системного описания модели, которое формируется в процессе ее интерактивного создания.
Основной вид отношений между правилами - отношение информационной зависимости моделей Ы\ ^ М2 - используется для построения цепочек расчета ОЬЛР-моделей. Дополнительно могут использоваться отношения альтернативности моделей, информационной независимости и др.
Условия применения моделей описываются с помощью правил следующего вида.
К1: ЕСЛИ Р {/и/2,../п), ТО ВЫПОЛНИТЬ М / ИЗМЕНИТЬ М
Здесь К\ - уникальное в базе знаний имя правила. /1, /2,/п - показатели, заданные как результаты расчета какой-либо модели или заданные в витрине как исходные данные. Каждый показатель представляет собой многомерный куб, описанный в витрине данных соответствующей ОЬЛР-модели. Предикат Р задается в виде логико-лингвистического выражения. Операция ВЫПОЛНИТЬ М в правой части правила Д1 интерпретируется как выполнение расчета ОЬЛР-модели М. Если в процессе логического вывода правило Д1 применяется, то это приводит к расчету показателей - результатов модели М. Как следствие, должны быть пересчитаны все информационно зависимые ОЬЛР-модели. Операция ИЗМЕНИТЬ М в правой части правила интерпретируется как переход к интерактивному процессу коррекции модели М.
В качестве примера рассмотрим правило:
И1: ЕСЛИ (Объем финансирования расчетный < Объем финансирования выделенный) И (Нормативы объемов помощи на тысячу населения < Нормативы объемов помощи на тысячу населения РФ)
ТО ВЫПОЛНИТЬ Увеличить обеспеченность .медпомощи в сельских районах
Интерпретация этого правила заключается в том, что многомерные показатели Объем финансирования расчетный, Объем финансирования выделенный, Нормативы объемов помощи на тысячу населения, Нормативы объемов помощи на тысячу населения РФ ска-лярно сравниваются по измерениям - в данном случае по видам и профилям медицинской помощи. Действие в правой части правила заключается в выполнении ОЬЛР-модели Увеличить обеспеченность медпомощи в сельских районах.
Алгоритмы формирования и расчета комплексов ОЬЛР-моделей реализованы на основе использования представленного в базе знаний онтологического метаописания ОЬЛР-
моделей. Управление процессом расчета выполняется на основе правил, а также с учетом действий пользователя. Пользователь может интерактивно изменить или заменить любую ОЬЛР-модель, вследствие чего изменяется системное представление ОЬЛР-модели. Пользователь также может изменить условия ее применения, изменив метаописание в базе знаний. Процедура логического вывода учитывает оба варианта. При этом автоматически исследуются возможные изменения расчета и строятся новые цепочки моделей для расчета показателей.
Средства оперативного географического моделирования
В основе механизма динамической связи многомерных данных ОЬЛР-системы к пространственной информации ГИС лежит картографическая привязка данных, позволяющая устанавливать соответствие между результатами оперативного аналитического моделирования и географическими объектами [9].
На основе таблиц источника данных ОЬЛР-системы осуществляется построение информационного гиперкуба, формируются аналитические объекты, описывающие предметную область: показатели и измерения. Для осуществления картографической привязки в гиперкубе выделим географическое измерение ] .
Для построения тематической карты зафиксируем значения измерений ] С Б : = = ] , г = 1,т и из Г выберем показатель, который будет отображаться на карте: ]* = f *(]*, ¿*2,...,],..., ]*т), где ]* ,]*,..., ¿т - фиксированные значения измерений (метки), кроме ], которое не фиксировано и соответственно может принимать любое значение из своей области определения. Построение множества значений показателя ]* определим как операцию среза над гиперкубом данных О по всем фиксированным измерениям.
Для отображения значений показателя ]* определим электронную карту Н = {Ь,Б}, где Ь = {Ь\, ¿2,..Ьр} - множество картографических слоев; $ = (в!, в2,..., вд) - упорядоченное множество значений свойств отображения карты.
Слой Ьг определяется как Ьг = {Ог, Т.Аг(Ог,Тг), Р.\}, где Ог = (о!,о2,... ,о^г) - упорядоченное множество территориальных объектов заданного типа;
Т = (¿1 ,£2,..., ) - упорядоченное множество атрибутивных свойств слоя - полей атрибутивной таблицы Аг;
Аг(Ог,Тг) - атрибутивная таблица, элементы которой а?'к определены значениями из набора Тг для каждого объекта из Ог, здесь ] = определяет строки таблицы, а к = 1, дг - столбцы таблицы (поля);
Рг = {Вг,Сг} - легенда слоя, здесь Вг = (Ь!,Ь2,... ) - упорядоченное множество значений свойств слоя, Сг = (с!,с2,..., ) - упорядоченное множество классов разбиения множества объектов Ог слоя Ьг.
Привязка географического измерения ] осуществляется к одному или нескольким картографическим слоям. Пусть Ь' С Ь - подмножество слоев, к которым осуществляется привязка, и мощность его \Ь' = 1\. Каждый слой содержит атрибутивную таблицу А'г, г = 1,1, в одном из полей таблицы , к* € [1,дг] хранится множество идентификаторов объектов слоя. Если значение идентификатора а^'кг € ], ] = 1, /¿, то к объекту о{ можно построить картографическую привязку значения показателя ]*. Используя картографическую привязку данных, устанавливается соответствие между территориальными объектами карты и географическим измерением гиперкуба ].
Чтобы значения показателя ]* отобразить в виде тематической карты, необходимо построить легенду тех слоев, к объектам которых выполнена картографическая привязка. При построении легенды используются методы тематического картографирования, позволяющие объекты слоя разбить на классы на основе соответствующих значений анализируемого показателя. Для того чтобы на карте различать объекты разных классов, для каждого класса задается ряд настроек отображения: цвет объектов, цвет контура и тип заливки объектов для площадного слоя, условное обозначение (символ) объектов для точечного слоя, состояние (видимые, скрытые или мигающие объекты). Построенная в результате картографической привязки многомерных данных тематическая карта является отображением значений анализируемого показателя f * из среза гиперкуба данных по всем измерениям, кроме географического измерения !.
Помимо инструментов построения легенды для представления результатов ОЬЛР-анализа в программную реализацию средств оперативного геомоделирования включен блок управления многомерными данными. Блок управления включает в себя список аналитических показателей, доступных для построения тематических карт, а также фильтр многомерных данных. При изменении анализируемого показателя и фиксированных измерений происходит переформирование классов привязанных к многомерным данным слоев и выполняется построение тематической карты.
На рис. 4 представлен пример построения тематической карты: отображена рождаемость населения по территориям Красноярского края. Картографическая привязка данных осуществлена к картографическим слоям "города" и "районы". Территориальным объектам со светлой раскраской соответствуют более низкие показатели рождаемости, раскрашенным темнее - более высокие.
Для реализации оперативной работы с территориальными объектами, меняющими свое местоположение, предлагается метод динамического формирования картографических слоев на основе содержимого таблиц из источников данных ОЬЛР-системы и топографических
Рис. 4. Отображение рождаемости в Красноярском крае
картографических слоев [9]. Наполнение формируемого слоя - его пространственная и атрибутивная информация - создается на основе содержания выбранной таблицы источника данных ОЬАР-системы. Обозначим выбранную таблицу Т. Для решения задачи динамического формирования новых картографических слоев разработаны алгоритмы получения пространственной информации, позволяющие найти координаты точек для построения объектов нового точечного, линейного и площадного слоев на основе значений координат таблицы из источника данных ОЬАР-системы или соответствия объектам слоя из топографической основы карты. Если географические координаты содержатся непосредственно в таблице Т, то их можно использовать для формирования нового слоя. При отсутствии необходимой информации о местоположении объектов в таблицах источников данных ОЬАР-системы предлагается формировать координаты точек нового слоя на основе картографической привязки к слоям из топографической основы карты. Для этого необходимо установить соответствие между полем таблицы Т и полем атрибутивной таблицы слоя привязки. Для совпадающих значений формируется объект нового слоя, при этом используются координаты соответствующего ему объекта слоя карты. Атрибутивной информацией слоя является таблица, полученная из строк таблицы Т, по которым сформированы объекты нового слоя. Отметим, что можно динамически сформировать и визуализировать одновременно несколько картографических слоев. ГИС позволяет производить с динамически сформированными слоями те же операции, что и со слоями из топографической основы карты, включая применение методов тематического картографирования.
Рассмотрим пример динамического формирования картографических слоев на основе оперативного аналитического моделирования. На рис. 5 изображен фрагмент карты Боль-шемуртинского района Красноярского края. Тематическая карта дает представление о планах реорганизации сети медицинских учреждений. Для визуализации планирования реорганизации сети медицинских учреждений каждому учреждению присваивается статус: "без изменений", "модифицировано", "закрыто", "открыто". Динамически формируются слои медицинских учреждений на основе информации об их принадлежности населенным пунктам [10].
Рис. 5. Планирование реорганизации сети медицинских учреждений Обозначения: - центральные районные больницы, И - участковые больницы, - амбулатории, ® - фельдшерско-акушерские пункты, • - населенные пункты. Для формирования новых слоев могут быть использованы таблицы агрегатов, содержа-
щие агрегированные данные, прошедшие предварительную обработку. Это позволяет сформировать новый слой не только на основе собранных статистических данных, но и на основе аналитических результатов. Использование таблиц агрегатов для динамического формирования картографических слоев является отличительной особенностью средств оперативного геомоделирования в OLAP-системе по сравнению с традиционными геоинформационными системами.
Заключение
Средства управления OLAP-моделированием позволяют наглядно представлять процесс построения и выполнения комплекса OLAP-моделей, редактировать алгоритм расчета и интерактивно управлять процессом. Обеспечивается возможность не только автоматизировать расчетные задачи, но и реализовать эвристические и эмпирические методы, как, например, согласование результатов расчета нормативов объемов медицинской помощи и нормативов финансирования в планировании медицинской помощи.
На основе интеграции OLAP и ГИС реализована технология оперативного геомоделирования для решения территориально ориентированных задач в реальном времени. Интеграция ГИС и OLAP-системы способствует повышению наглядности представления результатов аналитической обработки данных, сочетая ее с геомоделированием. Возможности динамической связи картографических объектов с многомерными данными существенно расширяют функциональность как OLAP-системы, так и встроенной в систему ГИС. В результате интеграции OLAP-система приобретает дополнительные возможности наглядного представления многомерных данных, ГИС - инструментарий формирования аналитических запросов для построения тематических карт.
Средства управления OLAP-моделированием и оперативного геомоделирования нашли применение в решении таких важных задач здравоохранения, как анализ сети медицинских учреждений, ежегодное планирование медицинской помощи, анализ состояния социальной помощи и многих других. Средства оперативного геомоделирования применяются также в системах поддержки принятия решений по предупреждению природных и техногенных чрезвычайных ситуаций [11].
Работа выполнена при поддержке гранта Президента для ведущих научных школ № НШ-3431.2008.9.
Список литературы
[1] Codd, E.F. Providing OLAP. On-line Analytical Processing to User-Analists: An IT Mandate / E.F. Codd, S.B. Codd. - C. T. Salley, E. F. Codd & Associates, 1993.
[2] Виноградов К.А. Информационные технологии в управлении региональным здравоохранением / К.А. Виноградов, Е.Е. Корчагин, М.И. Никитина, Л.Ф. Ноженкова. -Красноярск.: КМИАЦ, 2004. - 312 с.
[3] Вайнштейн Ю.В. Планирование медицинской помощи с применением аналитических OLAP-моделей /Ю.В. Вайнштейн // Вестник Томского государственного университета. Серия "Математика. Кибернетика. Информатика". - Приложение №8470, 9(II). -Томск: ТГУ, 2004. - С. 16-22.
[4] Ишенин П.П. Инструментальные средства построения комплексов моделей и аналитических приложений в OLAP-технологии: автореф. дис. канд. техн. наук: 05.13.11. / П.П. Ишенин. - Красноярск: ИВМ СО РАН, 2006. - 24 с.
[5] Ноженкова Л.Ф. Технологические решения в системах поддержки территориального управления / Л.Ф. Ноженкова // Врач и информационные технологии. - 2004. - №12.
[6] Жучков Д.В. Применение технологии хранилищ данных в территориальных органах управления здравоохранением / Д.В. Жучков // Материалы IV Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям. - Красноярск: ИВМ СО РАН, 2003.
[7] Ноженков А.И. Формирование территориальных программ медицинской помощи на основе интеллектуальных средств управления OLAP-моделированием: автореф. дис. канд. техн. наук: 05.13.01. / А.И. Ноженков. - Красноярск: ИВМ СО РАН, 2007. - 20 с.
[8] Ноженков А.И. Интеллектуальные средства OLAP-моделирования в задачах планирования медицинской помощи // Открытое образование (Приложение). - Красноярск: ООО "Экспресс-Офсет". - 2006. - С. 156-160.
[9] Евсюков А.А. Средства оперативного геомоделирования в информационно-аналитических системах: автореф. дис. канд. техн. наук: 05.13.11. / А.А. Евсюков. -Красноярск: ИВМ СО РАН, 2007. - 23 с.
[10] Евсюков А.А. Оперативное геомоделирование сети медицинских учреждений / А.А. Евсюков, Л.Ф. Ноженкова // Вестник КрасГАУ, № 13. - Красноярск: КрасГАУ, 2006. - С.114-118.
[11] Ноженкова Л.Ф. Средства построения систем поддержки принятия решений по предупреждению и ликвидации ЧС / Л.Ф. Ноженкова, С.В. Исаев, В.В. Ничепорчук, А.А. Евсюков, Р.В. Морозов, А.А. Марков// Проблемы безопасности и чрезвычайных ситуаций. №4. - М.: 2008. - С. 46-54.
Methods for Control and Geoinformation Modeling in OLAP-Technology
Ludmila F. Nozhenkova, Alexander A. Evsyukov
and Alexander I. Nozhenkov
Institute of Computational Modeling SB RAS Akademgorodok, Krasnoyarsk, 660036 Russia
In this paper, on-line analytical processing methods based on intellectual control means for OLAP-modeling are presented. Meta-description means of complex OLAP-model systems are suggested, that allows automating of calculation control and data processing with using of heuristics. On-line geoinformation modeling facilities to visualize the results of OLAP-analysis are described.
Key words: data processing, OLAP-analysis, OLAP-model, geoinformation modeling.
