Научная статья на тему 'Создание модели хранилища данных корпоративной информационноаналитической системы предприятии'

Создание модели хранилища данных корпоративной информационноаналитической системы предприятии Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
486
123
i Надоели баннеры? Вы всегда можете отключить рекламу.
i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Создание модели хранилища данных корпоративной информационноаналитической системы предприятии»

«самостоятельно реализованного программного проекта». Поэтому все лабораторные, курсовые и дипломные работы, магистерские диссертации должны быть ориентированы, прежде всего, на предоставление студенту такой возможности.

Изучение программирования - одновременно и простое (относительно), и сложное, а учебный процесс по изучению объектно-ориентированных технологий накопил целый ряд противоречий объективного и субъективного характера.

Литература

1. Савчук И. Почему объектно-ориентированное программирование провалилось? http://citforum.ru/gazeta/165/

2. Роберт Лафоре, Объектно-ориентированное программирование в C++. - Питер, 2008. - 923 с.

3. Лобачев А.А, Куликова О.В. Выбор языка для обучения программированию / Информационные технологии в образовании. XVIII Международная конференция-выставка: Сборник трудов участников конференции. Ч. VI. - М.: МИФИ, 2008.

4. Буч Г. Объектно-ориентированный анализ и проектирование. - СПб.: Бином, 1998.

5. Буч Г. Объектно-ориентированный анализ и проектирование приложений на Си++. -М.: Бином; СПб.: Невский диалект, 2001. -560с.

УДК 004.4

СОЗДАНИЕ МОДЕЛИ ХРАНИЛИЩА ДАННЫХ КОРПОРАТИВНОЙ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКОЙ СИСТЕМЫ ПРЕДПРИЯТИИ

Лучкин Николай Анатольевич, аспирант, Омский государственный технический университет,

Россия, Омск, [email protected]

Введение

К настоящему времени во многих организациях накоплены колоссальные объемы данных, на основе которых можно решать самые разнообразные аналитические и управленческие задачи в любой сфере деятельности. Проблемы хранения и обработки аналитической информации становятся все более актуальными и привлекают внимание специалистов и фирм, работающих в области информационных технологий.

В идеале работа аналитиков и руководителей различных уровней должна быть организована так, чтобы они могли иметь доступ ко всей интересующей их информации, а также пользоваться удобными и простыми средствами представления и работы с этой информацией. Именно на достижение этих целей и направлены информационные технологии, объединяющиеся под общим названием хранилища данных.

Для предоставления необходимой для принятия решений информации обычно приходится собирать данные из нескольких транзакционных баз данных различной структуры и содержания. Основная проблема при этом состоит в несогласованности и противоречивости этих баз-источников, отсутствии единого логического взгляда на корпоративные данные. Решением этой проблемы является хранилище данных. В основе концепции хранилищ данных лежит важная идея интеграции ранее разъединенных детализированных данных, содержащихся в исторических архивах, накапливаемых в традиционных системах, поступающих из внешних источников, в единую базу данных.

В общем виде архитектура корпоративной информационно-аналитической системы описывается схемой с тремя выделенными слоями (рис.1): извлечение, преобразование и загрузка данных; хранение данных; анализ данных (рабочие места пользователей).

Технология функционирования системы заключается в следующем. Данные поступают из различных внутренних транзакционных систем, от подчиненных структур, от внешних организаций в соответствии с установленным регламентом, формами и макетами отчетности. Вся эта информация проверяется, согласуется, преобразуется и помещается в хранилище и витрины данных. После этого пользователи с помощью специализированных

36

инструментальных средств получают необходимую им информацию для построения различных табличных и графических представлений, прогнозирования, моделирования и выполнения других аналитических задач. В следующих разделах рассмотрим подробнее каждый из слоев.

Рис. 1 - Архитектура корпоративной информационно-аналитической системы 1. Извлечение, преобразование и загрузка файлов

В качестве источников информации для хранилища могут использоваться базы данных внутренних транзакционных систем, информационные системы подчиненных организаций, данные, поступающие из внешних организаций.

С организационной точки зрения, данный слой включает подразделения и структуры организации всех уровней, поддерживающие базы данных оперативного доступа. Он представляет собой низовой уровень генерации информации, уровень внутренних и внешних информационных источников, вырабатывающих “сырую” информацию. Эта информация является рабочей для повседневной деятельности различных подразделений, которые ее вырабатывают и используют.

С системно-технической точки зрения данный слой представлен ЛВС всех подразделений всех уровней, к которым подключены специализированные технические комплексы, хранящие информацию. В качестве таких технических комплексов могут выступать: серверы реляционных баз данных на базе компьютеров под управлением Windows NT, Unix и др.; файловые серверы, на которых установлена какая-либо система обработки данных или сетевая версия СУБД; персональные компьютеры с локальными персональными базами данных или файлами. Из источников данных информация перемещается на основе некоторого регламента в централизованное хранилище. Как правило, необходимые для хранилища данные не хранятся в окончательном виде ни в одной из транзакционных систем.

37

Кроме того, несмотря на различную функциональную направленность, исходные транзакционные системы часто «пересекаются» по данным, т.е. их локальные базы данных содержат однотипную по смыслу информацию. Это касается нормативно-справочной информации, которая используется в том или ином виде в любой оперативной системе. Перед загрузкой в хранилище вся эта информация должна быть согласована, чтобы обеспечить целостность и непротиворечивость аналитических данных.

Согласование данных необходимо и при загрузке данных из одного источника. В хранилище хранятся исторические данные, т.е. данные за достаточно большой промежуток времени. В оперативной системе данные хранятся в целостном виде за ограниченный промежуток, после чего они отправляются в архив. При изменениях в структуре или собственно данных архивы не подвергаются никакой дополнительной обработке, а хранятся в исходном виде.

Таким образом, загрузка данных из источников в хранилище осуществляется специальными процедурами, позволяющими:

■ извлекать данные из различных баз данных, текстовых файлов;

■ выполнять различные типы согласования и очистки данных;

■ преобразовывать данные при перемещении их от источников к хранилищу;

■ загружать согласованные и «очищенные» данные в структуры хранилища.

Для разработки, поддержки и выполнения таких процедур рекомендуется использовать специализированный инструментарий, предназначенный для автоматизации процессов извлечения данных из источников, их преобразования и загрузки в целевое хранилище.

Извлечение, преобразование и загрузка данных должна осуществляться как непосредственно вызовом соответствующих процедур, так и в автоматическом режиме, на основе «скриптов» и расписаний, составленных на этапе разработки системы.

2. Хранение данных

Второй слой предназначен непосредственно для хранения проверенной, согласованной, непротиворечивой и хронологически целостной информации, которую с достаточно высокой степенью уверенности можно считать достоверной.

Хранилище данных не ориентировано на решение какой-либо определенной функциональной аналитической задачи. Цель хранилища - обеспечить целостность и поддерживать хронологию всевозможных корпоративных данных, и с этой точки зрения оно нейтрально по отношению к приложениям. В связи с этим, в большинстве случаев для выполнения определенного комплекса функционально замкнутых аналитических задач рационально создавать витрины данных, в основе которых может быть как многомерная, так и реляционная модель данных. По существу витрина представляет собой относительно небольшое функционально-ориентированное хранилище, в котором информация хранится специальным образом, оптимизированным с точки зрения решения конкретных аналитических задач некоторого подразделения или группы аналитиков.

Информация попадает в витрины из хранилища, и в этом случае витрины называются зависимыми. Возможна также ситуация, когда источником информации для пополнения витрин служат непосредственно оперативные и внешние транзакционные системы. Такие витрины, получившие название независимых, как правило, рассматриваются как временное решение, позволяющее достаточно быстро и с небольшими затратами решить наиболее важные задачи, оценить преимущества нового подхода, сформулировать некоторые рекомендации для более масштабного проекта разработки общего хранилища.

Хранилище реализуется в виде реляционной базы данных, работающей под управлением мощной реляционной СУБД. Такая СУБД должна поддерживать эффективную работу с терабайтными объемами информации, иметь развитые средства ограничения доступа, обеспечивать повышенный уровень надежности и секретности, соответствовать необходимым требованиям по восстановлению и архивации. Витрины данных могут строиться на основе как реляционной, так и многомерной технологии баз данных. Для

38

достаточно большой части аналитических приложений оказывается удобной и эффективной технология интерактивного многомерного анализа, и в этом случае витрина представляет собой многомерную базу данных, реализованную в архитектуре OLAP, ROLAP или HOLAP.

3. Анализ данных

Для организации доступа аналитиков к данным хранилища и витрин используются специализированные рабочие места, поддерживающие необходимые технологии как оперативного, так и долговременного анализа. Результаты работы аналитиков оформляются в виде отчетов, графиков, рекомендаций и сохраняются как на локальном компьютере, так и в общедоступном узле локальной сети.

Аналитическая деятельность в рамках корпорации достаточно разнообразна и определяется характером решаемых задач, организационными особенностями компании, уровнем и степенью подготовленности аналитиков.

В связи с этим современный подход к инструментальным средствам анализа не ограничивается использованием какой-то одной технологии. В настоящее время принято различать четыре основных вида аналитической деятельности: стандартная отчетность, нерегламентированные запросы, многомерный анализ (OLAP) и извлечение знаний.

Каждая из этих технологий имеет свои особенности, определенный набор типовых задач и должна поддерживаться специализированной инструментальной средой.

Базы данных будут продолжать развиваться, а объемы информации в компьютерах -увеличиваться. Усложнение производственных процессов, "интеллектуализация" контрольно-измерительных приборов, датчиков и исполнительных механизмов, требования конечного пользователя относительно повышения объемов и качества информации делают это высказывание особенно справедливым для промышленных условий.

Выполнять проектирование модели хранилища данных на основе корпоративной модели данных организации целесообразно с помощью CASE-инструментария. Использование CASE-инструментария увеличивает производительность труда проектировщика хранилища данных, особенно это касается в случае средних и крупных проектов.

Литература

1. Архипенков С., Голубев Д., Максименко О. Хранилища данных. От концепции до внедрения М.: Диалог-МИФИ, 2002. - 528 с.

2. Архипенков С. Аналитические системы на базе ORACLE Express OLAP. Проектирование, создание, сопровождение М.: Диалог-МИФИ, 2000. - 320 с.

3. Кузнецов С. Д. Основы баз данных. - 2-е изд. - М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2007. - 484 с.

4. Кузнецов С., Артемьев В. Обзор возможностей применения ведущих СУБД для построения хранилищ данных (DataWarehouse).

УДК 004.457

АРХИТЕКТУРА АВТОМАТИЧЕСКОЙ СИСТЕМЫ ОБНАРУЖЕНИЯ И

ПРЕДОТВРАЩЕНИЯ АТАК

Крылов Александр Юрьевич, студент 3-го курса, Ивановский государственный химикотехнологический университет, Россия, Иваново, Krylov [email protected] Галиаскаров Эдуард Геннадьевич, к.х.н., доцент, доцент, Ивановский государственный химикотехнологический университет, Россия, Иваново, [email protected]

Введение

Система обнаружения вторжений (СОВ) - программное или аппаратное средство, предназначенное для выявления фактов неавторизованного доступа в компьютерную

39

i Надоели баннеры? Вы всегда можете отключить рекламу.