CC BY
47
доступу: http://djvuzone.org/techpapers/index.html. 5. Saghri J., Tescher A., and Reagan J. Principal Transform coding of multispectral imagery // Signal Processing Magazine, IEEE, pp. 32-43, 2005. 6. Z. Wen, Z. Liu, M.Cohen, J. Li, K.Zheng, andT. Huang. Low bit-rate video streaming for face-to-face teleconference // Multimedia and Expo, 2004. ICME '04. 2004 IEEE International conference, pp. 1631-1634 Vol.3, 2004. 7. Sergey Tayanov, Vitalij Tayanov. The error analysis of speech signal computer compression by Karhunen-Loeve transform // Proceedings of the XI Polish-Ukrainian Conference on "CAD in Machinery Design. Implementation and Educational Problems." 2003. Р. 113-119. 8. Jain A. and Dubes R. Algorithms for clustering Data, Prentice Hall, 1988. 9. Jain A., Murty M., andFlynn P. Data clustering: A review // ACM Computing Surweys 31, 1999.
Надшшла до редколегИ 07.12.2008 Таянов Сергш Анатолшович, канд. техн. наук, доцент кафедри АКМ НУ 'inbBiBCbKa полггех-шка". HayKOBi тереси: обробка сигналiв та зображень. Адреса: Укра!на, 79013, .HbBiB, вул. С. Бандери, 12, тел. 258-25-98, e-mail: [email protected].
Таянов В1талш Анатолшович, канд. техн. наук, наук. ствр. ФМ1 iM. Г.В. Карпенка НАН Укра!ни. Hayковi штереси: математичш методи розтзнавання обрaзiв. Адреса: Украша, 79601, .bBiB, вул. Наукова, 5а, тел. 229-65-30, e-mail: [email protected].
УДК 004.652.4+004.827
Н.Б. ШАХОВСЬКА, Д.1. УГРИН
ТЕХНОЛОГ1Я ETL В ШТЕГРАЦП ДАНИХ ТУРИСТИЧНОГО Б1ЗНЕСУ
Розглядаеться одна i3 технологш консолщацп даних - ETL. Будуються алгоритми для рiзних еташв виконання ETL та показуються вузью мiсця цiei технологи.
Вступ
Дослщження штеграцп даних туристичного 61знесу дае змогу оцшити розвиток техшчних засоб1в, технологш, додатюв i продукпв з метою подальшого прийняття ефективних ршень стосовно розвитку галуз^ У фокус нового дослщження перебувае не тшьки роль штеграцп даних у проектах по створенню сховищ, але й технолопчна база керування метаданими.
Засоби ETL - це технолопя управлшня метаданими. На сьогодш юнують два типи розв'язання ц1е! задача доступ до р1зних баз даних за допомогою SQL; використання шструменпв ETL, що витягують даш i помщають !х у сховища, минувши лопку застосу-вань.
ETL ор1ентована на бази даних, сховища, вприни або операцшш сховища даних та виконуе процес проектування процедур витягання, завантаження i перетворення даних (ETL - extract, transform and load). На цьому етат штеграцп виршуються проблеми сумюносп даних з р1зних джерел. Разом з анал1зом i стандартизащею шформацп - це один з найтрудо-мютюших i вщповщальних етaпiв, а також один з найбшьш витратних за часом.
1. Актуальшсть роботи
Мета роботи - штегращя у просторi даних туристично! сфери.
Тема дослiдження проблеми штеграцп даних в туристичному бiзнесi е актуальною, оскшьки методи iнтегрaцii даних, що використовуються, не можуть до кшця реaлiзyвaти весь обсяг виконуваного процесу, а саме штегрують лише частину спшьних для рiзних застосувань даних.
1нтегращя даних дозволить:
- одержати повну шформацда про клiентiв;
- виконати одержання поточних фiнaнсових даних для обов'язково! звiтностi й виконання вимог законодавства;
- консолщувати поточну шформацда з декшькох джерел.
Технологiя ETL в штеграцп даних виявляеться найкорисшшою в тих випадках, коли необхщно створити сховище даних, що мютить добре докyментовaнi i нaдiйнi даш для iсторичного aнaлiзy, наприклад, для aнaлiзy часових рядiв або бaгaтовимiрних зaпитiв. Вона
також використовусться для штеграцп ключових довщкових даних. Технологiя ETL незам-шна для таких завдань, як видалення дублшата, здiйснення процесiв перевiрки якост даних i т.iн. Цi шструменти також використовуються для створення окремих вприн даних, що обслуговують конкретний вщдш або бiзнес-процес, або призначених для яких-небудь дов-гострокових цшей. 1нструменти ETL дають користувачу можливють запустити процеси, що повторюються, для бшьшо! злагодженостi дiй i можливосп "х багаторазового використання. Такi процеси включають створення точних технiчних метаданих, що тдтримують загальну цiлiснiсть середовища business intelligence (BI).
З активним розповсюдженням Internet процеси ETL стали все ширше використовувати-ся i для пiдтримки Web-застосувань. Наприклад, туристичний оператор може використову-вати засоби ETL для «закачування» у Web-систему даних, необхщних для перевiрки стану опрацювання замовлень, з внутрiшнiх програм. Програми, що реалiзують пiдхiд ETL, ста-ють важливими компонентами багатьох шщатив, пов'язаних з електронною комерщею, зокрема застосувань, що пiдтримують взаемодда мiж партнерами бiзнесу, а також мiж виробником i споживачами.
Стандартизацiя послiдовностi операцiй при завантаженш сховищ даних, з огляду на важливють i вартiсть багатьох ршень ETL, дозволить уникнути повторення помилок, зроблених у попередшх розробках.
Крiм того, досвiд розробки ETL виявив загальш частини ETL-процесiв при завантаженш рiзнорiдних джерел, що дозволяе говорити про однаковють пiдходу до розробки ETL для джерел даних довшьного походження.
2. Постановка задачi та aHani3 лiтературних джерел
1нтегращя даних дозволяе одержати едину цшсну базу даних з рiзних джерел. Вона може бути описана за допомогою модели що включае додатки, продукти, технологи й методи:
застосування - це ршення, створеш розробниками вщповщно до вимог ктенпв, яю використовують однi або бiльше продукпв iнтеграцii даних;
продукти - це готовi комерцiйнi рiшення, що тдтримують одну або бшьше технологiй штеграцп даних;
технологи реалiзують однi або бшьше методiв iнтеграцii даних;
методи - це тдходи до штеграцп даних, незалежш вiд технологiй.
Враховуючи модель штеграцп даних у сховищах даних, можна видшити ii переваги використання:
- штегращя поточних та юторичних значень даних;
- об'еднання даних з розрiзнених джерел;
- створення надiйноi платформи даних для аналггичних цiлей;
- забезпечення однорiдностi даних в оргашзацп;
- полегшення впровадження корпоративних стандарта даних без змши юнуючих опера-цiйних систем;
- забезпечення широ^' iсторичноi картини й можливостей для аналiзу тенденцiй;
- штегращя даних будь-якого ETL-додатка полягае у своечасному наданш даних його користувачам.
1нструменти манiпуляцii даними ETL дозволяють переносити шформащю з одного середовища в шше, не створюючи спещальних програм для вщкриття файлiв, читання записiв, об'еднання даних i iнших подiбних операцiй. Застосування ETL витягають шформащю з вихщно' бази даних, перетворюють ii у формат, тдтримуваний базою даних, а по^м завантажують у не" перетворену шформащю.
Схема загального опису ETL-технологй (рис. 1) показуе, що при одержаны вихщно" бази даних з вхщних даних бази потрiбно пройти стадп витягання, перетворення та завантаження.
3. Основний матерiал
ETL полягае у виконанш таких укрупнених етатв:
1. Пiдготовка i отримання вхщних даних з декiлькох джерел.
2. Визначення вимог до вхщних даних i критерпв перетворення.
3. Аналiз, фiльтрацiя та перетворення вхщних даних.
4. Завантаження таблищ факпв.
5. Аналiз та верифшащя сховища даних.
Ц етапи ETL-технологп можна подати у виглядi блок-схем стосовно кожного пункту штеграцп даних. Розглянемо пiдготовку i отримання вхiдних даних з декшькох джерел. Сформуемо кiлька таблиць, яю мiстять однотипнi данi, отриманi з рiзних джерел iнформацiï, зображенi в рiзних форматах та структурах (MS Access, Visual Foxpro, dBase, Ms Excel, структурований текст тощо).
В основному джерела даних, що братимуть участь в штеграцп, мютять однотипну шформащю, яка мае спiльний характер, але в^^зняеться складом, способами подання i форматами. На основi цих метаданих може бути утворена штегрована таблиця, яка буде виконувати функцп оперативного сховища даних.
Алгоритм тдготовки i отримання вхiдних даних з декшькох джерел поданий на рис. 2.
Наступний крок визначае вимоги до вхщних даних i критерпв перетворення, тобто для попередньо отриманих i збережених у оперативному сховищi даних розробимо запити на основi таких норм (рис. 3).
Вхщна база дани
Необроблен дан
Стадя витягання
Рис.1. Концептуальна схема загального опису ETL -технологи
Початок
I
Вщкриття таблиц метаданих
I
З'еднання з джерелами даних
I
NT=1
Рис. 2. Блок-схема формування однотипних даних
-Hi-
Вивести таблицю однотипних даних
Кiнець
Рис. 3. Блок-схема системи норм i критерив
Виконавши другий крок ETL - технологи, проведемо третш етап роботи, що носить назву: аналiз, фiльтрацiя та перетворення вхщних даних. Сформуемо та виконаемо стосовно таблиц оперативного сховища даних запити на вилучення або змiну даних, яю не вщповща-ють критерiям, побудованим на другому кроцi. Основними з таких критерив можуть бути:
- вилучення даних, яю не мютять обов'язкових значень i внаслщок цього не можуть бути застосоваш у сховищi даних;
- виправлення некоректних чи помилкових значень (наприклад, коли у джерела даних внесено не коди шдроздшв, а назви).
Алгоритм аналiзу, фшьтраци та перетворення вхщних даних.
1. За метаданими визначити структури даних.
2. Визначити, де в атрибутах замють foreign key використовуеться описове значення.
3. Якщо описове значення е в довщковш таблищ, замшити його на значення зовшшнього ключа.
4. Вилучити кортеж^ у яких нема обов'язкових значень.
5. Додати дату завантаження.
Приклад пщпрограми замши описових значень на значення зовшшнього ключа, реалiзо-вано1 на VBA:
Set us = CunrentDhi. Execute ( "select dist l^ict dept_iiaiiie froiïi documentsl")
strl = "update documentsl set dept_.nsmie = " £ rsl i.d £ " where dept_.tiar[ie= " £ us 1 dept_naiïie
На четвертому крощ виконаемо завантаження таблицi фактов. Побудуемо для не1 блок-схему та опишемо алгоритм (рис. 4).
Рис. 4. Блок-схема завантаження Рис. 5. Блок-схема аналiзу
таблиц фактiв та верифжацп сховища даних
На п'ятому, завершальному крощ, проведемо анал1з та верифшащю сховища даних, тобто перев1римо та обгрунтуемо його працездатшсть (рис. 5).
Використовуючи наведену методику, можна означити порядок та засоби добування, узгодження, штеграцп даних, створення оперативних сховищ даних та завантаження !х у центральне сховище.
Приклад реал1зацИ перев1рки уах запиав:
A) Рахуемо кшьюсть даних в джерелах
SELECT Count(id)
FROM documents 1;
i т.д.
Б) Додаемо отримат кiлькостi.
B) Рахуемо кiлькiсть вставлених у таблицю сховища записiв (дата внесення цих запишв рiвна сьогодшшнш):
SELECT real_date, Count(id)
FROM document
GROUP BY real_date
HAVING (real_date=Date());
Якщо суми рiвнi, то ETL пройшов без перешкод.
Висновки
Розглянуто одну iз технологш штеграцп даних - ETL, метою яко! е створення корпоративного сховища даних. Наукова новизна дослщження полягае у порiвняннi пiдходiв до реалiзацil консолщацп та обгрунтуванш потреби створення репозитарiя метаданих. Практична цгншсть полягае у побудовi алгоршмв консолщацп. Подальше до^дження сто-суватимуться формалiзацil методiв штеграцп даних та пошуку неструктурованих, напiвструк-турованих та строго структурованих даних.
Список лггератури: 1. Колин Уайт (Colin White). Интеграция данных: использование технологий ETL, EAI и EII для создания интегрированной корпорации (Data Integration: Using ETL, EAI, and EII Tools to Create an Integrated Enterprise). Ноябрь 2005. 2. Особенности построения хранилищ данных. http:// citforum.uar.net/seminars/cis99/sch.shtml/. 3. Интеграция данных и Хранилища. -2005, http://citcity.ru/ 12101/. 4. Огляд технологий штеграци шформащйних систем, 2006, http://www. microsoft. com/Ukraine/ Government/Analytics/IntegrationTechnologies/Overview.msp. 5. Кэтэрин Дрюэк (Katherine Drewek). "Хранилища данных: сходство и различия подходов Билла Инмона и Ральфа Кимболла", 2005, http:// www.b-eye-network.com/view/743. 6. Dan Linstedt. Data Vaulttm overview the next evolution in data modeling. - 2005, http://www.tdan.com/i021hy01.htm/.
Надшшла до редколегИ 06.04.2008 Шаховська Наталя Богдашвна, канд. техн. наук, доцент кафедри шформащйних систем та мереж НУ «Л^вська полпехтка». Hayковi штереси: сховища даних, простори даних, методи штеграци та опрацювання даних. Адреса: Укра!на, 79013, Львiв, вул. С. Бандери, 12. Угрин Дмитро 1лл1ч, астрант НУ «Львiвськa полпехмка». Науюш штереси: простори даних в сферi туризму, методи опрацювання даних. Адреса: Украша, 79013, Львiв, вул. С. Бандери, 12.
УДК 615.85
Н.Г. ДОЛГОВА, М.В. НОВОЖИЛОВА, О.И.СИНЕЛЬНИКОВА
МЕТОД ОЦЕНКИ АЛЬТЕРНАТИВНЫХ ВАРИАНТОВ ФУНКЦИОНАЛЬНОГО ЗОНИРОВАНИЯ ТЕРРИТОРИИ ГОРОДА
Предлагается метод оценки альтернативных вариантов развития территорий города, который позволяет лицу, принимающему решение (ЛПР), провести комплексный анализ населенного пункта, определить ресурсный потенциал и выделить направления его стратегического планирования.
1. Актуальность исследований
В течение последних десятилетий градостроительные и санитарно-гигиенические нормативы являлись определяющими при планировании и проектировании городских территорий. Эти нормативы определяли в основном требования не к городу как территориально-целостному образованию, а к отдельным его районам, различным по функциям - промышленным зонам, селитебным территориям, инженерно-транспортным коридорам и т. д.
На современном этапе развития экономики Украины становится очевидным, что реализация имеющегося потенциала города должна осуществляться на основе его комплексного анализа как единой функциональной системы. При этом уже на этапе планирования необходимо оценить инвестиционную привлекательность городских территорий в целях предотвращения возможного ущерба от их нерационального использования.
Механизм получения такой оценки предполагает разработку соответствующего формального аппарата и инструментальных средств анализа больших объемов слабоформали-зованной, зачастую неструктурированной информации о городской территории как объекте инвестирования.
2. Теоретическая база исследований
Анализ отечественных и зарубежных публикаций, посвященных проблеме создания и обоснования генеральных планов городских территорий, позволил выделить такие основные научные направления. Задачи размещения объектов промышленного, гражданского и жилого строительства в территориальном аспекте рассматриваются в работах Э.Б.Алаева, Н.Н. Барановского, Э.П. Григорьева, Э.Г. Петрова, И.С. Степанова [1,2]. Методические основы оценки инвестиционной привлекательности территорий разработаны в трудах А.Шахназарова, И.Ройзмана, К.Гусевой, Н.Марковой.
Концептуальным вопросам создания программного обеспечения компьютерного проектирования объектов строительства, в том числе компьютерных средств визуализации и поддержки принятия решений, посвящены работы таких ученых как Л.Э.Ванда, А.А.Гусаков, Н.И. Ильин, Э.П. Григорьев [3,4].
