CC BY
24
УДК 004.89 DOI: 10.30977/BUL.2219-5548.2018.83.0.40
РОБОТА З1 СХОВИЩЕМ ДАНИХ В АНАЛГГИЧНШ ПЛАТФОРМ1 DEDUCTOR
Петрова О.О.,
Харк1вський нацюнальний ун1верситет м1ського господарства ¡м. О.М. Бекетова,
М1рошн1кова К.А., Харк1вський нацюнальний ун1верситет буд1вництва та архггектури
Анотаця. У статт1 використано технолог1ю сучасного комп 'ютерного анал1зу даних для створення лог1чног та ф1зичног структури сховища даних мереж1 буд1вельних магазинов з ви-користанням анал^тичног платформи Deductor, в якт сконцентроват сучасш методи вилу-чення, мантулювання, анал1зу та в^зуал^зацИ даних.
Ключов1 слова: сховища даних, ттелектуальний анал1з даних, анал1тична платформа, кон-сол1дац1я.
Вступ
Кожний супермаркет упродовж свое1 ро-боти накопичуе велику кшьюсть зiбраних даних, в яких знаходиться в сирому виглядi дуже корисна шформащя, використання яко1 забезпечить ефективнють та прибутковють бiзнесу. Сучасш шструментальш засоби, таю як аналггичш платформи, дозволяють оброб-ляти цифрову шформащю та знаходити в нiй укладеш знання, якi можуть бути використа-нi при ухваленнi бiзнесових ршень.
Аналiтична платформа - це спещалiзова-не програмне рiшення (або набiр рiшень), якi мiстять у ot6î всi iнструменти для вилучення закономiрностей iз сирих даних: засоби кон-солiдацiï iнформацiï в единому джерелi (схо-вище даних), вилучення, перетворення, тран-сформацiï даних, алгоритми Data Mining, засоби вiзуалiзацiï.
Аналiтична платформа Deductor е основою для створення закшчених прикладних рiшень у галузi аналiзу даних. Реалiзованi в Deductor технологи дозволяють на базi еди-ноï архiтектури пройти вс етапи побудови аналiтичноï системи вщ створення сховища даних до автоматичного тдбору моделей i вiзуалiзацiï отриманих результатiв [1-2].
Аналiтична платформа Deductor вщно-ситься до Business Intelligence - систем (BIsystem) [1]. Основними функщями BI-технологiï ведення «штелектуального» бiзне-су е: введення даних (завантаження); зберь гання даних (сховище даних); аналiз даних (OLAP, Data Mining).
Аналiз публiкацiй
У raroi «The Data Warehouse Toolkit» Р. Юмболл (R. Kimball) запропонував шдхщ
до побудови сховищ даних, також вщомий як пiдхiд «знизу вгору». Це «Багатовимiрне сховище даних» [3].
Другим основним тдходом до побудови сховищ даних е шдхщ 1нмона, вщомий як шдхщ «зверху вниз». Це «Реляцшне сховище даних». Б. 1нмон визначив поняття сховища даних як «предметно орiентованi, штегрова-нi, незмiннi, що пiдтримують хронологда, набори даних, якi органiзованi для цшей пщ-тримки управлiння» [4].
В робой [5] автор описуе шдхщ до проек-тування сховищ даних на основi структуро-ваносп даних i запитiв користувачiв, уводить поняття мультибазового сховища даних, бу-дуе його математичну модель та пропонуе двофазовий алгоритм проектування мульти-базових сховищ даних iз використанням ге-нетичного алгоритму.
В роботах [6-8] видшено два напрями за-стосування систем Data Mining: як масового продукту i як шструменту для проведення ушкальних дослiджень, та чотири основш сфери застосування технологiï Data Mining: наука, бiзнес, роздрiбна торгiвля i Web-напрям.
Як iнструментальний зашб для розробки сховища обрано аналггичну платформу Deductor, в якiй реалiзовано методики аналь зу Data Mining, Knowldge Discovery in Databases та OLAP. Опис технолопчно1' платформи для створення закшчених аналггич-них ршень Deductor Academic базуеться на техшчнш документацiï, яка знаходиться у вщкритому доступi на офiцiйному сайт ком-панiï BaseGroup Labs i е для некомерцшного навчального використання безкоштовною i призначеною тшьки для освiтнiх цiлей [1].
Мета i постановка завдання
Метою дослщження е створення бази да-них за допомогою аналогично! платформи Deductor та завантаження до створено! бази даних шформацп рiзного типу.
Для досягнення задано! мети дослщження виршувалися наступнi завдання:
1) вивчити предметну область та структу-рувати отримаш знання;
2) виконати анатз iснуючих структур баз даних;
3) розробити структури таблиць для роз-робки лопчно! та фiзично! структури схови-ща даних;
4) виконати консолщащю iнформацi! в единому джерелi для наступного штелектуа-льного аналiзу даних.
У вказанш роботi автори розробили схо-вище даних мережi будiвельних магазинiв, яке дозволило вiдображати неочевидш регу-лярностi в даних, складовi так званих прихо-ваних знань. Як об'ект дослщження обрано початковi даш трьох магазинiв будiвельно! мережу що розташованi в рiзних мютах Укра!ни [9].
Розробка сховища даних
В основi концепцi! сховищ даних лежить штегращя ранiше роз'еднаних деталiзованих даних, що мiстяться в архiвах, накопичува-них у традицiйних системах транзакцшно! обробки, що надходять iз зовнiшнiх джерел, в едину базу даних.
Deductor Warehouse - багатовимiрне схо-вище даних, що акумулюе всю необхiдну для аналiзу предметно! областi iнформацiю. Вся шформащя у сховищi зберiгаеться у структурах типу «сшжинка», де в центрi розташованi таблицi фактiв, а «променями» е вимiри,
причому вимiр може посилатися на iншi вимiри.
Така архiтектура сховища е найбшьш адекватною задачам аналiзу даних, тому що аналггик на практищ оперуе багатовимiрни-ми поняттями. Кожна «сшжинка» називаеть-ся процесом i описуе певну дiю, як у нашому прикладi, продаж товару. Як вимiри були використанi простi списки [1].
Deductor Warehouse реалiзуе ушверсальне багатовимiрне зберiгання, тобто може мюти-ти множину процесiв з рiзною кiлькiстю ви-мiрiв i факпв. Налаштування процесiв, за-дання вимiрiв, атрибутiв i фактiв може здшснюватися за допомогою редактора ме-таданих, вбудованого в Deductor Studio [1].
Авторами розроблено проект, який зберь гае в собк послщовносп обробки даних (сце-нарi!), налаштованi вiзуалiзатори, змiннi проекту i службову шформащю. За допомогою Майстрiв iмпорту, експорту та обробки було сформовано сценарш, який складаеться з ву-злiв. Майстер пiдключень забезпечив створення налаштувань пiдключень до джерел i приймачiв даних. Майстер вiзуалiзацi! нала-штував вiзуалiзатори для конкретного вузла у табличному, графiчному та описовому ви-глядах.
Розробка сховища даних виконувалася у верси Deductor Academic, в якш тдтриму-ються тшьки два джерела та приймача даних: Deductor Warehouse та текстовi файли з роз-подiльником.
Автори розробили в MS Excel таблищ: Код та найменування товарiв (рис. 1); Код та групи товарiв (рис. 2); Вщдши, якi вщобра-жають магазини будiвельно! мережi трьох мют Укра!ни (рис. 3).
Н2В
А В
1 Трупа.Код Найменування групи
2 77 ГАЗОСИЛИКАТНЫЕ БЛОКИ
3 31 ПАЗОГРЕБНЕВЫЕ БЛОКИ
4 20 КИРПИЧ
5 44 ПЛЕНКА
б 34 СЕТКИ МЕТАЛЛИЧЕСКИЕ
7 37 П АРО- ГИД РОИ ЗОЛ ЯЦИОННЫЕ ПЛЕНКИ
а 69 МАСТИКА
Рис. 1. Групи товарiв (фрагмент)
i" - : X S fx
А В С
1 Товар. Код Наименования товару Група-Код
2 599 Блоки "ЭКО" из ячеистого бетона D-500 (600x200x300мм) 77
3 464 Блоки "ЭКО" из ячеистого бетона D-500 (600x250x100мм) 77
4 576 Блоки "ЭКС" из ячеистого бетона D-500 (600x250x125мм} 77
5 761 Блоки "ЭКО" из ячеистого бетона D-500 (600x250x200мм) 77
6 536 Блоки "ЭКО" из ячеистого бетона 0-500 (600x250*300мм) 77
^ 104 Плита гипсовая пазогребневая полнотелая KNAUF667*500*100mm 81
3 403 Плита гипсовая паэогребневач гилрофсбиэи рованная полнотелая KMAUF 667*500* 100мм S1
9 938 Плита гипсовая пазогребневая полнотелая волма 667*500*100мм 81
10 S55 Плита гипсовая пазогребневая гидрофобизированная полнотелая Волма 667*500*100мм 81
11 724 Плита гипсовая пазогребневая полнотелая Forman б67"500"в0мм 31
12 796 Кирпич одинарный лицевой ВАНИЛЬ Магма 250*120*65мм 20
13 246 Кирпич одинарный лицевой КРАСНЫЙ Магма 250*120*65мм 20
14 446 Кирпич одинарный лицевой ШОКОЛАД Магма 250*120*б5мм 20
15 131 Кирпич полуторный лицевой ВАНИЛЬ Магма 250*120*ВВмм 20
16 122 Кирпич полуторный лицевой КРАСНЫЙ Магма 250*120*SSmm 20
Рис. 2. Товари (фрагмент)
G21 *w I Í
А в с D
1 Код в1ДД1лу Назаа В1дд1лу
2 i Епщентр Харыв
3 2 Епщентр Knie
4 г Епщентр Полтава
5
Рис. 3. Вщдши
Рис. 4 являе собою опис процесу продажiв у трьох магазинах мережi «Епщентр» у pÍ3-них мiстах краши. При такiй структурi схо-вища можна припустити, що унiкальнiсть
точки у просторi визначаеться сукупнiстю вимiрiв: Дата, Код Товару, Код вщдшу, Час покупки [1].
N24
fi
1
2
3
4
5
6
7
8 9
Дата Код в!д£^лу Код товару Час покупки KiflbKÍCTb Цша Сума
22.05.16 1 464 13 15 65,33 979,95
13.03.16 2 761 12 2 134,55 269,1
14.03.16 3 403 15 56 966,60 54130
15.03.16 2 933 16 89 569,31 50669
13.03.16 2 724 19 100 735,65 78565
17.03.16 3 796 18 103 23,22 2391,7
22.05.16 1 246 13 56 19,36 1084,2
19.03.16 2 446 15 12 24,52 294,24
Рис. 4. Продажi (фрагмент)
Таблищ, створеш в MS Excel, були пере-твореш у структуроваш TeKCTOBi файли i3 роздiльниками для збертання початкових даних i3 зазначенням призначення, тобто порядку використання поля набору даних, отриманого в результат iмпорту стовпця (поля), у процeсi подальшо! обробки iмпор-тованих даних.
У навчальнш верси як джерело даних бу-ло обрано сховище даних Deductor Warehouse з указанням парамeтрiв бази даних, в якш буде створено фiзичну та лопчну структуру сховища даних. Пюля створення порожнього сховища, в якому немае жодного об'екта (процесу, вимiру, факту), було вщо-бражено спроектовану базу даних бущвель-но! мeрeжi у сховище за допомогою редактора метаданих. На першому крощ були створeнi вимiри та додано до кожного вимь ру, окрiм вимiрiв Дата i Час, тeкстовi атрибу-ти з подальшою рeалiзацiею iерархi! вимiрiв, як наведено на рис. 5.
На наступному крощ створення пустого сховища, пюля того, як вс вимiри та поси-лання було зроблено, виконано процес фор-мування «сшжинки» з назвою «ПродажЬ». Для цього були доданi чотири юнуючих ви-мiри та два факти (рис. 6).
Пюля проектування структури i метада-них другий етап було присвячено наповнен-ню сховища даними iз зовнiшнiх структуро-ваних джерел.
Початковими даними для сховища даних були використаш чотири текстових файли, з указанням, в який з вимiрiв буде завантажу-ватися шформащя. На рис. 7 наведено визна-чення варiантiв агрегащ! атрибупв та фактiв.
У рeзультатi виконання вшх дiй було:
- створено i наповнено сховище даних;
- написано сценарш завантаження (по-повнення) даних iз джерела i сховища даних.
Отриманий сценарш завантаження прив'язаний не до даних безпосередньо, а до !х структури, тобто в ньому змодельовано послщовнють дш, яку потрiбно виконувати для завантаження даних у сховище даних: iмeна файлiв-джeрeл, вiдповiднiсть полiв тощо. Один раз створений сцeнарiй згодом застосовуеться для поповнення сховища да-ними. Для подальшо! обробки даних зi ство-реного сховища було обрано процес «Про-дажi» з визначеннями, як вимiри та атрибути будуть iмпортуватися для створення звтв.
Результати вилучення даних з Deductor Warehouse у виглядi таблицi та куба наведено на рис. 8-9.
Щ "Редактор метаданных" [DW Firebird [Ijklkjlkj]]
"Е ^Е ^ X & т ✓ 1
□
х
Объект
□ DW Firebird [Ijklkjlkj] [ft] Кубы ЦЙ1 Процессы - Измерения
- Група.Код
- Атрибуты
Трупа. Найменування []Н~| Измерения
- Товар.Код
- [>£] Атрибуты
Товар. Найменування
- ПН"| Измерения
^¡яв
- х^ Вщдт.Ксд
- [[Г| Атрибуты
В iaai л. Найменування Измерения
- Дата
Атрибуты Измерения
- Х^ Час
f>£~| Атрибуты
Имя
DDW22
12 GRJD
ab аО
12 TV_ID
ab аО
12 GRJD 12 PARTJD
ab aO
Ш S_DATE
12 S HOUR
Имя Метка
Описание
Тип данных
Видимый
Префикс
Вид данных
Назначение данных
Измерение
GRJD Група.Код
Целый
0
Дискретный
Измерение
[GRJD] fpyna.l
Рис. 5. Рeалiзацiя iерархi! вимiрiв у структурi метаданих сховища
' Редактор метаданных" [DW Firebird [Ijldltjlltj]] - □ X
-1*1 * КЗ rf&l rf ^
Объект Имя Имя F_SUM
□ DW Firebird №Mcj] DDW22 M erii Суммг|
[в]Кубы Описание
- [Б| Процессы Тип данным Ееш ест венный
Щ] Пршэжи SALES ВЩНМЫЙ 0
Атрибуты Размер поля 0
- ful Измерения В иа данных Непрерывный
0 S_DATE Назначение дан^н
Ы Вшил. Км 12 PARTJD
^ Товар.Каи 12 TV_lD
^ Час 12 SJHOUR
Э ЦЦ Факты
Количество 9,0 F CO UND
[?i| Сумма S.O F_SUM
& [ц] Измерения
ф t^ Трупа Кой 12 GRJD
+■ Товар.Код 12 TVJD
Ш BiMiftK<M 13 PARTJD
Ф Y+ Дата 0 SEDATE
±r ti Чае 12 SJHOUR
Рис. 6. Процес формування «сшжинки» з назвою «Продажi»
Рис. 7. Визначення варiантiв агрегацп атрибутiв та факпв
Таблица X Статистика X Дизгрэм^ X Куб X
йз' ]f Bü' ^ тI
1 > 1UL
Дата ВидкКш 6 ищи Код Товар. Код
S Им1 На^менувапня
► 13-03-2016 2 EniueHip Кщ'в т
га. 03.2Q16 2 Егмцсмгр Ки t« 576
31.03.2016 1 ЕпщетрХАркв 91 а
02.05.201Б 1 EniunHrp Харие 417
15 05 2016 1 EmiueMrpXip™ 520
22.05.2016 г Eniuemp КИР 431
£2.05.2015 г Епцентв Кие 661
05 06.2016 1 t niiUHip XiCK« 550
П. 03.2016 2 Cniuiurp Кип 7G1
15 03.201G г Eni центр Кив 100
21,03.2016 г EniwBHTg Кив 37&
ОБ 04 2016 1 Eniuinvp Харкв 44Б
2G.04.2016 1 EniufjKrpXiCKe 450
2D.DE.2016 3 Enimurp Гадтгавд 7G3
i4.06.20ie э Eni Центр. Полтава 257
i0.oe.2oie 3 EniueHip Погттава 453
19.0G. 2016 2 Eniu^Hrp Кнв G33
14.03.2016 3 Eniuewp Полтаьа 40ЕГ
1э.оз.ао1еГ 2 Епщеьгр Кие 446
20.03.2016 3 Eniuehcp Погттава 122
20.03.201G 2 EnkwinB fjip 79&
20.03.2016 Э EniucHfp flümaca 723
1U.04.201G 1 Епщенгр Харке 103
22.05.2016 3 Eniuehrp Поотава 502
Рис. 8. Подання звггу в табличному виглядi (фрагмент)
Таблица X Статистика X Диаграмма X Куб X
т- из в - 1 тпт "й Ш Ч (I -
овар.Код Товар.Код | Група.Код ▼
13,03,2016 14,03,2016 15,03,2016 17,03,2016 19,03,2016 20,03,2016
£ Количес U Количес £ Количес U Количес £ Количес U Количес £ Количес U Количес £ Количес U Количес £ Количес Л
51
D2 102,00 2 135,00 2 12,00 1
S3 56,00 1 103,00 1 45,00
Итого: 102,00 2 56,00 1 135,00 2 103,00 1 12,00 1 45,00
Рис. 9. Представлення шформацп про продажi в рiзних магазинах бущвельно! мережi в po3pi3i мюта (вiддiли) та з розбиттям на дати у виглядi двовимiрноl таблиц в режимi вiзyалiзащl Куб
Висновки
Використано поглиблений метод анатзу даних для створення сховища даних, яке мю-тить вiдомостi, що е корисними у процесi yправлiння мережею магазишв i використан-ня якого надае конкурентш переваги.
Розроблене сховище даних i гнyчкi меха-шзми передобробки, очищення, завантажен-ня, вiзyалiзацil даних забезпечують швид-кiсть виконання запипв користувача, здiйснення аналогично! обробки та отриман-ня аналогично! звггносп для керiвникiв та
аналггиюв комерцiйних пiдприeмств у !х по-всякденнiй дiяльностi.
Користувач може отримати вщповщь на поставлене питання i переглянути результати найбшьш зручним для нього способом.
Подальше заповнення сховища р!знорщ-ними даними надасть переваги в обробщ да-них та прогнозуванш дiяльностi мережi будь вельних магазинiв.
Лiтература
1. BaseGroup Labs. Технологии анализа данных [Електронний ресурс]. - Режим доступу: http://www.basegroup.ru.
2. Аналитическая платформа Deductor [Елект-ронний ресурс]. - Режим доступу: http://deductor.com.ua/.
3. Kimball Ralph. The data warehouse toolkit: the complete guide to dimensional modeling. / Ralph Kimball. - Wiley, 2002 - 436 p.
4. W. H. Inmon. Corporate Information Factory Components [Електронний ресурс]. / W. H. In-mon - Inmon Data Systems. - Режим доступу: http: //www. inmoncif. com/view/26.
5. Яцишин А.Ю. Проектування мультибазових сховищ даних на основ! двофазного алгоритму / А.Ю. Яцишин //В!сник НТУУ. - Вип. 55. - С. 23-27.
6. Чубукова И.А. Data Mining: учебное пособие / И.А. Чубукова. - М.: Интернет-университет информационных технологий: БИНОМ: Лаборатория знаний, 2006. - 382 с.
7. Киселев М. Средства добычи знаний в бизнесе и финансах / Киселев М., Соломатин Е. // Открытые системы. - № 4. - 1997. - С. 41-44.
8. Методы и модели анализа данных OLAP и Data Mining / Барсегян Ф., Куприянов М., Степаненко В., Холод И. - СПб: БХВ-Петербург, 2008. - 456 с.
9. Интернет-магазин «Стройберг» [Електронний ресурс]. - Режим доступу: http://www. stroyberg.ru/
10. Новожилова М.В. Практикум. 1нтелектуаль-ний аналп даних в аналггичнш платформ! Deductor: навчальний поабник. / М.В. Новожилова, О.О. Петрова, О.1. Чуб. - Харшв: ХНУБА, 2014. - 158 с.
References
1. BaseGroup Labs. Tekhnologii analiza dannykh [Technologies of data analysis.] Available at: http://www.basegroup.ru.
2. Analiticheskaya platforma Deductor [Analytical platform Deductor.] Available at: http://deductor.com.ua/.
3. Kimball Ralph. The data warehouse toolkit: the complete guide to dimensional modeling. / Ralph Kimball. - Wiley, 2002 - 436 p.
4. W. H. Inmon. Corporate Information Factory Components / W. H. Inmon - Inmon Data Systems - Available at: http://www.inmoncif.com/
view/26.
5. Yatsishin A.Yu. Proektuvannya mul'tybazovykh skhovyshch danykh na osnovi dvofaznoho alhorytmu [Designing multi-database data warehouses based on a two-phase algorithm.] / A.Yu. Yatsishin // Visnyk NTUU. - Vyp. 55. -S. 23-27.
6. Chubukova I.A. Data Mining: uchebnoye posobiye [Data Mining: a study guide.] / I.A. Chubukova. - M.: Internet-universitet informatsionnykh tekhnologiy: BINOM: Laboratoriya znaniy, 2006. - 382 s.
7. Kiselev M. Sredstva dobychi znaniy v biznese i finansakh [Means of mining knowledge in business and finance.] / Kiselev M., Solomatine E.// Otkrytyye sistemy. - № 4. - 1997. -S. 41-44.
8. Metody i modeli analiza dannykh OLAP i Data Mining [Methods and models of data analysis OLAP and DataMining.] / [Barseghyan F., Kupriyanov M., Stepanenev V., Holod I.] - SPb: BKHV-Peterburg, 2008. - 456 s.
9. Internet-magazin «Stroyberg». Available at: http://www. stroyberg.ru/
10. Novozhilova M.V. Praktykum. Intelektual'nyy analiz danykh v analitychniy platformi Deductor. Navchal'nyy posibnyk [Workshop. Intellectual analysis of data in the analytical platform Deductor.] / M.V. Novozhilova, O.O. Petrova, O.I. Chub. - Kharkiv: KHNUBA, 2014. - 158 s.
Petrova Olena Oleksandrivna, Candidate of Technical Sciences, Associate Professor of the Department of Applied Mathematics and Information Technologies,
(098) 849-90-76, Petrfurs@gmail.com, O.M. Beketov National University of Urban Economy in Kharkiv,
Miroshnikova Katerina Antonivna, student, (097)
204-73-07, kate_mir@ukr.net,
Kharkiv national university of civil engineering and
architecture.
Working with the data warehouses in analytical
platform deductor
Petrova O.O., Miroshnikova K.A.
Problem. Each supermarket collects a large amount of data during its work, in which there is a very useful information in a raw form, the use of which will ensure the efficiency and profitability of the business. Modern tools such as analytical platforms allow processing digital information and finding out the knowledge that can be used to make business decisions. Goal. The purpose of the study is to create a database using the analytical platform Deductor and download various types of information to the created database. Methodology. An in-depth data analysis method is used to create a data warehouse, which contains information that is useful in the management of the network of stores and the use of which provides a competitive advantage. The Deductor
analytical platform, which implements Data Mining, Knowledge Discovery in Databases and OLAP analytics, has been selected as a tool for the development of the data warehouses.
Results. The result is creating the logical and physical structure of the data warehouses network of building shops using the Deductor tool, which concentrates modern methods of data extraction, manipulation, analysis and visualization. Originality. Further filling of the data warehouse with diverse data will provide advantages in data processing and forecasting of the network of construction stores. The user can get the answer to the question and see the results in the most convenient way. Practical value. The developed data storage and flexible tools for pre-processing, cleaning, downloading, data visualization provide seamless performance of user queries, analytical processing and obtaining analytical reporting for managers and analysts of commercial enterprises in their daily activities.
Key words: data storage, intellectual data analysis, analytical platform, consolidation.
Работа с хранилищем данных в аналитической платформе Deductor
Аннотация. В статье использовано технологию современного компьютерного анализа данных для создания логической и физической структуры хранилища данных сети строительных магазинов с использованием аналитической платформы Deductor, в которой сконцентрированы современные методы извлечения, манипулирования, анализа и визуализации данных.
Ключевые слова: хранилище данных, интеллектуальный анализ данных, аналитическая платформа, консолидация.
Петрова Елена Александровна, к.т.н., доцент кафедры прикладной математики и информационных технологий, (098) 849-90-76, Petrfurs@gmail.com, Харьковский национальный университет городского хозяйства им. А.Н. Бекетова,
Мирошникова Екатерина Антоновна, студент, (097) 204-73-07, kate_mir@ukr.net, Харьковский национальный университет строительства и архитектуры.
