Вопрос очистки данных при создании автоматизированных систем нормативно справочной информации Текст научной статьи по специальности «Компьютерные и информационные науки»

удк 004.622

ПИТАНИЯ ОЧИСТКИ ДАНИХ ПРИ CTBOPEHHI АВТОМАТИЗОВАНИХ СИСТЕМ НОРМАТИВНО-Д0В1ДК0В01

1НФОРМАЦП © Гула О.Ю.

ТОВ «Ер-ДжьДейта» Украша 03056, Ки1в, вул. Пол1техн1чна, 33, к. 616 Тел.: +380 44 241 9131; факс: +380 44 236 3188

e-mail: alexg@rgdata.com.ua

The article describes methods of data identification in referenced data systems/ Algorithm of hierarchical classifiers data consolidation is suggested. Structure of data processing application for unified hierarchical classifier construction is proposed.

вступ

Нормативно-довщкова шформащя (НД1) в автоматизованих системах иризначе-на для групування та систематизацп шформацп про поняття, об'екти, явища, тощо в стаидартиий формат, що доиомагае визиачити Тх иод1бшсть. Систематизация ш-формацп здшснюеться шляхом ТТ класифжацп, а саме подшом миожиии об'ектав на шдмножини, з! застосуванням ирийнятих метод!в визначення под!бноста на шдсташ Тх схожоста чи несхожоста [1]. При 1ерарх1чшй систем! множина об'ектав дшиться на велик! групи, потам кожна група дшиться на ряд множину шдгруп, яю в свою чергу також можуть дшитися, поступово конкретизуючи об'ект.

В дашй робота розглядаеться задача побудови зведеного 1ерарх1чного реестру товарно-матер1альних цшностей ('IXI11) корпорацп, що об'еднуе декшька окремих класпф1катор1в ТМЦ фшш корпорацп в едину центра. li many систему НД1 для ио-дальшо1 обробки експертами.

При створенш такоТ центра. пзовапоТ системи НД1 зпачпе мшце займають питания коисолщацп, очистки лап их та Тх узгодження [2, 3], зокрема:

1. Усунення дублювання як окремих об'ектав, так i цших груп об'ектав.

2. Усунення помп, иж та розб!жностей в значениях атрибутав об'ект!в (наприклад, помнлкп в написанш одпакових пуиктав, pi sni правила заповнення, pi шпп порядок сл!в в назв!, наявншть чи вщсутшсть додаткових код!в, марок та одиниць Bimipy ТМЦ).

3. Виправлеиня помилок та розб!жностей структуризацп класифжатора, а саме наявноста чи вщсутноста ргшпх груп чи об'ект!в.

Математична модель

множина об'ектав Е класифжатора, де п, — кшькшть - 1ерарх1чний класифжатор, заданий як множина мно-

1.

Дамо деяк! визначення. Ё = mz-nne = |р|| -

об'ектав.

ЩТ=1-'пк = WW -

жни об'ектав.

Е° = иГ=1 ~ множина нульового ]нвпя класифжацп, представляв собою мно-жину вйх об'ектав класифжатора,

—I —1—1 —I —1—1

МЕ .1 > 0 _!/:" : Е С Е — множина I р!вня класифжацп, вкладена р!вно в одну множину I — 1 р!вня.

За визначенням класифжатора, об'ект може бути вкладений тшьки в одну множину на кожному з р!вшв, причому множини повинш бути послщовно вкладеними. Тому можна побудувати множину вйх послщовно вкладених множин, що мштять об'ект:

В (Ет) = Е , VI £ [1;т] 3 Е : Е С Е , Ern G Е . L J 1=1

Тут т — р!вень об'екта, це р!вень найменшо!' множини, що мштить заданий об'ект Ет. Якщо розглядати класифжатор як дерево, то В (Е) — це гшка дерева, листовим елементом якоТ е заданий об'ект Е.

1.1, Постановка задач!. Нехай задана множина 1ерарх1чних класифжатор!в:

F = Щг}^ ,nF = ||f|| ,

причому множини об'ектав класифжатор1в можуть перетинатися

Пр,Пр

7= U >0.

j=i,k=i

_р nF _о

Задача полягае у побудов! зведеного класифжатору К = (J Ек, що мштить

к=1

елементи Bcix заданих класифжатор1в, Головною задачею, що необхщно вир!шити, е зменшення дублювання об'ектав — ||/|| —>■ 0.

1.2, Нечггка вщповщшсть м!ж множинами. Нехай задана попарна псчпкн ni/i-повщшсть ,\iiж об'ектами класифжатор1в s (E,t,Ej) £ [0;1].

*I с >.. ii вщповщшсть м!ж об'ектом та множиною е максимальна вщповщшсть м!ж об'ектом Ei та об'ектами множини Ej :

d (Ei, Ej) = max (s (Ei, Ej)), n = \\Ej || . k=l

Звщси можна визначити сумарну вщповщшсть м!ж множинами як суму вщповщио-стей об'ектав множини Ei до множини Ej :

Щ

d (Ei,Ej) = ^rf (Ek,Ej) ,Ek G Ei,ni = . k=1

Визначимо односторонню псчп ку вщповщшсть м!ж множинами Ei та Ej як суму вщповщиостей об'ектав множини Ei до множини Ej, подшена на кшькшть елементав множини Ei :

INI

Нехай задана множина множин М = ,т>2. Дамо наступи! визначення.

(I (/:",. Л /) = У2 (I (/: . /: ) — сумарна вщиовщшсть множини Ei до вйх шших

3=1-4фг

МНОЖИН 3 М.

__гп _

/) (/:,-. М) = V Ц-Е^'Ц — сумарна кшьюсть об'ектав вйх множин з М, кр!м

__3=^,3фг

множини Е^

Тод! визначимо груиову нечику вщиовщшсть м!ж множинами з множини М як суму парних вщиовщностей м!ж об'ектами кожно! з множин множини М, подшену на суму кшькоста елементав кожно! з множин множини М :

т _

Е ¿(ЕиМ) _

д(М) = -,т= \\М\\,Ег е М.

Е п{Ег,М)

i=l

Нехай р (г [0; 1] - заданий пори . Задамо наступи! предикаты попарно! вщповщиоста множин:

1, /'/ (р. /:,-. /: /) : I (/:",. /: ) > р — вкладешеть множини Ei в множину Е^ з! сту-пенем I (/:",. /:;),

2, /'/ (р. Ег, I: ¡) : I) (р. Е^ /: ) А >/'/ (р. Е^, /:,•) — точна вкладешеть множини Е^ в множину Е^ и ступенем I (/:",. /:;).

3, /',; (р. М) : д (М) > р — групова вщиовщншть м!ж множинами множини М з! ступенем г (М).

т т _ _

4, 1'ц (р. М) : Д Д /'/ (/;. Е^, I: I) — точна групова вщиовщншть м!ж множина-

3=14фг ми множини М.

Легко бачити, що 1'ц (р. Л/) Ра(р,М), але обернене нев!рно, звщеи може ви-никнути ситуащя, коли для пари множин одночасно виконуються предиката I) та /',;. Тому для виявлення множин для об'еднання необхщно використовувати бшып сильний предикат I )>.

1,3, Об'еднання множин. Розглянемо задачу об'еднання множин I р!вня класи-фжацп, де I > О,

—2 — 1

Визначимо оператор, що для задано!' множини Е знаходить вп множини I р!вня класифжацп, для яких виконуеться предикат точно! групово! вщповщноста множин та як! вкладеш в задану множину:

■2-1

м

м

г=1

Е\

3

причому вш вибирае щ множини так, щоб вони не перетиналися:

е [1;га] У] 0^3 = 0"

Також визначимо оператор об'еднання множил, який для множини м\ будуе нову множину I р!вня класифжацп шляхом об'еднання множин, з яких вона складаеться:

ГГЦ ТО;

j=1 i=1

^2+1' Jk

к=1

1,4, Вкладення множин. Розглянемо задачу вкладення множин I р!вня класифжацп, де I > О,

т2—1

Визначимо оператор, що для задано!' множини Е знаходить вс! пари множин Еа та Еь I р!вня класифжацп, для яких виконуеться оператор точно!' вкладеност! множини та як! вкладеш в задану множину:

/'л'/ ( Л'

■I—I

Еал, Еь,

_I _i^i _| _i^i

, Ещ е Е ,Е\еЕ ,РЬ [р, Ец, Еьг

причому в!н вибирае ц! пари множин так, щоб кожна множина зустр!чалася в ре-зультуюч!й множин! Ильки один раз:

mi т1

г=1 г=1

Також задамо оператор об'еднання даних множин, що проводить обробку вкладення шляхом або об'еднання двох множин в одну або вкладення одше!' множини в iniuy. в залежност! в!д предметно!' облает! ! конкретно!' пари множин:

-2+1"

Fl [Еа ,Еь

Е

Еа Еа

■1+1

к

и

Еь,

и

Еь

■1+1

1,5, Алгоритм побудови зведеного клаеифшатора. Таким чином, можна навести наступний алгоритм побудови зведеного класифжатора:

1, Побудувати об'еднану множину нульового р!вня класифжацп, що мштить об'еднання множин першого р!вня вс!х класиф!катор!в:

Пр

= и [ёг

к=1

—2 — 1 —О

2, Провести об'еднання множин, для кожно!' множини Е , починаючи з Е :

а) Застосувати оператор пошуку множин, що необхщно об'еднати, до множини Е :

М

F^iE

■2-1

b) Застосувати оператор побудови об' еднаних множин Fu до кожно!' отри-мано!' множини:

Ё1' = Fu(M1

с) Провести об'еднання множин для кожно!' отримано!' множини Е .

:2 — 1

3, Провести обробку вкладення множин, для кожно!' множини Е ,1 > 0:

а) Застосувати оператор пошуку множин, для яких необхщно провести об-

—2-1'

робку вкладення, до множини Е :

—г' —г'

Еа . Еь

Ь) Застосувати оператор побудови об'еднаних множин I ) до кожно!' отри-мано'1 множини:

_;« /__

Е =ЕТ{Еа,Еь

с) Провести обробку вкладення кожно!' отримано!' множини Е

2, реал13ац1я побудови зведеного 16рарх1чного ре6стру

Пропонуеться консолщащю, очистку та узгодження даних при створенш цен-трал!зовано1 системи НД1 здшснювати за наступною схемою:

1, Конго, плащ я даних з окремих класифжатор!в ТМЦ фшш корпорацп — уточнения структури та зб!р даних до единого мшця збершання; завантаження даних з баз даних класифжатор!в тдроздкйв до об'еднано!' БД,

2, Стандартизация даних — приведения значень атрибутав до узгодженого формату збершання, форматування текстових даних: переведения в верхшй репстр, видалення зайвих пробипв та символ!в - «паразитав»,

3, 1дентифжащя запийв — знаходження псчпкоТ под1бноста м!ж записами всере-лшп одного класифжатору та \пж р!зними класифжаторами, використовуючи вщстань Левенштейна та метод (рам [4, 5], Головною характеристикою запи-су при знаходженш ступеню под!бност! до шших запийв е його назва та наб!р текстових атрибутав,

4, 1дентифжащя груп — знаходження псчпкоТ под1бност! м!ж р!зними грудами запийв класифжатор!в, використовуючи ступшь под1бност! \пж записами груп. Так як о;ип й т! ж групи в процей побудови класифжатор!в в р!зних фипях корпорацп могли мати р!зш иазви, то головною характеристикою групи при ступеню по/йбпогп до шших груп е не ТТ назва, а множина вйх вкладених пщгруп та запийв,

5, Об'еднання груп з ргшпх класифжатор!в, що мають ступшь под!бност! бшыпе заданого порогу, Якщо групи визначеш, як под!бш, то множини об'ектав цих груп об'еднуються в одну групу, якщо множина елементав одшеТ групи визначе-на як вкладена в множину елементав шпюТ групи, то перша група переноситься в другу групу як тдлеглий елемент, разом з! вйма своши елементами,

6, Оптим1защя даних, Пшля об'еднання даних проводиться анал!з класифжатора на помилки та неоптимальну оргашзащю даних в 1ерархп, Даний етап проводиться за участю експерта.

2.1, Консолщащя даних. Консол!дац!я даних включае в себе ун!ф!кац!ю структу-ри даних — завантаження даних з ргшпх джерел в БД едино! структури.

Для завантаження даних з ргшпх джерел необх!дно визначити структуру сбережении класиф!катор!в для БД кожно!' фшп, Для цього вир!шуються наступи! задач!:

1. Визначення пере, пку вс!х множин та об'ект!в кожно!' з БД фшш,

2. Визначення пере, пку атрибутав множини та об'екту кожно! з БД фшш.

3. Визначення ЗН&ЧбНЬ атрибут!в кожно! множини та атрибутав кожного об'екту.

4. Однозначне вщнесення кожно! множини та кожного об'екту до т!е! чи шшо! множини, в рамках даних БД одше! фшп.

5. Визначення пере, пку нтрпбупв множини та об'екту для об'еднаного класиф!-катора.

6. Визначення вщображення нтрпбу пв множини та об'екту кожно! з БД фшш до нтрпбупв множини та об'екту об'еднаного класифжатора.

Дан! задач! можливо автоматизувати, застосовуючи систему правил для кожно! БД фшп, У випадку, коли неможливо провести автоматичну обробку, необх!дна участь експерта у вирппенн! задач!,

3 точки зору математично! моле, п даний етап е реал!зац!ею першого етапу алгоритму — побудови об'еднано! множини нульового р!вня класифжацп,

2.2. Стандартизация даних. Стандартизация даних включае в себе видшення еле-мент!в атрибут!в та ун!ф!кац!ю — приведения представления нтрпбупв об'ект!в до единого формату.

Елементи нтрпбупв об'ект!в можуть м!стити помилки, але за можливштю неч!т-ко! обробки можна видшити наступи! класи елемент!в:

1. Нечутлив! до зм!и елементи — елементи, до яких можна застосувати неч!тку !дентиф!кац!ю. До них в!дносяться терм!ни, що описують об'ект, наприклад, «Металлорукав», «Полоса медная», «Лист свинц,», «д!аметр».

2. Чутлив! до змш елементи — елементи, до яких не можна застосовувати неч!т-ку !дентиф!кац!ю внасл!док того, що змша будь-якого символу призводить до повно! зм!ни значения. До них в!дносяться:

a) Спещальн! !дентиф!катори - скорочення, абрев!атури, коди, одиниц! ви-м!ру, наприклад, «мм», «РП-Ц-А-75», «ГОСТ».

b) Числов! !дентиф!катори - розм!ри, д!аметри тощо.

Для видшення елемент!в нтрпбупв об'ект!в застосовуються системи правил. Так як дан! в ргшпх БД фшш можуть сильно в!др!знятися за структурою та складом нтрпбупв. то застосовуються р!зн! системи правил для даних, що були завантажен! з ргшпх БД фшш,

Шсля видшення тиши елемент!в проводиться ун!ф!кац!я даних, що полягае у перекодуванн! символ!в рядк!в (наприклад, переведения в верхнш репстр, перекоду-вання символ!в) та елемент!в атрибут!в (наприклад, з використанням таблиць в!дпо-в!дност!).

Результатом даного етапу е множина об'ект!в класифжатора, приведена до единого стандарту.

2.3, Гдентифжащя заиисив. 1дентиф!кац!я запийв полягае в знаходженн! в!дпо-в!дност! м!ж записами про об'екти класифжатора в БД, Для цього для кожного запису в БД знаходяться записи, що точно сшвпадають з даним записом та т!, що мають ступшь под!бност! бшыпе заданого порогу,

Якщо розглядати об'екти як множини елементав атрибутав, то ступшь в!дпов!д-погп м!ж об'ектами класифжатора Е^ та Е^ можна визначити як групову псчпку в!дпов!дн!сть множини множин

8(Ег,Е,)=д([Ег,Е,]).

1дентиф!кац!я об'ект!в прямим перебором мае велику складшсть, тому викори-стовуеться шдготовка елемент!в — псчп кн !дентиф!кац!я елементав та збереження шформацп про результата !дентиф!кацп в БД, Для нечутливих до змш елемен-т!в ступшь в!дпов!дност! м!ж елементами може бути побудована на основ! в!дстан! Левенштейна (¡1 (. \}!.. 1]') чи на основ! р!знищ (рам. зокрема, на основ! б!грам

йя (А?,А¥),д = 2.

Нехай задан! пороги в!дпов!дност! рл е [0; 1] та рЕ Е [0; 1],

Для п!дготовки елементи збершаються в БД та прив'язуеться до об'екту, до якого вони вщносяться, Якщо елемент вже !снуе в БД, в!н повторно не додаеться, а тшьки прив'язуеться до об'екту, Кр!м того, м!ж елементами, для яких ступшь в!дпов!дно-ст! бшьше заданого порогу рл, збер!гаються парш зв'язки !з зазначенням ступеню в!дпов!дност!.

Шсля п!дготовки проводиться !дентиф!кац!я об'ект!в, що полягае в знаходженн! та збереженш об'ектав, що под!бн! до заданого. Для кожного заданого об'екту Е{ виконуються наступи! операцп:

1. Пошук об'ект!в — проводиться пошук запийв, що можуть бути под!бними до заданого. Проводиться з використанням тдготованих елемент!в:

a) Вибираються вс! елементи, прив'язан! до заданого об'екту.

b) Вибираються вс! об'екти, до яких прив'язан! в!д!бран! елементи.

2. 1дентиф!кац!я об'ект!в — проводиться розрахунок групово!' неч!тко!' в!дпов!д-ност! для кожно!' пари заданого об'екту ! в!д!браного об'екту Е^.

3. Збереження результат!в !дентиф!кацп — для кожного в!д!браного об'екту, для якого виконуеться предикат точно!' групово!' в!дпов!дност! !з заданим об'ектом Гц (/;' . [Ег, Еу]), збер!гаеться зв'язок м!ж цим об'ектом та заданим об'ектом, !з зазначенням ступеню в!дпов!дност!.

Таким чином, результатом даного етапу е збережена шформащя про парну неч!т-ку в!дпов!дн!сть м!ж об'ектами класиф!катора.

2.4. Гдентифжащя груп. 1дентиф!кац!я груп полягае у знаходженн! та збереженш одностороншх неч!тких в!дпов!дностей м!ж множинами класифжатору !з заданим порогом рм Е [0;1].

Для кожно!' множини виконуються наступи! операцп:

1. Пошук множин — для зменшення алгоритм!чно!' складност! проводиться попе-редшй пошук множин, що можуть бути под!бними до задано!':

a) Вибираються вй об'екти задано! множини.

b) Вибираються вй об'екти, прив'язаш до вибраних на попередньому крощ

c) 3 множини Е , в яку вкладена множина Е^ вибираються множини г_г 1 п

Е,; , до яких прив'язаш об'екти, вибраш на попередньому кроцк

j=i

з

е\еЕ1 1 А Vj е [l;n] : Е\- е Е1 \

з

2. 1дентифжащя множии — для кожно!' вщбрано! множини обраховуеться од-ностороння печпка вщповщшсть I (. /•.",).

3. Збереження множии — для кожно!' вщ1брано! множини, для яко! виконуеться предикат вкладеноста множин I) (ри. /•.",. /•.",). збер!гаеться зв'язок м!ж щею множиною та заданою множиною, 1з зазначенням ступеню вщповщность

Таким чином, результатом даного етапу е збережена шформащя про вкладешсть множин класифжатора.

2.5. Об'еднання груп. Об'еднання груп полягае в побудов! множин, для яких виконуеться предикат точно! групово! вщповщноста та об'еднання цих множин.

Для цього задаеться р!вень / = I та вибираеться множина верхнього р!вня

Е

■1-1

для яко! виконуються наступи! операцп:

1. Побудова множини М

е:

a) Вибрана множина Ек утворюе множину М.

_I _I _ х

b) До множини М додаеться множина Ет, що належить до множини Е

та мае прям! та зворотш зв'язки si вс!ма множииами з М, тобто вико-

=г

El

Як-

нуеться предикат точно! групово! вщповщност! 1'ц урм, М |J

що таких множин декшька, то вибираеться та, у яко! сума ступешв вщ-повщност! вйх зв'язк!в максимальна, с) Операщя 1Ь повторюеться до тих nip, поки знаходяться множини ет.

2. Об'еднання множин е\ до множини Elr = |J'" f е\:

a) Створюеться множина . Атрибути множини Е1Г формуються на основ! атрибутав множин Eir Зокрема, проводиться конкатенащя назв множин, якщо вони вщр1зняються в р1зних множин.

b) Bei множини та об'екти, що позначен! як вкладеш в Е^ позначаються як вкладеш в Ег.

c) Вй множини Ei видаляються.

3. Повторюються операцп 1 та 2 до тих nip, поки на заданому р!вн! е множини, для яких е пов'язаш множини.

—2 — 1

4. Рекурсивно виконуються вй операцп для вйх тдмножин множини Е

3 точки зору математично!' модел! даний етап е реал!зац!ею другого етапу алгоритму - об'еднання множин, починаючи з верхнього р!вня.

2.6. Оптим1зац1я даних. I Пел я проведения зведення даних в едину БД необхщно провести анал!з дерева на повтори та неоптимальну оргашзащю даних за участю експерт!в.

Оптим!зац!я даних включае наступи! операцп:

1. 1дентиф!кац!я запийв про об'екти класифжатора. Полягае в об'еднанн! запийв про об'екти класифжатора, що визнан! записами про один об'ект. Для цього експерту надаеться для обробки перелж пар пов'язаних об'ект!в та надаеться можлившть об'еднати об'екти або в!дм!нити об'еднання.

2. Обробка атрибутав множин. I Не. ш об'еднання декшькох множин в одну атрибут и об'еднано!' множини формуються автоматично, але отриман! атрибута потребують ручпоТ обробки. Для цього експерту надаеться перелж об'еднаних множин та надаеться можлившть ручного редагування атрибут!в обрано!' множини.

3. Обробка вкладення множин. Для пар множин, для яких виконуеться предикат вкладеност! множини, проводиться вкладення або об'еднання множин залежить в!д множин та предметно!' область В раз! об'еднання множин для об'еднано!' множини проводиться ручна обробка 11 атрибут!в.

Таким чином, система надае експерту перелж вар!ант!в для прийняття р!шення щодо кожного з пупкпв та забезпечуе виконання прийнятих р!шень. Шсля проведения даних операцш можна продовжувати ведения елемент!в класифжатора, що включае редагування атрибут!в обраного об'екту чи групи, та перем!щення об'екту чи групи до шито! групи.

Висновки

В статт! запропоновано алгоритм побудови зведеного !ерарх!чного реестру ТМЦ. Особлив!стю даного алгоритму е те, що кожна група класифжатора розглядаеться як множина об'ект!в, як! вщносяться до групи. Це дозволяе в!дкинути розб!жност! в значениях атрибут!в групи, таких, як назва групи, при завантаженн! даних !з р!зних класиф!катор!в.

Даний алгоритм було реал!зовано для побудови единого класифжатора ТМЦ корпораций сформованого на основ! класиф!катор!в чотирьох ф!л!й. Середнш об'ем к. т-сиф!катор!в ф!л!й - 100000 об'ект!в. Класиф!катори ТМЦ ф!л!й мали схожу структуру класифжацп, але в процес! незалежного використання в кожнш з ф!л!й в структур! класиф!катор!в з'явилися розб!жност!. В результат! проведеного анал!зу були вибран! наступи! пороги рА = 0.75, рЕ = 0.75, рм = 0.45, що дозволило об'еднати близько 68% груп класиф!катор!в.

Одним з напрямюв подалыпого розвитку роботи е розробка рекомендацш щодо

шдбору noporiB псчпкоТ вщповщноста для елементав атрибутав об'ектав, об'ектав та

множин.

список литературы

1. ДСТУ 1.10:2005 Нащональна стандартизация. Правила розроблення, побудови, виклэдсшня, оформления, ведения нещюнштъних класифшатор1в.

2. Rohm Е, Do Н.Н. Data Cleaning: Problems and Current Approaches // IEEE Techn. Bulletin on Data Engineering, Dec. - 2000.

3. Kimball R., Caserta J. The Data Warehouse ETL Toolkit: Practical Techniques for Extracting, Cleaning, Conforming and Delivering Data. Wiley 2004.

4. Орлов Д. Подсистема сопоставления записей в хранилище данных. http://www.olap.ru/basic/CompareLog_dw.asp.

5. Гула А.Ю., Игнатенко А.П., Перечинский И.А. Применение методов интеллектуальной обработки в задачах очистки хранилища данных // Сб. трудов конф. Системы поддержки принятия решении. Теория и практика. - Киев, 2007, С. 145 - 148.

Статья поступила в редакцию 30.04-2008