CC BY
44
-------:------------п п-----------:-------------
Вирішено задачу автоматизації факторного аналізу в транзакційних базах даних. Метою роботи було створення еволюційного методу факторного аналізу для пошуку прихованих залежностей у транзакційних базах даних. Запропоновано метод факторного аналізу, в якому формування груп близьких ознак виконується на основі еволюційного підходу, оцінювання еквівалентності термів ознак здійснюється шляхом видобування асоціативних правил
Ключові слова: асоціативне правило, база правил, ознака, транзакція, еволюційний пошук
□-----------------------------------□
Решена задача автоматизации факторного анализа в транзакционных базах данных. Целью работы являлось создание эволюционного метода факторного анализа для поиска скрытых зависимостей в транзакционных базах данных. Предложен метод факторного анализа, в котором формирование групп близких признаков выполняется на основе эволюционного подхода, оценивание эквивалентности термов признаков осуществляется путем извлечения ассоциативных правил
Ключевые слова: ассоциативное правило, база правил, признак, транзакция, эволюционный поиск
--------------------□ □-------------------------
1. Вступ
Складні технічні та медичні об’єкти, процеси й системи характеризуються, як правило, великою кількістю змінних, деякі з яких є взаємозалежними [1 - 3]. Для пошуку таких прихованих залежностей застосовують методи факторного аналізу [4 - 7], що дозволяє виявляти взаємозв’язки між різними ознаками, які характеризують досліджувані об’єкти або процеси, пояснюючи в такий спосіб їх внутрішню природу.
Однак застосування відомих методів факторного аналізу [4 - 7] є можливим при виконанні деяких умов [5, 6]: ознаки, які описують досліджувані об’єкти або процеси, повинні бути чисельними; кількість екземплярів вибірки повинна бути більшою не менш, ніж у два рази, ніж кількість ознак; однорідність навчальної вибірки; симетричність розподілу ознак навчальної вибірки.
Вибірки даних, що характеризують реальні технічні та медичні об’єкти, не завжди задовольняють наведеним вище умовам.
Крім того, ряд задач діагностування та класифікації пов’язаний з необхідністю обробки вибірок даних, представлених у вигляді баз транзакцій, у яких кожна транзакція описує деякий набір характеристик конкретного об’єкта або процесу, при цьому кількість ознак у різних транзакціях може бути різною [8 - 10].
Тому актуальною є розробка методу факторного аналізу, вільного від зазначених недоліків, що дозволяє обробляти дані, представлені у вигляді баз транзакцій.
УДК 004.93
ЕВОЛЮЦІЙНИЙ МЕТОД ФАКТОРНОГО АНАЛІЗУ ДАНИХ, ПРЕДСТАВЛЕНИХ У ВИГЛЯДІ БАЗ ТРАНЗАКЦІЙ
Т. А. Зайко
Аспірант* E-mail: [email protected] А. О. Олійник
Кандидат технічних наук, доцент* E-mail: [email protected] С. О. Субботін
Кандидат технічних наук, професор* E-mail: [email protected] *Кафедра програмних засобів Запорізький національний технічний університет вул. Жуковського, 64, м. Запоріжжя, 69063
Метою роботи є створення еволюційного методу факторного аналізу для пошуку прихованих залежностей у транзакційних базах даних.
2. Постановка задачі факторного аналізу в транзакційних базах даних
Нехай задана база транзакцій D:
D = { Ті,Т2,...,ТКп} ,
у якій кожний елемент Т , ] = 1,2,...,містить інформацію про деякі взаємозалежні події, де N = -
кількість елементів (транзакцій) у наборі даних D. Елементи Т можуть представлятися у вигляді:
де - ідентифікатор ]-ї транзакції Т ;
іїеті = {^,Ц,...^№і ^}с I - список елементів, що входять у транзакцію Т ; ^ - і-й елемент списку іїеті, і = 1,2,...,КіІе1п. ; Кі|е1п. = |іїет^ - кількість елементів
множини іїеті; I = {т1,т2,...,тКі} - множина можливих змінних (ознак), які можуть входити в список елементів іїеті кожної транзакції Т , ] = 1,2,...,Кс набору даних D•, та - а-й елемент множини I, а = 1,2,...,^ ; N = Ц - кількість елементів множини I.
£
©
У випадку, якщо база транзакцій D містить крім бінарних, ще й дійсні змінні, елементи ^ транзакції Т представляються кортежем:
Ч = | і,
де т^ - ознака із множини I, що відповідає елементу ^ ; V(т|) - значення ознаки т^ в транзакції Ті ,
результаті чого формуються масиви термів кожної з ознак та є I:
V (т ) єЛ = І т ; т І; т
V і) Ч |_ Сшіп > ушах J > '■'і]
і т.
- мінімальне та
Лта ={Лта1>Лта2>.-Лта^,а } -
максимальне значення з діапазону можливих значень ознаки т^.
Тоді задача факторного аналізу полягає у виявленні набору ¥ = {^,¥2,...,^Кт} (Кт=|¥|< N ), що складається з факторів , кожний з яких характеризує групу тісно пов’язаних ознак т є I. Таким чином, у результаті факторного аналізу забезпечується стиснення інформації шляхом об’єднання множини ознак через деякий набір факторів.
3. Еволюційний метод факторного аналізу
Як відзначалося вище, відомі методи факторного аналізу [4 - 7] вимагають досить великої кількості екземплярів у навчальних вибірках, наявності винятково кількісних ознак, однорідності навчальної вибірки, а також не призначені для обробки даних, представлених у вигляді баз транзакцій. З метою усунення зазначених недоліків і можливості виконання факторного аналізу в транзакційних базах даних у розробленому методі виконується видобування асоціативних правил, що дозволяє виконати оцінювання еквівалентності термів ознак, виключити з подальшого розгляду надлишкові ознаки, скоротивши тим самим простір пошуку й зменшивши час факторного аналізу. Після цього здійснюється формування груп ¥ = {¥¥2,...,¥^} близьких ознак за допомогою оптимізаційних процедур. Оскільки пошук факторних груп необхідно виконувати в дискретній множині ознак, для розв’язання даної задачі доцільним є застосування методів еволюційної оптимізації [11 - 13], які є методами глобального пошуку, не висувають вимог до цільової функції та вхідних змінних, а також є методами дискретної оптимізації.
У запропонованому методі факторного аналізу на початковому етапі задається транзакційна база даних D, яка може містити як чисельні, так і бінарні або якісні ознаки.
Потім із заданої бази транзакцій D видобуваються асоціативні правила, використовуючи відомі методи пошуку таких правил [8 - 10, 14] D ^ БП, у результаті чого виконується узагальнення даних, і, відповідно, виключення з подальшого розгляду надлишкових ознак, а також деяких термів ненадлишкових ознак. Це дозволяє скоротити простір пошуку та час виконання факторного аналізу.
Далі виконується спрощення синтезованої бази асоціативних правил БП [1, 12], поєднуючи по можливості деякі правила.
Після цього на основі побудованої бази правил БП виділяються терми ознак та є I. Для цього аналізується кожне асоціативне правило з бази БП (ЛЯІ є БП ), у
де ДТак Є [ ДТакшіп ДТакшах ] - к-й тЄрм (інтервал) а-ї озна-
ки; Дтакшіп і Дтакшах - мінімальне й максимальне значення в к-му термі а-ї ознаки, відповідно; КДт - кількість термів а-ї ознаки.
Важливо відзначити, що не обов’язково границі сусідніх інтервалів перетинаються (умова Дтакшах =Дта(к+і)Шіп не повинна виконуватися для всіх к), оскільки раніше були синтезовані асоціативні правила й, відповідно, виключені надлишкові (не-інформативні) терми деяких ознак.
Потім визначається еквівалентність термів ознак. Будемо вважати, що терми тим еквівалентніше, чим вище ймовірність (частота) того, що екземпляри (асоціативні правила), які потрапили в один терм Дтак першої ознаки та є I, потраплять в інший терм ДтЬш другої ознаки тЬ є I. Тому для визначення еквівалентності термів ознак будемо розраховувати частоту попадання асоціативних правил у терми різних ознак:
м N
БП
де М = ( а,Ь,к,ш) - кортеж, який визначає взаємозв’язок к-го Лтак терму а-ї ознаки та є I й ш-го терму ЛтЬш Ь-ї ознаки тЬ єі; Квн - кількість правил у базі БП; РМ1 -величина, що визначає наявність зв’язку між термами ознак кортежу М в 1-му правилі ЛЯІ є БП синтезованої бази правил БП:
Рмі _
1, якщо в 1-му правилі бази правил БП містяться терми Дтак та ДтЬт;
0, в іншому випадку.
Після визначення еквівалентності термів ам визначається еквівалентність ознак. Будемо вважати, що ознаки тим еквівалентніше, чим вони містять більше еквівалентних термів. Для оцінювання еквівалентності а-ї та Ь-ї ознак визначається величина уаЬ:
КД,Ь КД„
II ^аЬкш
_ ш=1 к=1_______
• аЬ
^Л,
Для формування груп ¥ = {¥^¥2,...,¥^ } близьких ознак використовується еволюційна оптимізація. З метою застосування еволюційного пошуку для факторного аналізу визначимо спосіб подання розв’язку (множини факторних груп ¥ = {¥^¥2,...,¥^ } ) у вигляді хромосом Н: ¥^ Н. Оскільки розмір множини ¥ (кількість факторних груп ) заздалегідь є не відомим, розмір хромосом Кн буде змінним:
кн<‘> * кН<‘+*>, кн<‘> * кн<‘>, де кн<‘> - розмір И хромосоми н] ]на ітерації еволюційного пошуку. Гени
Ь]1 хромосоми н] будуть відповідати і-му елементу множини ¥ ^ н . Таким чином, кожна ]-а хромосома
М популяції Н(1) буде відповідати ]-му розв’язку на t-й ітерації еволюційного пошуку, що представляє собою ^у множину факторних груп:
Гени Ь. хромосом Н. являють собою вектори цілих чисел, що відповідають номерам ознак та є I із множини I.
Таким чином, пропонується представляти хромосоми Н(1) у вигляді векторів змінної довжини, кожний елемент (ген) яких також є масивом елементів змінної довжини. При чому гени у векторних хромосомах при такому способі кодування мають властивості него-мологічності, тобто числа в кожному векторі можуть приймати значення із заданої множини та не повинні повторюватися [11 - 13].
Приклад хромосоми при розв’язанні задачі факторного аналізу наведено на рис. 1.
Хромосома Hj
її І' Iі Iі Iі Iі Iі Iі Iі Iі Iі і 'і
1 І10 11 7 І16 1 2 І19 Іб І4 І9 І5 І13 І2 І1 1 І14
]
V У У V
Г" \ 1"
т ¥ 2 і ¥ ТА4
Гени хромосоми hjl
Факторні I групи
Рис. 1. Приклад хромосоми при розв’язанні задачі факторного аналізу
Як видно з рис. 1, деякі ознаки ( т3,т7,т8 та ін.) не ввійшли в хромосомуН., що свідчить про те, що дані ознаки не є членами ні однієї з чотирьох факторних груп = {^.1,¥.2,¥.3,¥.4} , визначених у хромо-
сомі Н. ^ у вигляді генів Ь., Ь.2, Ь.3, Ь.4, відповідно. Множина ознак, що не ввійшли в хромосому Н. ( т3,т7, т8 і ін.), є аналогією множині I' при використанні жадібної стратегії. Гени Ь., Ь.2, Ь.3, Ь.4 хромосоми Н. мають різну довжину, що відповідає кількості ознак у відповідній факторній групі. Так, наприклад, друга факторна група ¥.2 ^ Ь.2 складається із трьох
ознак ¥.2 = {Т12, Т19, Т6 } .
Для оцінювання хромосом Н. пропонується використовувати цільову функцію уН , що враховує еквівалентність у ознак та у кожному з генів Ь. (факторній групі):
N
У н =-
4Ш1П ,
де у ь - середнє значення еквівалентності ознак в 1-му гені Ь. .-ї хромосоми Н.:
ХЕТ аЬ
а=1 Ь=а+1 а,Ь: Та ,Ть єЬ.
1)
де ^ - розмір і-го гену .-ї хромосоми.
Ініціалізація еволюційного пошуку в запропонованому методі відбувається шляхом генерації заданої кількості хромосом ^ , кожна з яких Н, відповідає деякій множині факторних груп ¥4,¥2,...,.
Генерація ]-ї хромосоми Н, починається з випадкового формування масиву цілих неповторюваних чисел з інтервалу [1;^], кожне з яких відповідає певній ознаці таєі. Потім створений масив розби-ваєтьсянадеякувипадковозгенерованукількість ^ << NI генів Ь, , що представляють собою певні факторні групи змінної довжини. Таким чином, на початковому етапі еволюційного пошуку вважається, що кожна ознака та є I може входити в деяку факторну групу.
У якості оператора відбору пропонується використовувати пропорційний відбір [11 - 13], при якому до схрещування й мутації допускаються хромосоми Н, з рівнем пристосованості (значенням цільової функції ун ), не нижче середньої по популяції.
Для схрещування хромосом пропонується використовувати модифікований з урахуванням розв’язуваної задачі оператор одноточкового схрещування. При використанні запропонованого оператора випадковим чином вибирається точка розриву
= randc[£шт^Ні^Нг)-1| ,
де randc[a•,b] - випадково згенероване ціле число в інтервалі [а;Ь]; КН і КН - розмір хромосом Н1 і Н2, що схрещуються.
Потім відбувається обмін генами між хромосомами Н1 й Н2, у результаті чого формуються два нащадки
Нс1 та Нс2 :
Нс1 = {ї11,ї12,...,ї1іг,ї2(іг+1),ї2(іг+2),ї2КНг } • Нс2 = {ї21,ї22,...,ї2іг,ї1(іг+1),ї1(іг+2),ї1КН1 } .
Після формування хромосом-нащадків Нс1 і Нс2, як правило, у них виникають неприпустимі гени (у різних генах однієї хромосоми містяться однакові елементи, що відповідають одним ознакам та єі). Оскільки в схрещуванні брало участь дві хромосоми, у хромосомах-нащадках можуть міститися гени Ь1 та Ь2 з не більш, ніж двома однаковими елементами та єі. Для приведення хромосом Нс1 і Нс2 до припустимого вигляду з кожної з них виключаються повторювані ознаки та є I. При цьому якщо у двох генах Ь, і Ь,2 однієї хромосоми містяться однакові елементи, що відповідають одній ознаці та єі , відбувається виключення відповідного елемента з гена Ь, , у якому він має менший вплив на загальну еквівалентність уЬ . Для визначення впливу ознаки та єі в кожній з хромосом Ь, і Ь,2 обчислюються величини ДуЬ й Д^Ь)2\т, :
ДтЬ)1\т, =7Ь, -ТЬ)1\т,;
Ь)2\Та УЬ)2 УЬ.2\Та ’
де уь \т й уь \т - середні значення еквівалентності без ознаки та в генах Ь, і Ь,, відповідно.
4
9 1 5
N
гі
1=1
Nh
Е
Ознака т є і виключається з гена Ь;і з меншим
а ,1і
значенням величини ДуЬ..\т . Таким чином, запропонований оператор схрещування дозволяє генерувати нову множину припустимих розв’язків шляхом передачі інформації від хромосом-батьків.
Після схрещування виконується мутація випадково обраних генів деяких хромосом, що дозволяє більш детально досліджувати простір пошуку й урізноманітнити його. Пропонується виконувати мутації вставки, обміну та видалення деяких ознак із хромосом.
Мутація вставки виконується з метою додавання ознак у факторні групи. Для цього випадково обрана ознака та є і, що не міститься в хромосомі Н, ( та і Н, ), додається в один з її генів. У випадку, якщо виконується умова:
Уь,іита -ТЬ,і ,
додана ознака та залишається в хромосомі Н,.
Мутація обміну передбачає вибір і заміну двох випадково відібраних ознак та єЬ1 і ть єЬ2 з різних генів Ь1 і Ь2 однієї хромосоми Н,, обраної для мутації. Операція мутації обміну вважається успішною при виконанні умови:
Ay
+ Ay
h2 U^a \тЬ
> о,
де ДТ Ь,ить\та =Т Ь, У Ь,ить\та та ДТ Ь2 ита\ть =Т Ь2 У Ь2 ита\ть
прирости середньої еквівалентності факторних груп, що відповідають генам Ь1 і Ь2 при обміні ознаками
Та й Ть.
Мутація видаленням спрямована на виключення з факторної групи ¥,1 ^ Ь,1 ознаки та єЬ,1, що слабо корелює з іншими ознаками ть єЬ,1 із цієї ж групи ¥,1. Для цього випадковим чином у відібраній для мутації хромосомі Н, вибирається мутуючий ген Ь,1 єН,, з якого виключається ознака та є Ь,1, що має найменший вплив на середню еквівалентність гена уЬ :
Та : ДТЬ,1\т.
= min Ay,
'"a b=1,2,...,Nh
^ЛтЬ '
тЬ Ehji
Таким чином, операція мутації в деяких випадках змінює розмір хромосоми та дозволяє сформувати факторні групи з більш прийнятними оцінками еквівалентності.
Після схрещування й мутації відбувається формування нової множини розв’язків. На нову ітерацію переходять хромосоми з найкращими значеннями цільової функції, а також хромосоми, отримані в результаті схрещування й мутації.
Еволюційна оптимізація триває доти, поки не буде досягнута максимально припустима кількість ітерацій N або не знайдений розв’язок Н. . із прийнятним
значенням цільової функції, що не перевищують мінімально припустиме значення уН <уНшіп.
Запропонований метод факторного аналізу на основі еволюційного підходу передбачає видобування правил із заданих баз транзакцій, що дозволяє здійснити оцінювання еквівалентності ознак та узагальнення даних, і, відповідно, виключення з подальшого розгляду надлишкових ознак, що дозволяє скоротити простір пошуку та час виконання факторного аналізу. У розробленому методі визначення еквівалентності
ознак для формування факторних груп виконується виходячи із частоти їх спільного попадання в асоціативні правила синтезованої бази правил, що дозволяє оцінювати тісноту зв’язку між різними ознаками (якісними, кількісними), не висувати вимог до вхідних даних і виконувати факторний аналіз у транзакційних базах даних.
Використання еволюційного підходу для пошуку груп якісно близьких ознак дозволяє більш детально в порівнянні з жадібною стратегією досліджувати простір пошуку, а також формувати групи близьких ознак, що характеризуються більш прийнятними оцінками еквівалентності.
4. Експерименти та результати дослідження розробленого методу
З метою експериментального дослідження розробленого методу факторного аналізу на основі еволюційного підходу за допомогою мови програмування C# було створено програмне забезпечення, що реалізує запропонований метод.
Для дослідження властивостей і характеристик запропонованого методу факторного аналізу, а також порівняння його з відомими аналогами використовувалися спеціально згенеровані тестові дані. Розроблений метод порівнювався з методом головних компонентів PCA (Principal Component Analysis) [4] і методом дискримінантного аналізу Фішера FDA (Fisher Discriminant Analysis) [7]. Існуючі методи пошуку груп взаємозалежних ознак дозволяють виділяти факторні груп на основі вибірок, які представляють собою прямокутні таблиці чисел, що містять значення всіх ознак для всіх екземплярів. Тому тестові вибірки генерувалися таким чином, щоб вони могли бути вихідними даними як для відомих методів факторного аналізу, так і для розробленого. Крім того, важливо відзначити, що при створенні тестових вибірок деякі ознаки залежали одна від одної, утворюючи, таким чином, групи еквівалентності.
На рис. 2. наведено графік залежності часу функціонування різних методів факторного аналізу від кількості ознак у вихідній вибірці. При цьому кількість екземплярів у вибірці була постійною і становила Nd = 1000 шт.
Кількість ознак, шт.
Рис. 2. Графік залежності часу функціонування методу від кількості ознак у вихідній вибірці
З
Графік, зображений на рис. 2, підтверджує квадратичну залежність оцінки обчислювальної складності О запропонованого методу від кількості ознак Ц і характеризує його як обчислювально ефективний метод факторного аналізу. Крім того, з рис. 2 видно, що запропонований метод при невисоких значеннях кількості ознак швидше виконує факторний аналіз вхідних даних, при |і| = 50 час роботи методів несуттєво відрізняється.
На рис. 3 відображено результати експериментів по дослідженню залежності кількості згенерованих факторних груп від кількості ознак у вихідній вибірці (кількість екземплярів при проведенні експериментів становила ^ = 5000 шт.).
Кількість ознак, шг.
Рис. 3. Графік залежності кількості згенерованих факторних груп від кількості ознак у вихідній вибірці
Криві, зображені на рис. 3 і побудовані за результатами застосування різних методів факторного аналі-
зу, показують, що кількість синтезованих факторних груп пропорційна кількості ознак у навчальній вибірці, що обумовлено внутрішніми взаємозв’язками між ознаками та структурою вибірки. Як видно, метод FDA синтезував більшу кількість факторних груп, виділяючи деякі взаємозалежні набори ознак у різні групи. Метод PCA і запропонований метод показали схожі результати.
Таким чином, результати експериментів показали, що розроблений метод дозволяє виконувати факторний аналіз на основі баз транзакцій.
Порівняння запропонованого методу з існуючими аналогами підтвердило доцільність його застосування на практиці.
5.Висновки
У роботі вирішено актуальну задачу автоматизації факторного аналізу в транзакційних базах даних.
Наукова новизна роботи полягає в тому, що запропоновано еволюційний метод факторного аналізу, в якому формування груп близьких ознак виконується на основі еволюційного підходу, оцінювання еквівалентності термів ознак здійснюється шляхом видобування асоціативних правил, що дозволяє виконувати факторний аналіз в транзакційних базах даних, виключати надлишкові ознаки, скорочувати простір пошуку.
Практична цінність отриманих результатів полягає в тому, що було створено програмне забезпечення, що реалізує запропонований еволюційний метод факторного аналізу та дозволяє виділяти групи близьких ознак в транзакційних базах даних.
Литература
1. Encyclopedia of artificial intelligence [Text] / eds.: J. R. Dopico, J. D. de la Calle, A. P. Sierra. - New York : Information Science Reference, 2009. - Vol. 1-3. - 1677 p.
2. Зайченко, Ю. П. Основи проектування інтелектуальних систем : навчальний посібник [Текст] / Ю. П. Зайченко. - К.: Слово, 2004.- 352 с.
3. Прогрессивные технологии моделирования, оптимизации и интеллектуальной автоматизации этапов жизненного цикла авиационных двигателей : монография [Текст] / [А. В. Богуслаев, Ал. А. Олейник, Ан. А. Олейник, Д. В. Павленко, С. А. Субботин]; под ред. Д. В. Павленко, С. А. Субботина. - Запорожье: ОАО "Мотор Сич”, 2009. - 468 с.
4. Jolliffe, I. T. Principal Component Analysis [Text] / I. T. Jolliffe. - Berlin : Springer-Verlag. - 2002. - 489 p.
5. Rummel, R. J. Applied Factor Analysis [Text] / R. J. Rummel. - Evanston : Northwestern University Press. - 1988. - 617 p.
6. Иберла, К. Факторный анализ [Текст] / К. Иберла. - М. : Статистика. - 1980. - 398 с.
7. McLachlan, G. Discriminant Analysis and Statistical Pattern Recognition [Text] / G. McLachlan. - New Jersey : John Wiley & Sons. -
2004. - 526 p.
8. Субботін, С. О. Подання й обробка знань у системах штучного інтелекту та підтримки прийняття рішень : навчальний посібник [Текст] / С. О. Субботін. - Зат^жжя : ЗНТУ, 2008. - 341 с.
9. Gkoulalas-Divanis, A. Association Rule Hiding for Data Mining [Text] / A. Gkoulalas-Divanis,V. S. Verykios. - New York : Springer-Verlag. - 2010. - 150 p.
10. Zhang, C. Association rule mining: models and algorithms [Text] / C. Zhang, S. Zhang. - Berlin : Springer-Verlag. - 2002. - 238 p.
11. The Practical Handbook of Genetic Algorithms [Text] / ed. L. D. Chambers. - Florida: CRC Press, 2000. - Vol. I: Applications. - 520 p.
12. Субботін, С. О. Неітеративні, еволюційні та мультиагентні методи синтезу нечіткологічних і нейромережних моделей: монографія [Текст] / С. О. Субботін, А. О. Олійник, О. О. Олійник; під заг. ред. С.О. Субботіна. - Запоріжжя : ЗНТУ, 2009. - 375 с.
13. Haupt, R. Practical Genetic Algorithms [Text] / R. Haupt, S. Haupt. - New Jersey: John Wiley & Sons, 2004. - 261 p.
14. Zhao, Y. Post-mining of association rules: techniques for effective knowledge extraction [Text] / Y. Zhao, C. Zhang, L. Cao. - New York : Information Science Reference. - 2009. - 372 p.
E
