CC BY
60
составляющей. Величина Xu используется в процессе кодирования, т.е. не является дополнительной служебной информацией, поэтому для позиционирования кодограмм позиционных чисел предполагается осуществлять распределение количества разрядов под каждую кодограмму в соответствии с неравенством (19). В этом случае длина кодограммы L; будет равна:
Li = [log2 ХПдин -1] +1, (20)
тогда 5 = Xu .
В соответствии с предложенной стратегией количество разрядов под каждую кодограмму в пределах одного массива динамической составляющей будет постоянным. Но для разных массивов динамической составляющей затраты количества разрядов под каждую кодограмму будут неравномерными. Это объясняется различиями значений оснований Xu . Поэтому предлагается принцип распределения количества разрядов под кодограмму называть локально-равномерным.
3. Выводы
1. Предложены требования относительно разбивки динамической составляющей на массивы, учитывающие, с одной стороны, необходимость дополнительного сокращения избыточности, с другой - исключение случаев переполнения кодового слова.
2. Разработан метод сжатия массивов динамической составляющей на основе одномерного позиционного кодирования с адаптивным выбором основания.
УДК004.93
МЕТОД СИНТЕЗА БАЗ ЧИСЛЕННЫХ АССОЦИАТИВНЫХ ПРАВИЛ
ОЛЕЙНИК А.А., ЗАЙКО Т.А., СУББОТИН С.А.
Решается задача построения баз численных ассоциативных правил. Разрабатывается метод синтеза баз ассоциативных правил, в котором выполняется фаззификация транзакционной базы данных, вычисляются пороговые значения поддержки, используются критерии для оценивания косвенных ассоциаций, что понижает степень участия пользователя в процессе поиска ассоциативных правил, а также позволяет извлекать не только часто встречающиеся наборы, но и редко возникающие интересные ассоциативные правила.
Введение
В настоящее время для поиска закономерностей между связанными событиями широко распространены ассоциативные правила [1].
Как правило, исследуемые объекты или процессы описываются численными признаками, поэтому для извлечения ассоциативных правил и построения на их основе баз правил необходимо численные атрибуты предварительно преобразовывать к формату, доступ-
При этом код позиционного числа формируется для отдельных строк массива динамической составляющей, а длина кодового слова выбирается неравномерной.
3. Длины кодовых слов позиционируются относительно друг друга в соответствии с известным значением длины позиционного числа и адаптивного основания.
Литература: 1. Аудиовизуальные системы связи и вещания: новые технологии третьего тысячелетия, задачи и проблемы внедрения в Украине / [О.В. Гофайзен, А.И. Ляхов, Н.К. Михалов и др.] // Праці УНДІРТ. 2000. № 3. С. 3-40. 2. Олифер В.Г. Компьютерные сети. Принципы, технологии, протоколы: Учебник для вузов / В. Г. Олифер, Н.А. Олифер. СПб.: Питер, 2006. 958 с. 3. Barannik V. Optimization of the Data Width to the Booked Quality of the Dobeshies-Wavelet Transform / V. Barannik., I. Hahanova // International Symposium [IIEEE East-West Design & Test!], (Yerevan, Armenia, September 7 - 10, 2007) / Yerevan: 2007. P. 154 - 157.4. Баранник В.В. Кодирование трансформированных изображений в ин-фокоммуникационных системах / В.В. Баранник, В.П. Поляков. Х.: ХУПС, 2010. 212 с.
Поступила в редколлегию 05.05.2013
Рецензент: д-р техн.наук, проф. Баранник В.В.
Леках Альберт Анатольевич, научный сотрудник научного центра Харьковского университета Воздушных Сил им. Ивана Кожедуба. Научные интересы: системы, технологии преобразования, кодирования, защиты и передачи информации. Адрес: Украина, 61023, Харьков, ул. Сумская, 77/79, тел. 8 067-2593011.
ному для применения известных методов поиска ассоциативных правил [1-3]. При этом требуется выполнять разбиение численных признаков на непересекающиеся интервалы, каждый из которых рассматривается затем как новый атрибут.
Однако в таких случаях возникают проблемы выбора количества интервалов и существенного возрастания размерности решаемой задачи, что повышает требования к вычислительным ресурсам ЭВМ. Кроме того, в некоторых случаях кроме часто встречающихся наборов важными для извлечения новых знаний об исследуемых объектах или процессах являются нечастые наборы элементов, позволяющие выявлять косвенные ассоциации, которые не извлекаются при использовании известных методов синтеза баз ассоциативных правил [1-6].
Поэтому актуальной является разработка метода синтеза баз численных ассоциативных правил, свободного от указанных недостатков и позволяющего извлекать не только часто встречающиеся наборы, но и редко возникающие интересные ассоциативные правила.
Целью настоящей работы является создание метода синтеза баз численных ассоциативных правил.
РИ, 2013, № 2
61
Постановка задачи синтеза баз численных ассоциативных правил
Пусть задан набор (база) транзакций D:
D = {t1,T2,...,TNd I,
в котором каждый элемент Tj, j = 1,2,...,Nd содержит информацию о некоторых взаимосвязанных событиях; Nd = |D - количество элементов (транзакций) в наборе данныхD; Tj = {tlj,t2j,...,tNtom0} с I - j-я транзакция базы D, представляющая собой список элементов tij с конкретным значением числовых атрибутов; ty - i-й элемент j-й транзакции Tj, і = U,...,^ ; N|Tj| - количество элементов в j-й транзакции Tj; I = {т1з Т2ТNi } - множество возможных переменных (признаков), которые могут входить в список элементов каждой транзакции Tj , j = 1,2,...,Nd набора данных D; та - а-й элемент множества I, а = 1,2,...,Ni; Ni = |l| - количество элементов множества I.
В случае, если база транзакций D содержит кроме бинарных, еще и вещественные переменные, элементы tij транзакции Tj представляются кортежем:
tij =<T4;v(T ч) >,
где Tjj - признак из множества I, соответствующий элементу tjj; v(Tij) - значение признака Tjj в транзакции Tj , v(Tij) Є A ij = [Tij min , T ij max ] ; Tijmin и
Tjj max - минимальное и максимальное значения из диапазона возможных значений Ay признака Tjj.
Т огда задача синтеза базы численных ассоциативных правил на основе заданной транзакционной базы данных D заключается в том, что необходимо построить набор (базу) численных ассоциативных правил БП в
виде импликаций (X,v(X ))^ (Y, v(Y)), в которых наборы X и Y не пересекаются [3]:
БП: (X,v(x))^ (Y,v(Y)): X с I, Y с I, X П Y = 0 ,
где v(x) и v(Y) - множества значений признаков, принадлежащих множествам X и Y, соответственно.
Построение баз численных ассоциативных правил
Для извлечения ассоциативных правил из транзакционных баз данных D, содержащих численные атрибуты, такие атрибуты преобразовываются к формату, доступному для применения известных методов поиска ассоциативных правил [2, 4]. При этом требуется выполнять разбиение численных признаков на непересекающиеся интервалы, каждый из которых рассматривается затем как новый атрибут. В разработан-
ном методе синтеза баз численных ассоциативных правил предлагается использовать подход на основе теории нечетких множеств [3, 7, 8], позволяющий разбивать исходные признаки на нечеткие интервалы и работать с каждым признаком, а не с отдельными интервалами его разбиения.
Поэтому на начальном этапе предложенного метода выполняется фаззификация базы транзакций D, т.е. приведение всех ее численных значений к нечеткому виду: D ^ FuzzyD. Такое преобразование позволит выделить нечеткие термы каждого признака для выполнения дальнейшего извлечения ассоциативных правил.
При поиске ассоциативных правил важной характеристикой, используемой в процессе их извлечения, является поддержка наборов элементов, а также ее пороговое значение, задаваемое, как правило, пользователем в качестве параметра метода. В разработанном методе построения баз численных ассоциативных
правил поддержку транзакции Tj будем рассчитывать как пересечение функций принадлежности признаков, входящих в транзакцию Tj :
supp(Tj) = П Д a (Tj ) ,
ТаЄТ
где Д„(Tj) - значение функции принадлежности а-го
признака, вычисленное для транзакции Tj.
Тогда поддержка набора X определяется как сумма поддержек всех транзакций, содержащих это множество:
SUPP(X)= X SUPP(Tj) = X П Д a(Tj).
XcTj XcTj ТаeTj
Взвешенную поддержку набора X, учитывающую оценки индивидуальной информативности признаков, входящих в данный набор, определим следующим образом:
wsui
ipp(X)= Supp(X) X
wa
TaeX
где величина Xwa определяет оценку информатив-
Ta ^X
ности набора признаков X.
Взвешенная поддержка ассоциативного правила X ^ Y может быть определена по формуле:
wsupp(X ^ Y) = supp(X U Y) X wa .
TaeXUY
Будем считать X часто встречающимся взвешенным набором, если будет выполняться условие:
wsupp(X) > wminsupport,
где wminsupport - пороговое (минимально допустимое) значение взвешенной поддержки.
62
РИ, 2013, № 2
Для поиска часто встречающихся наборов X установим значение минимальной поддержки с учетом оценки информативности самого длинного набора признаков в базе данных D:
minsupport = а • wminsupport, где а - коэффициент, учитывающий значимость самой длинной транзакции Tj (|Tj| = т^и) в транзакционной базе данных D:
1
а =
Е wa
a:TaeTjJTj 1= max |TJ|
Tj eD
Часто встречающимися будем считать наборы X, для которых выполняется условие:
supp(X) > minsupport .
Важно отметить, что в некоторых случаях кроме часто встречающихся наборов X важными для извлечения новых знаний об исследуемых объектах или процессах являются нечастые наборы элементов, позволяющие выявлять косвенные (непрямые) ассоциации.
Если два набора элементов X и Y существенно зависят от третьего набора Z, тогда будем считать, что пара X и Y косвенно связана по набору Z: X ——^ Y . Наличие такой связи будем определять, исходя из истинности таких условий:
1) значение взвешенной поддержки набора X U Y меньше минимально допустимой:
wsupp(X U Y) < Pwsupp(XUY) ,
где Pwsupp(XUY) - пороговое значение взвешенной нечеткой поддержки между наборами X и Y - величина, указывающая на то, что они встречаются не часто. Значение Pwsupp(XUY) можно установить следующим образом: Pwsupp(XUY) = wminsupport ;
2) существует непустой набор Z (3Z ^ 0), для которого выполняются условия:
Jwsupp(X U z)>pwsupp(z); Jw (X, Z) > wmin;
[wsupp(YU Z)>pwsupp(z); и |w(y,z) > wmin,
где Pwsupp(z) - пороговое значение взвешенной нечеткой поддержки между некоторым набором и набором z, являющимся ключевым для появления пары наборов X и Y, - величина, указывающая на то, что наборы X и Y встречаются часто при наличии множества Z. Значение Pwsupp(Z) целесообразно установить следующим образом: Pwsupp(Z)> Pwsupp(XUY) ; w(X,Z) и w (Y,Z) - критерии оценивания взаимосвязи между множествами X и Z, а также Y и Z, соответственно; w min - минимально допустимое значение критерия оценивания взаимосвязи между множествами элементов базы транзакций.
РИ, 2013, № 2
В качестве меры w (X,Z) целесообразно использовать следующую формулу:
w (X.Z)=-E202L
Vp(X)p(Z) •
где p(X), p(Z), p(X IZ) - вероятность появления наборов X, Z и XIZ в базе данных D.
Таким образом, использование предложенных выше критериев и их пороговых значений позволит извлекать не только часто встречающиеся наборы, но и наборы, редко возникающие в исходной базе данных, однако являющиеся интересными и позволяющие выявлять новые знания об исследуемых объектах или процессах.
После выполнения подготовительных процедур, связанных с преобразованием транзакционной базы данных и определением пороговых значений поддержки и достоверности, выполняется извлечение ассоциативных правил и построение на их основе базы правил. В предложенном методе в целях сокращения пространства поиска используется свойство антимонотонности поддержки [1, 4] при создании новых наборов кандидатов.
Для построения базы численных ассоциативных правил задается транзакционная база данных D, содержащая транзакции Tj с числовыми значениями атрибутов Ta , выбирается при необходимости набор функций принадлежности М, используемых для разбиения диапазонов A ak численных признаков на нечеткие интервалы, определяется минимальная взвешенная поддержка wminsupport и взвешенная достоверность wminconfidence, а также другие пороговые значения (Pwsupp(XUY), Pwsupp(Z), wmin), необходимых для работы метода.
Затем каждоеj-е численное значение Taj a-го признака Ta в транзакции Tj преобразовывается к нечеткому значению fTaj:
fT aj = Е
k=1
М ak (Т a Є Tj)
I A ak |
N
где Мak(Ta e Tj) - функция принадлежности a-го признака k-му терму, вычисленная для признака Ta в транзакции Tj; |Aak| - ширина k-го диапазона разбиения a-го признака.
После этого вычисляется мощность каждого k-го диапазона разбиения a-го признака:
CA
ak
Nd
Е М ak(T, Є Tj)
j = 1
и находится максимальная величина для каждого a-го признака:
maxCA a
max
k=1,2,...,N
инт. a
CA
ak ,
a = 1Д...,|І|,
63
а также соответствующий величине maxCAa интервал разбиения max A a, который в дальнейшем процессе извлечения ассоциативных правил будет ис-пользов аться для представления нечетких характеристик элемента Ta .
Для каждого интервала max A a, a = 1,2,..., Ц вычисляется взвешенная поддержка wsupp(max Aa) по формулам, приведенным выше. Все интервалы max Aa, значения взвешенной поддержки которых не менее минимально допустимого порогового значения wminsupport, заносятся в массив FIi, содержащий одноэлементные часто встречающиеся наборы:
Их (T,)= IИ a (Т a Є Tj)
a:Ta eX 5
далее определяется взвешенная поддержка набора Х:
wsupp(X)= ZИX(Tj) Zwa
XeTj,TjeD TaeX •
Если значение wsupp(X) не менее минимально допустимого порога wminsupport , множество Х заносится в массив FId+i часто встречающихся наборов элементов, в противном случае - в массив редко встречающихся наборов RId+i.
FIi = {max Aa | wsupp(max Aa) > wminsupport}.
Интервалы с малыми значениями взвешенных поддержек wsupp(max Aa) заносятся в массив RIi редко встречающихся одноэлементных наборов:
RIi = {max Aa | wsupp(max Aa) < wminsupport}.
В случае, если множество FIi является пустым, метод прекращает свою работу, поскольку сгенерировать часто встречающиеся и достоверные ассоциативные правила не представляется возможным.
Затем на основе текущего множества FId d-элементных наборов генерируется множество Cd+i (d + 1)-элементных кандидатов в часто встречающиеся наборы. При этом аналогично методу Apriori [i-3] для уменьшения количества кандидатов на (d + !)-й итерации используется свойство антимонотонности поддержки, заключающееся в том, что поддержка любого множества элементов X не превышает значения минимальной поддержки любого его подмножества Y с X [i, 3]. Поэтому на этапе генерации множества кандидатов Cd+i отсекаются (не создаются и не заносятся в Cd+i) те наборы, которые не могут стать часто встречающимися, что определяется на основе информации о наборах с низкими значениями поддержки wsupp, рассчитанными на предыдущих этапах и хранящимися во множестве RI. Таким образом, при создании нового множества Cd+i кандидатов используется идея о том, что у набора, который потенциально является часто встречающимся, все подмножества также должны быть часто встречающимися (значения всех поддержек подмножеств должны быть не ниже порогового). Следовательно, кандидат X, содержащий подмножество Y с X, отброшенное на предыдущих этапах как нечасто встречающееся (Y є RI), не включается в следующее множество Cd+i кандидатов в часто встречающиеся наборы.
В случае, если FId+i ^ 0 , выполняются действия, аналогичные описанным выше. В противном случае считается, что дальнейшее генерирование часто встречающихся наборов является невозможным. Поэтому далее выполняется извлечение ассоциативных правил с приемлемым уровнем достоверности.
Ассоциативные правила будем генерировать исходя из того, что:
wconf (Х ^ Y) = wsupp(X ^ y) > wminconfidence, wsupp(X)
X П Y = 0.
Массив всех часто встречающихся наборов, найденных ранее, может быть сформирован как совокупность массивов FIC :
d
FI = U FIc .
C=i
Для каждого набора A є FI и каждого его подмножества X є A выполняются проверки:
wsupp(A) wsupp(X)
> wminconfidence
и
wsupp(A) wsupp(A \ X)
> wminconfidence
Пусть Y = A \ X . Тогда, если выполняется первое условие, то генерируется ассоциативное правило X ^ Y . Если выполняется второе условие, то генерируется правило Y ^ X . При невыполнении обоих условий генерации правила для A Є FI и X Є A не происходит.
После этого выполняется поиск интересных, но редко
встречающихся правил вида X-----> Y . Для этого
формируется множество RI:
d
RI = U RIc
C=i
После формирования множества Cd+i для каждого набора X = {,Т2,...,Td+i}e Cd+i (X = d +1) вычисляется его нечеткая характеристика для j -й транзакции Tj:
64
и для каждого его элемента A є RI выполняются следующие действия: X = A^| - последний элемент множества A; Y = A|a|_i - предпоследний элемент множества A; Z = A \ (X U Y). Тогда будем извлекать
РИ, 20i3, № 2
Z
ассоциативные правила вида X--> Y при выполне-
нии следующих условий:
wsupp(x U Y)< Pwsupp(xUY);
• (wsupp(x U z))n (wsupp(Y U z)) > pwSupp(z); w(x,z)n w(Y,z)> wmin•
После извлечения импликаций вида X ^ Y и
z
X-----> Y на их основе синтезируется база ассоциа-
тивных правил, описывающая исследуемые объекты и процессы.
Таким образом, предложенный метод синтеза баз численных ассоциативных правил предполагает использование критериев для оценивания косвенных ассоциаций, что понижает степень участия пользователя в процессе поиска ассоциативных правил, уменьшает вероятность извлечения правил, некорректно описывающих исследуемые объекты и процессы, а также позволяет извлекать не только часто встречающиеся наборы, но и редко возникающие интересные ассоциативные правила.
Для исследования эффективности предложенного метода построения баз численных ассоциативных правил оценим его вычислительную сложность O. Извлечение ассоциативных правил связано с построением множества часто встречающихся наборов FI, что в свою очередь требует определения значений поддержек каждого из кандидатов, максимальное количество которых не превышает Л . Сложность
этого процесса составит Ofi (II ) операций. Процесс извлечения ассоциативных правил из множества FI предполагает обработку каждого подмножества
Aє FI, на что потребуется Oизвл (|l| ) операций. Поэтому вычислительная сложность предложенного метода составит:
O = Ofi(Ц2) + O_(|I|2) = O(|l|2) .
Поскольку зависимость элементарных операций от размера входных данных является полиномиальной (квадратичной), можно сделать вывод о том, что предложенный метод является вычислительно эффективным.
Эксперименты и результаты
Для исследования свойств и характеристик предложенного метода построения баз численных ассоциативных правил была выполнена его программная реализация на языке программирования C#.
Экспериментальное исследование разработанного метода выполнялось с помощью тестовых транзакционных баз данных. Результаты исследований приведены в таблице, в которой используются такие обозна -чения: Nd - количество транзакций Tj в базе D; |l| -количество элементов (признаков), из которых могли
формироваться транзакции; |Tj| - среднее количество РИ, 2013, № 2
признаков в транзакциях базы D; |БП| - количество извлеченных ассоциативных правил в синтезированной базе правил БП; t - время работы метода.
Результаты
экспериментальных исследований
№ Характеристики базы транзакций D Результаты синтеза баз ассоциативных правил
ND II TJ |БП| t
1 10000 100 10 202 0,12
2 10000 500 10 246 0,41
3 10000 1000 10 281 0,92
4 50000 100 10 489 0,53
5 50000 500 20 519 2,27
6 50000 1000 30 621 5,82
7 100000 1000 10 802 6,13
8 100000 5000 20 858 31,05
9 100000 10000 30 992 67,58
Как видно из таблицы, время работы предложенного
метода существенно зависит от количества |l| элементов в базе D, что подтверждает оценку вычислительной сложности °<М ) метода. Кроме того, результаты экспериментов показали, что количество сгенерированных правил | БП| растет с увеличением парамет-
ров Nd, II и |Tj| базы транзакций D. Это обусловлено большим количеством различных элементов в множестве часто встречающихся наборов FI, что позволило сгенерировать больше численных ассоциативных правил.
Таким образом, результаты экспериментов показали, что разработанный метод позволяет извлекать из заданного набора транзакций численные ассоциативные правила, формируемые не только на основе часто встречающихся наборов, но и на основе наборов, редко возникающих в исходной базе данных, однако являющихся интересными и позволяющих выявлять новые знания об исследуемых объектах или процессах.
Выводы
Решена актуальная задача автоматизации построения баз численных ассоциативных правил.
Научная новизна работы заключается в том, что предложен метод синтеза баз численных ассоциативных правил, в котором выполняется фаззификация транзакционной базы данных, вычисляются пороговые значения поддержки, используются критерии для оценивания косвенных ассоциаций, что понижает степень участия пользователя в процессе поиска ассоциативных правил, а также позволяет извлекать не только часто встречающиеся наборы, но и редко возникающие интересные ассоциативные правила.
65
Практическая ценность полученных результатов заключается в том, что на основе предложенного метода разработано программное обеспечение, позволяющее выполнять построение баз численных ассоциативных правил.
Работа выполнена в рамках госбюджетной научноисследовательской темы Запорожского национального технического университета « Интеллектуальные информационные технологии автоматизации проектирования, моделирования, управления и диагностирования производственных процессов и систем» (номер государственной регистрации 0112U005350).
Литература: 1. Adamo J.-M. Data mining for association rules and sequential patterns: sequential and parallel algorithms / Adamo J.-M. New York : Springer-Verlag, 2001. 259 p. 2. Gkoulalas-Divanis A. Association Rule Hiding for Data Mining / A. Gkoulalas-Divanis,V. S. Verykios. New York: Springer-Verlag, 2010. 150 p. 3. Субботін С. О. Подання й обробка знань у системах штучного інтелекту та підтримки прийняття рішень: Навч. посібник / С. О. Субботін. Запоріжжя: ЗНТУ, 2008. 341 с. 4. Zhao Y. Post-mining of association rules: techniques for effective knowledge extraction / Y. Zhao, C. Zhang, L. Cao. New York : Information Science Reference, 2009. 372 p. 5. Khan M. S. Weighted Association Rule Mining from Binary and Fuzzy Data / M. S. Khan, M. Muyeba, F. Coenen // Lecture Notes in Computer Science. 2008. Vol. 5077. P. 200-212. 6. Koh Y. S. Rare Association Rule Mining and Knowledge Discovery / Y. S. Koh, N. Rountree. New York : Information Science
Reference, 2009. 320 p. 7. Субботін С. О. Неітеративні, еволюційні та мультиагентні методи синтезу нечітколо-гічних і нейромережних моделей: Монографія / С. О. Субботін, А. О. Олійник, О. О. Олійник; Під заг. ред. С. О. Суб-ботіна. Запоріжжя : ЗНТУ, 2009. 375 с. 8. Encyclopedia of artificial intelligence / Eds.: J. R. Dopico, J. D. de la Calle, A. P. Sierra. New York : Information Science Reference. 2009. Vol. 1-3. 1677 p.
Поступила в редколлегию 16.06.2013
Рецензент: д-р техн. наук, проф. Гоменюк С. И.
Олейник Андрей Александрович, канд. техн. наук, доцент кафедры программных средств Запорожского национального технического университета. Научные интересы: интеллектуальные системы поддержки принятия решений. Адрес: Украина, 69063, Запорожье, ул. Жуковского, 64.
Зайко Татьяна Анатольевна, аспирант кафедры программных средств Запорожского национального технического университета. Научные интересы: методы индуктивного обучения, ассоциативные правила. Адрес: Украина, 69063, Запорожье, ул. Жуковского, 64.
Субботин Сергей Александрович, кандидат технических наук, доцент, профессор кафедры программных средств Запорожского национального технического университета. Научные интересы: нейронные сети, нечёткая логика, интеллектуальные системы поддержки принятия решений. Адрес: Украина, 69063, Запорожье, ул. Жуковского, 64.
66
РИ, 2013, № 2
