CC BY
10ISSN 1814-1196 Научный вестник НГТУ том 59, № 2, 2015, с. 33-42
http://journals. nstu. ru/vestnik Science Bulletin of the NSTU Vol. 59, No. 2, 2015, pp. 33-42
ОБРАБОТКА ИНФОРМАЦИИ INFORMATION PROCESSING
УДК [004.45:654.1.02]:[002.55/.56:303.64]
Применение ассоциативных правил в информационно-аналитической системе оценки качества предоставления
л
телекоммуникационных услуг
ФАМ КУАНГ ХИЕП1, И.Ю. КВЯТКОВСКАЯ2
1 414056, РФ, г. Астрахань, ул. Татищева, 16, Астраханский государственный технический университет, аспирант. E-mail: phamhiephd@gmail.com
2 414056, РФ, г. Астрахань, ул. Татищева, 16, Астраханский государственный технический университет, доктор технических наук, профессор. E-mail: i.kvyat-kovskaya@astu. org
Современные процессы обработки данных на предприятиях характеризуются значительным увеличением объемов информации, в том числе числовой и нечисловой природы. В телекоммуникационных компаниях это базы данных, информация о клиентах, история транзакций данных, данные о продажах, данные ссудного счета, данные об использовании капитала, оценка качества предоставления услуг и др. Использования традиционных методов прикладной статистики и статистических пакетов недостаточно для принятия управленческих решений, основанных на обработке «живых» данных. Обработка больших объемов данных для нахождения скрытых данных характерна для задач оценки качества предоставления телекоммуникационных услуг, являющейся актуальной для корпоративных менеджеров в целях достижения преимущества бизнес-процессов. При обработке значительных объемов информации необходимо обнаруживать скрытые данные, используя алгоритмы интеллектуального анализа данных. В данной работе рассмотрен подход, использующий применение ассоциативных правил в информационно-аналитической системе процесса управления качеством предоставления услуг в телекоммуникационных компаниях. Дано определение ассоциативного правила, включающее значение поддержки и достоверности правил. Разработан метод, выполняющий поиск ассоциативных правил по алгоритму Аprюri. Приведена реализация алгоритма на примере оценки качества предоставления телекоммуникационных услуг в компании «VinaPhone» (Социалистическая Республика Вьетнам). Использованы данные оценки состояния качества предоставления услуг телекоммуникационной компании, полученные ежеквартально в течение 2014 года по семи показателям. Предложенный подход может быть использован при разработке программ повышения эффективности деятельности телекоммуникационных компаний, например, для формирования управляющих воздействий в задачах оценки качества организации на основе интеллектуального анализа многомерных данных.
Ключевые слова: знание, ассоциативное правило, элемент, транзакция, импликация, множество кандидатов, минимальная поддержка, минимальная достоверность, интеллектуальный анализ данных, Apriori, нахождение
DOI: 10.17212/1814-1196-2015-2-33-42
Статья получена 13 января 2015 г.
ВВЕДЕНИЕ
Для повышения эффективности деятельности по управлению качеством предоставления услуг телекоммуникационными предприятиями необходимо проведение оценки и анализа данных в ходе мониторинга параметрических показателей, полученных от поставщика. Для обработки подобных данных необходимо создать информационно-аналитическую систему, деятельность которой позволяет проводить контроль качества обслуживания, предоставлять информационную базу для анализа и принятия управленческих и инженерно-технических решений, обеспечивать обратную связь, необходимую для устойчивости и способности к развитию системы управления [1, 2]. Практика показывает, что в телекоммуникационных компаниях поток данных постоянно увеличивается, в том числе это базы данных, информация о клиентах, история транзакций данных, данные о продажах, данные ссудного счета, данные об использовании капитала и т. д. При обработке значительных объемов информации возможно обнаруживать скрытые данные, указывающие на наличие неявно выраженных закономерностей, с использованием алгоритмов интеллектуального анализа данных [3, 4, 5].
В данной работе предлагается рассмотреть применение алгоритма Apriori для поиска ассоциативных правил в ходе анализа полученных данных при оценке и управлении качеством телекоммуникационных услуг.
Для этого использован процесс обнаружения знаний в базах данных (Knowledge Discovery in Database - KDD) [6, 7, 8]. Задача KDD - извлечь из имеющихся данных ценную формацию, скрытую в них, а также выявить тенденции развития и разработки решений, которые влияют на них.
1. ОПРЕДЕЛЕНИЕ АССОЦИАТИВНОГО ПРАВИЛА
Задача анализа полученных результатов качества предоставления телекоммуникационных услуг заключается в нахождении всех наборов показателей, которые часто достигают нормативного значения. Для формального описания задачи и алгоритма ее решения в работе используются следующие термины и обозначения [9, 10].
Пусть имеется:
- множество объектов X = {xi}, i = 1, n, где xi - объекты, в нашем случае - состояния качества компании, зафиксированные в виде показателей, измеренных в моменты времени t, также называемых элементами (items);
- множество бинарных признаков (транзакций)^ = {f1, f2, ..., fm}, ff X^ {0, 1}, j = 1, m, где каждый признак f - набор элементов из X. Каждый признак fj представляет собой бинарный вектор, где fj(xi) = 1 если i-й объект присутствует в j-м признаке, иначе f(xi) = 0.
Каждому подмножеству с $ соответствует конъюнкция
£(x) = A f (x), x е X. f еС
Если ^(x) = 1, то признаки из совместно встречаются в x.
Частота появления, называемая поддержкой (support) Е в выборке X
1 п
у(Е) = 1 ), (1)
ni=1
где n - количество объектов, i - номер объекта.
Если у(Е) > в, то набор Е - часто встречающийся (frequent itemset). Параметр в называется минимальной поддержкой (minsup).
Пара непересекающихся наборов Е, у С ^ называется ассоциативным правилом (association rule) Е^ У, если выполнены два условия:
1) наборы Е и у совместно часто встречаются,
у(Еи у) > в;
2) если встречается Е, то часто встречается также и у ,
Т(УЮ- ^ > т,
где
- у(Еи у) - поддержка (support);
- У(Е!У) - достоверность (confidence) правила;
- параметр в - минимальная поддержка, minsup;
- параметр т - минимальная достоверность, min_Conf Следовательно, транзакция ^ содержит признак Е, некоторый набор
элементов из X, если Е с ^. Ассоциативным правилом называется импликация Е^ у, в которой наборы Е и у не пересекаются:
Е^ у: Е с X, у с X, Е^у = 0.
То есть ассоциативное правило описывает закономерности вида: «Из события Е следует событие у» или «если условие, то действие» [3, 4, 11-13].
Правило Е^ у: имеет поддержку s, если s % транзакций из ^ содержат Еиу, sup (Е^у) = sup^^r). Достоверность правила показывает, какова вероятность того, что из Е следует у. Правило Е ^ у справедливо с достоверностью с, если c % транзакций из ^, содержащих Е, также содержат у, сопА(Е^ у) = sup^^ysup^).
Поддержкой sup^^ у) правила Е^ у является поддержка множества Ей у: sup^^- у) = sup^^).
Достоверностью соиА(Е^у) правила Е^ у называют отношение его поддержки sup^ ^ у) к поддержке sup^) множества Е.
min sup и minConf являются параметрами алгоритма поиска ассоциативных правил.
2. АЛГОРИТМ APRЮRI
Для описания алгоритма Аргюй приведем следующие дополнительные термины и обозначения:
Ск — множество кандидатов (к-элементных наборов) потенциально частых, в соответствие которым ставится идентификатор транзакций (Т1ё), в которых они содержатся;
Ьк — множество часто встречающихся к-элементных наборов, чья поддержка не меньше заданной пользователем, Ьк = {с е Ск: 8иррой(с) >
ШШ_8Ир }.
Работа данного алгоритма состоит из нескольких шагов:
- на первом шаге общего алгоритма перечисляют одноэлементные часто встречающиеся наборы. При этом элементы могут находиться на любом уровне таксономии. Для этого необходимо сканировать все наборы данных и подсчитать для них поддержку, т. е. определить, сколько раз элемент встречается в базе;
- на следующих шагах проводят генерацию потенциально часто встречающихся наборов элементов, которые называются кандидатами, и подсчитывают поддержку для кандидатов.
Последовательность выполнения шагов алгоритма Аргюп представлена на рис. 1
Рис. 1. Схема алгоритма Аргюп для поиска ассоциативных правил
Детальное описание алгоритма может быть представлено следующим образом [3, 10, 11, 14, 15]:
Шаг 1. Присвоить к = 1 и сформировать множество одноэлементных кандидатов С1. Для этого вычислить I* множества предков элементов для каждого элемента, затем сформировать множество элементов и групп элементов, часто встречающихся в Ь1, посредством выполнения отбора из множества всех полученных одноэлементных наборов кандидатов, у которых поддержка не меньше минимально заданной пользователем (Min_sup).
Шаг 2. Присвоить к = 2 и создать множество к-элементных наборов кандидатов (обозначенное как Ск) в частые наборы. Если на данном шаге множество Ск пусто, то выполнение алгоритма завершается, иначе выполняется следующий шаг.
Шаг 3. Из множества Ск сформировать множество групп элементов, часто встречающихся в Ьк. Для этого выбираются все кандидаты из множества Ск , имеющие значение поддержки не менее Min_sup Д-.
Шаг 4. (к: = к +1) - к увеличивается на единицу, и выполнение алгоритма продолжается со второго шага.
Результатом работы алгоритма является объединение всех множеств Ьк для всех к.
Пример
Приведем пример построения ассоциативного правила на основе алгоритма Аргюй.
Использованы данные оценки состояния качества предоставления услуг в телекоммуникационной компании Вьетнама УтаРЬопе, полученные ежеквартально в течение 2014 года по семи показателям:
— к1 - время ответа о наличии или отсутствии возможности предоставления услуг с момента подачи потребителем заявления;
— к2 — количество потребителей, ожидающих ответа о возможности предоставления услуг сверх контрольного срока;
— к3 - количество потребителей, получивших ответ в контрольные сроки;
— к4 — среднее время ответа о возможности предоставления услуг с момента подачи потребителем заявления;
— к17 - степень удовлетворенности потребителей качеством обслуживания;
— к18 - степень удовлетворенности потребителей качеством информационного и материального обеспечения услуг;
— к19 - степень удовлетворенности потребителей техническими параметрами качества услуги.
Значения измеряемых показателей представлены в табл. 1.
Таблица 1
Исходные данные
Показатели Момент выполнения измерения
11 t2 13 t4 Ожидаемые значения (нормативные)
к1 4 5 3 4 < 3
к2 8 7 6 8 > 7
кз 8 7 4 7 > 7
к4 4 3 3 4 < 3
кц 17 18 19 19 > 19
к18 14 13 14 15 > 14
к19 9 7 9 8 > 9
Из заданных значений построим ассоциативные правила посредством применения алгоритма Аргюп. Зададим значение минимальной поддержки равным 2 (min_sup = 2), а минимальной достоверности - 80 % (шт_соп£ = = 80 %).
Из данных, представленных в табл. 2, для каждого состояния I, полученного путем измерения объекта исследования, определим перечень показателей, достигающих нормативных значений.
Таблица 2
Набор данных
Tid Items (Показатель достигает нормативного значения)
ti k2, k3, ki8, ki9
t2 k2, k3, k4
t3 ik I, ik ik 00 ik 9
tA k 0 7 ik 8
При этом получим множество одноэлементных кандидатов Сь Далее удалим все элементы, имеющие поддержку меньше минимально заданной (Support < min_sup). При этом получим множество Lj часто встречающихся одноэлементных наборов. Процесс будет повторяться до тех пор, пока множество кандидатов пусто. (Иллюстрация работы алгоритма приведена на рис. 2.)
Для множества показателей L3 = {k2, k3, kio} сформируем ассоциативные правила, затем вычислим значения поддержки и достоверности каждого правила. Результаты представлены в табл. 3.
Таблица 3
Значение поддержки и достоверности правил
Ассоциативные правила (Association Rule) Поддержка (Support(^uy)) Поддержка (Support (O) Достоверность (Confidence)
{k2 i k3, kio} 2/4 = 50 % 3/4 = 75 % 50/75 = 66,7 %
{k3 i k2, kio} 2/4 = 50 % 3/4 = 75 % 50/75 = 66,7 %
{kio i k2, k3} 2/4 = 50 % 3/4 = 75 % 50/75 = 66,7 %
{k2, k3 i kio} 2/4 = 50 % 3/4 = 75 % 50/75 = 66,7 %
{ k ik 00 i } 2/4 = 50 % 2/4 = 50 % 50/50 = i00 %
{k3, kio i k2} 2/4 = 50 % 2/4 = 50 % 50/50 = i00 %
База данных Б
Ф ормир ов ание одноэлементных кандидатов C1
Часто встречающиеся одноэлементные наборы L1
=?
itemsets Supp ort
{к2.кЭ}
{k2,t+J 1
Jk2_ И 7} 1
{k2.klS;
{И.к1Э} 1
Îk3.k4} 1
ik3. kl7! 1
|k3_ klS>
{k3_ tl9> 1
{k4_kl7} 1
ik4.klSÎ 1
Îk4.kl9î 1
Jkl7. klS} 2
Jkl7,kl3} 1
min_sup=2
Удаление элемен тов, имеющих Support < min_sup
Подключение элементов в наборе L2
Часто встречающиеся трехэлементные наборы
items et5 Support
{k2_ k3, klS} 2
Support < min_sup
Подключение элементов в наборе L3
C4=0
Рис. 2. Работа алгоритма Арпоп
Таким образом, с минимальной достоверностью 80 % (min_conf = 80 %) у нас идентифицируются два ассоциативных правила:
к к18> ^ {к3> к к]8> ^ {к2>
Правило <{к2, к]8> ^ №}> означает: если показатели к2 и к\% достигают значения ожидания (нормативного значения), то показатель к3 тоже достигает ожидаемого значения.
Правило <{к3, к]8> ^ {к2}> означает: если показатели к3 и к]8 достигают значения ожидания, то показатель к2 тоже достигает ожидаемого значения.
Приведенные примеры показывают возможность формирования управляющих воздействий для достижения желаемого общего значения, основан-
ного на достижении отдельных значений каждой части. Например, если показатель k3 должен достигать нормативного значения, тогда необходимо воздействовать на показатели k2 и ki8 совместно для достижения ими нормативных уровней.
ЗАКЛЮЧЕНИЕ
В данной работе предложен новый подход для извлечения отношений между показателями. Разработан метод для поиска ассоциативных правил в процессе управления качеством предоставления телекоммуникационных услуг на основе алгоритма Ariori. Описан алгоритм и приведен пример, иллюстрирующий применение алгоритма. Такой подход может быть применен, например, для формирования управляющих воздействий в задачах оценки качества организации на основе интеллектуального анализа многомерных данных.
СПИСОК ЛИТЕРАТУРЫ
1. Калачев Г.А., Стасюк О.Н. Информационно-аналитические системы: учебное пособие. - Омск: Изд-во СибАДИ, 2010. - 101 с.
2. Саблина И.В. Методические основы мониторинга факторов конкурентоспособности продукции // Вестник Астраханского государственного технического университета. Серия: Экономика. - 2010. - № 1. - С. 188-192.
3. Методы и модели анализа данных: OLAP и Data Mining / А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод. - СПб.: БХВ-Петербург, 2004. - 336 с.
4. Кричевский М.Л. Интеллектуальный анализ данных в менеджменте: учебное пособие. - СПб.: СПбГУАП, 2005. - 208 с.
5. Мусаев А.А., Барласов И.А. Алгоритмы Data Mining в задачах управления динамическими процессами // Труды СПИИРАН. - 2007. - Вып. 5. - С. 300-313.
6. Han J., Kamber M. Data Mining: concepts and techniques. - Amsterdam: Elsewier: Morgan Kaufmann Publ., 2001. - 550 p.
7. Liu C-Y., Sun Y.-F. Application of Data Mining in production quality management // IEEE Third International Symposium on Intelligent Information Technology Application, IITA 2009, Nan-chang, 21-22 November 2009. - Piscataway, New Jersey: IEEE, 2009. - Vol. 2. - P. 284-287. - doi: 10.1109/IITA.2009.81.
8. Weikum G., Theobald M. From information to knowledge: harvesting entities and relationships from web sources // Proceedings of the Twenty-Ninth ACM SIGMOD-SIGACTSIGART Symposium on Principles of Database Systems, P0DS'10, June 6-11, 2010, Indianapolis, Indiana, USA. -New York: ACM Press, 2010. - P. 65-76. - doi: 10.1145/1807085.1807097.
9. ВоронцовК.В. Методы поиска ассоциативных правил [Электронный ресурс]: курс лекций. - [Б. м.], 2014. - 29 с. - URL: http://www.machinelearning.ru/wiki/images/7/7c/Voron-ML-AssocRules-slides.pdf (дата обращения: 20.02.2015).
10. ДюкВ.А., СамойленкоА.П. Data Mining: учебный курс. - СПб.: Питер, 2001. - 368 с.
11. Шахиди А. Apriori - масштабируемый алгоритм поиска ассоциативных правил [Электронный ресурс] // BaseGroup Labs: технологии анализа данных: библиотека. - URL: http://www.basegroup.ru/library/analysis/association_rules/apriori/ (дата обращения: 10.03.2015).
12. Chen R.S., Wu R.C., Chen J.Y. Data Mining application in customer relationship management of credit card business // Proceedings of the 29th Annual International Computer Software and Applications Conference, COMPSAC 2005, Edinburgh, 26-28 July 2005. - Piscataway, New Jersey: IEEE, 2005. - Vol. 2. - P. 39-40. - doi: 10.1109/C0MPSAC.2005.67.
13. Gkoulalas-Divanis A., Verykios V.S. Association rule hiding for Data Mining. - Heidelberg: Springer; New York: Business Media, 2010. - 150 p. - (Advances in Database Systems; vol. 41). -doi: 10.1007/978-1-4419-6569-1.
14. Agrawal R., Imielinski T., Swami A. Mining association rules between sets of items in large databases // Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data (SIGMOD'93). - New York: ACM Press, 1993. - P. 207-216. - doi: 10.1145/170035.170072.
15. Zhang C., Zhang S. Association rule mining: models and algorithms. - Berlin; Heidelberg: Springer-Verlag, 2002. - 238 p. - (Lecture Notes in Artificial Intelligence; 2307). - doi: 10.1007/3540-46027-6.
Квятковская Ирина Юрьевна, доктор технических наук, профессор, директор Института информационных технологий и коммуникаций Астраханского государственного технического университета. Основные направления научных исследований - управление в социальных экономических системах, теория принятия решений. Имеет более 160 публикаций. E-mail: i.kvyatkovskaya@astu.org
Фам Куанг Хиеп, аспирант кафедры прикладной информатики в экономике Астраханского государственного технического университета. Основное направление научных исследований - теория принятия решений. Имеет 12 публикации. E-mail: pham-hiephd@gmail .com
Application of association rules in an information-analytical system of quality assessment of provisioning*
PHAMQUANGHIEP1, I.Y. KVYATKOVSKAYA2
1 Astrakhan State Technical University, 16, Tatisheva St., Astrakhan, 414056, Russian Federation, post-graduate student. E-mail: phamhiephd@gmail.com
2 Astrakhan Sstate Technical University, 16, Tatisheva St., Astrakhan, 414056, Russian Federation. D.Sc. (Eng.), professor. E-mail: i.kvyatkovskaya@astu.org
Nowadays data handling processes at enterprises are characterized by a significant increase in the volume of numerical and non-numerical information. In telecommunication companies this information includes databases, customer information, transaction history data, sales data, loan account data, the data on the use of assets, and service quality evaluation. Traditional methods of applied statistics and statistical packages are efficient in making management decisions based on the processing of "live" data. Processing of large amounts of data to find hidden data is typical of assessing the quality of providing telecommunication services, which is relevant for corporate managers in order to get benefits from business processes. When processing large amounts of data, it is necessary to detect hidden data using data mining algorithms. In this paper, we consider an approach which uses association rules in the information-analytical system of the quality management process of providing telecommunication services. The definition of the association rule including the meaning of support and reliability of rules is provided. A method that performs search of association rules by the Apriori algorithm has been developed. The implementation of the algorithm on an example of assessing the quality of telecommunications services in the VinaPhone Company (Republic of Vietnam) is shown. Assessment data on the quality of telecommunications services provided by the company in 2014 received on a quarterly basis using seven indicators is used. The proposed approach can be used to develop programs to improve efficiency of telecommunications companies, for example, to generate control actions in estimation problems of assessing the quality of an organization based on multidimensional data mining.
Keywords: knowledge, association rule, item, transaction, implication, set of candidates, minimum support, minimum validity, data mining, Apriori, finding
DOI: 10.17212/1814-1196-2015-2-33-42
Received 13 January 2015.
REFERENCES
1. Kalachev G.A., Stasyuk O.N. Informatsionno-analiticheskie sistemy [Information-analytical systems]. Omsk, SibADI Publ., 2010. 101 p.
2. Sablina I.V. Metodicheskie osnovy monitoringa faktorov konkurentosposobnosti produktsii [Methodical bases of monitoring of production competitiveness factors]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya: Ekonomika - Vestnik of Astrakhan state technical university. Series: Economics, 2010, no. 1, pp. 188-192.
3. Barsegyan A.A., Kupriyanov M.S., Stepanenko V.V., Kholod I.I. Metody i modeli analiza dannykh: OLAP i Data Mining [Methods and models of data analysis: OLAP and Data Mining]. St. Petersburg, BHV-Petersburg Publ., 2004. 336 p.
4. Krichevskii M.L. Intellektual'nyi analiz dannykh v menedzhmente [Data Mining in management]. St. Petersburg, SPbGUAP Publ., 2005. 208 p.
5. Musaev A.A., Barlasov I.A. Algoritmy Data Mining v zadachakh upravleniya dinamiches-kimi protsessami [Data Mining algorithms in the dynamic processes control tasks]. Trudy SPIIRAN -SPIIRASProceedings, 2007, iss. 5, pp. 300-313.
6. Han J., Kamber M. Data Mining: concepts and techniques. Amsterdam, Elsewier, Morgan Kaufmann Publ., 2001. 550 p.
7. Liu C.-Y., Sun Y.-F. Application of Data Mining in production quality management. IEEE Third International Symposium on Intelligent Information Technology Application, IITA 2009, Nan-chang, 21-22 November 2009, vol. 2, pp. 284-287. doi: 10.1109/IITA.2009.81
8. Weikum G., Theobald M. From information to knowledge: harvesting entities and relationships from web sources. Proceedings of the Twenty-Ninth ACM SIGMOD-SIGACTSIGART Symposium on Principles of Database Systems, PODS'10, June 6-11, 2010, Indianapolis, Indiana, USA. New York, ACM Press, 2010. pp. 65-76. doi: 10.1145/1807085. 1807097
9. Vorontsov K.V. Metodypoiska assotsiativnykhpravil [Methods of mining association rules]. Available at: http://www.machinelearning.ru/wiki/images/7/7c/V oron-ML-AssocRules-slides.pdf (accessed 20.02.2015)
10. Dyuk V.A., Samoilenko A.P. Data Mining. St. Petersburg, Piter Publ., 2001. 368 p. (In Russian)
11. Shakhidi A. Apriori - masshtabiruemyi algoritm poiska assotsiativnykh pravil [Apriori -scalable algorithm for mining association rules]. Available at: http://www.basegroup.ru/library/ana-lysis/association_rules/apriori/ (accessed 10.03.2015)
12. Chen R.S., Wu R.C., Chen J.Y. Data Mining application in customer relationship management of credit card business. Proceedings of the 29th Annual International Conference on Computer Software and Applications Conference, 2005, vol. 2, pp. 39-40. doi: 10.1109/C0MPSAC.2005.67
13. Gkoulalas-Divanis A., Verykios V.S. Association rule hiding for Data Mining. Heidelberg, Springer, New York, Business Media, 2010. 150 p. doi: 10.1007/978-1-4419-6569-1
14. Agrawal R., Imielinski T., Swami A. Mining association rules between sets of items in large databases. Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data (SIGMOD'93), Washington, District of Columbia, USA, May 1993, New York, ACM Press, 1993, pp. 207-216. doi: 10.1145/170035.170072.
15. Zhang C., Zhang S. Association rule mining: models and algorithms. Berlin, Heidelberg, Springer-Verlag, 2002. 238 p. doi: 10.1007/3-540-46027-6
ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 59, No. 2, 2015, pp. 33-42
