CC BY
51
Раздел 1
Искусственный интеллект и нечеткие системы
УДК 007:681.518.2
В.И. Городецкий1, В.В. Самойлов
ВИЗУАЛЬНЫЙ СИНТЕЗ КЛАССИФИЦИРУЮЩИХ ПРЕДИКАТОВ И ИХ ИСПОЛЬЗОВАНИЕ В ПРОЦЕДУРАХ МЕТА-К^ССИФИКАЦИИ
.
данных, при условии, что в базе данных имеются атрибуты, измеренные в числовой шкале, и при этом размерность баз данных достаточно велика. Ключевыми компонентами предложенного подхода являются две процедуры: 1) процедура визуальной разработки классифицирующих предикатов, которые принадлежат классу произвольных формул, заданных над множеством предикатов с линейными
. -щие границы достаточно общего вида, включая нелинейные и невыпуклые, а также дает возможность формировать многосвязные области локализации кластеров данных; 2) процедура построения мета-классификатора, который обрабатывает решения, даваемые различными классификаторами, сгенерированными на основе пер. -точные и эффективные классификаторы, обладающие свойствами масштабируемости, расширяемости и адаптивности.
1. .
десятилетия относится к числу ключевых в области разработки интеллектуальных систем (ИС). Сейчас она становится еще более актуальной как в связи с расширением области приложений ИС, так и в связи с накоплением больших объемов данных, рассматривамых как источники новых знаний большой коммерческой ценности. В настоящее время эта проблема является предметом интенсивных исследова-, ,
KDD- Knowledge Discovery from Data.
Под извлечением знаний из данных понимается итеративная и интерактивная ,
полезных для решения практических задач, новых и, в конечном счете, понятных фрагментов ("па^ернов") знаний в данных ([Fayyad-96]). Смысл терминов, использованных в предыдущем предложении, таков. Данные - это набор записей ("прецедентов") базы данных, называемых также "фжтами". Фрагмент знаний (" ") - -. , ,
часто встречающиеся подпоследовательности (если столбцы базы данных являются позиционными переменными) и др. Эти фрагменты являются "потенциально полезными", если их использование в приложениях, скажем, для классификации состояний технической системы, управления и т.п., позволяет получить практиче-, , ,
больший доход и т.п. Понятность фрагмента означает, что он может быть интерпретирован в терминах решаемой прикладной задачи или он может быть объяснен.
В практике извлечения знаний из данных различают два наиболее важных класса задач: 1) задача предсказания и 2) задача описания. Цель первой из них - на основе информации о значениях некоторых переменных в строке базы данных оценить значения других переменных в этой же строке. Цель второй задачи - построение математической модели, полезной для решения некоторой прикладной .
Обе названные задачи разбиваются на ряд конкретных подзадач, в частности, таких (раууа^96]):
1. Классификация - отображение множества записей базы данных в дискретное
.
2. Регрессия - отыскание функции, которая вектору непрерывных переменных строки БД, соответствующих моменту времени 1к, ставит в соответствие значение этих же или других переменных в момент времени 1к+1. Заметим, что в общем случае переменные могут и не зависеть от времени.
3. Кластеризация - отыскание конечного множества категорий, которые разбивают данные на непересекающиеся подмножества данных. При этом полага-
,
собой и отличаются от данных других подмножеств.
4. Сжатие - более компактное описание (подмножеств) данных, например в терминах математических ожиданий и ковариационных матриц, в терминах функциональных зависимостей и т.п.
5. Обнаружение зависимостей - поиск наиболее существенных с некоторой прагматической точки зрения зависимостей между переменными - столбцами
.
6. - -
ческой точки зрения отклонений значений переменных от их нормативных .
Более подробную информацию о классах задач и используемых методах в области извлечения знаний из данных можно найти в работах [Загоруйко-99], [Вга^ 1еу-98], [Б1еИ:епсЬ-81], [Баууа^96], [Frawley-91], [Kloesgen-95], [Ьш-Бе11опо-98], [МаШеш-93], [МсЬаМу-83], [М1сИакку-90], [Ршп1ап-83], [Ошп1ап-93].
В настоящей работе рассматривается одна из наиболее распространенных в практике задач обнаружения знаний из данных, а именно, задача классификации. , -,
новые. Одна из них - это извлечение знаний из баз данных, содержащих вместе
1 Работа выполнена при поддержке РФФИ, грант №99-01-00733
непрерывные и дискретные величины. Другая проблема - это обработка данных большого объема, когда число атрибутов базы данных исчисляется сотнями, а число записей в базах данных исчисляется сотнями тысяч и миллионами. Как правило, такие базы данных являются распределенными.
Традиционный подход к извлечению знаний из разнотипных данных - это дискретизация непрерывных переменных и замена каждого числового атрибута множеством высказываний о принадлежности его значения одному из введенных интервалов. Тогда все атрибуты оказываются дискретными, а для таких задач имеются методы и инструментальные средства извлечения правил, описанные, например, в работах [Dietterich-81]-CHCTeMa INDUCE, [Quillian-83]-CHCTeMa ID3, [Ошп1ап-93]-система C4.5, [Cohen-95]-CHCTeMa RIPPER, [Gorodetski-96]-CHCTeMa INFORM и др.
С формальной точки зрения переход к дискретным описаниям путем дискретизации интервалов изменения непрерывных переменных может быть оправдан. Однако в результате такого преобразования размерность задачи может значитель-, .
В данной работе рассматривается иной подход к последней задаче, который может интерпретироваться как обобщение традиционного подхода. В следующем разделе описывается основная идея подхода. В разделе 3 описывается идея визуального метода построения классифицирующих предикатов, которые далее используются вместо непрерывных атрибутов, описывающих данные. В разделе 4 описывается кратко общая схема преобразования непрерывных атрибутов баз данных к дискретной форме, в основу которой положена разработанная процедура визуализации. В разделе 5 описывается общая идея мета-классификатора, который позволяет решать задачу извлечения правил из распределенных баз данных боль, , -классифицирующие предикаты, синтезированные визуальным образом. В заключении формулируются основные результаты работы.
2. Основная идея подхода. Некоторые идеи рассматриваемого в данной работе подхода к построению решающих правил в задачах классификации ранее были высказаны в статье [Skormin-97]. Данная работа может рассматриваться как развитие и обобщение упомянутой работы, имеющее целью формирование технологии извлечения правил из данных, представленных в разнотипных шкалах, среди которых обязательно присутствуют данные в непрерывной (числовой) шкале.
Смысл описываемого далее подхода достаточно прост и состоит в следующем. Предположим, строки базы данных принадлежат двум различным кластерам ( ), ,
, . данных это отображается меткой состояния, например, "0" и "1". Рассмотрим проекции кластеров данных на некоторое подпространство Nk переменных
Xk =< xk ,xk ,...xk > исходного пространства N переменных X =< x1, x2,...xn >, Nk cN . При этом будем полагать, что размерность подпространства Nk небольшая, например, к=2 или 3. Предположим, что имеется
алгоритм, который строит в этом подпространстве функцию /(Xк ) = 0 , (разделяющую границу), которая на всех прецедентах по одну этой границы сторону принимает положительные значения, а по другую - отрицательные значения. Назовем предикат
Г" истина", если /(X, ) > 0,
рк = р(/(хк)) = \" " ;; хк; < (1)
I "ложно",если J(Хк) < 0.
классифицирующим предикатом.
В том случае, когда размерность такого подпространства равна 2, проекции кластеров данных можно визуально представить на плоскости. Последнее дает возможность вовлекать человека в процесс обработки данных, возлагая на него функции "рисования" разделяющих линий для кластеров данных, относящихся к .
генерации уравнений этих линий и формального описания ограниченных ими об, . программная поддержка разработана. Она позволяет автоматически генерировать формальное описание невыпуклых и многосвязных областей на плоскости, ап- ( ), -ответствующий классифицирующий предикат. Этот предикат далее рассматривается как новая переменная, измеренная в булевой шкале, которая может быть включена в качестве столбца в базу обучающих данных вместо двух непрерывных .
много. Каждый из них в отдельности может рассматриваться как простое решающее правило, хотя, возможно, и не обладающее требуемой точностью классификации данных. В задаче мета-классификации (см. раздел 5) множество классифицирующих предикатов трактуется как множество решающих правил (" "), таблица их значений на множестве прецедентов (строк баз данных) -как данные для обучения мета.
Ключевой процедурой в общей технологии преобразования непрерывных данных в дискретную (булеву) шкалу и при формировании базовых классификаторов является процедура визуального
формирования классифицирующих .
3. Визуальная процедура
формирования классифици-Рис.1. Проекция кластеров данных и рующих предикатов. Рассмотрим
линейной разделяющей границы на проекцию кластеров данных на
двухмерное подпространство подпространство двух переменных,
Рис.2.Уравнение линейной разделяющей границы и соответствующий классифицирующий предикат
например на подпространство <х16, х19 >. На рис.1 представлена компьютерная
распечатка такой проекции для некоторого набора данных, содержащих два кластера. На этой распечатке символом "+" обозначены представители одного класса состояний (в нашем
случае это класс "0" - техниче-), -
лом "о" -представители другого ( "1" -). -
, -
на пользователем и рассматрива-
ется им как разделяющая граница кластеров. Естественно, в общем случае нельзя разделить кластеры ,
изображенной на рис.1 прямой линии. Пусть пользователь проводит такую линию вручную, при этом он строит ее таким образом, чтобы большая часть представителей одного из кластеров находилась по одну сторону прямой, а большая часть представителей другого кластера находилась по другую ее сторону, т.е. пусть пользователь пытается выполнить условия
N11 > М10, М00 > N 01, где N11 - число представителей кластера "1", для которого предикат
Р(/(х16, х19 )) имеет значение "истинно"; N01 - число представителей кластера "1", для которого предикат Р(/(х16, х19 )) имеет значение "ложно"; М10 - число представителей кластера "0", для которого предикат Р(/(х16, х19 )) имеет значение "истинно"; М00 - число представителей кластера "0", для которого предикат Р(/ (х16, х19 )) имеет значение "ложно".
Ясно, что N11 + М00) представителей экспериментальных данных классифицируются правильно, а (М10 + N01) представителей - неправильно. Например, для проекции кластеров, представленных на рис.1, эти числа таковы:
Ы,, =39, М
10
=0, Ы01 =10, М00 =24.
На основе этих данных можно оценить вероятностные характеристики правильного распознавания представителей каждого их классов и ошибки первого и второго рода, т.е. элементы следующей матрицы:
Р( Рк ) ■
Рк (1/1) Рк (1/0) Рк (0/1) Рк (0/0)
(2)
Заметим, что первый элемент в круглых скобках отвечает имени класса, который приписывается классифицирующим предикатом, а второй отвечает истинному имени класса. Вычисление эмпирических вероятностей может быть выполнено по таким формулам:
рк (1 / 1)=К„(к)/[Кп(к)+М 10 (к)];
Рк (1 / 0) =М 10 (к)/[К„(к)+М10(к)];
Рк (0 /1) =К 01 (к)/[М оо (к)+К 01 (к)];
рк (0/0) =М00 (к)/[К01 (к)+ М оо (к)].
На рис.З для рассматриваемого примера даны значения элементов матрицы (2), представленные в той ,
.
Однако в разработанном инструментарии возможности визуального Рис.3. Вероятностные формирования классифицирующих
, -классифицирующего предиката, вателю, не ограничиваются линейны-
представленного на рис.2 ми разделяющими границам. Предос-
тавляемые возможности существенно шире. Пользователю предоставляется возможность "обрамлять" любые, даже несвязные области плоскости кусочнолинейными невыпуклыми кривыми. При этом для каждой из таких областей система автоматически формирует классифицирующий предикат в виде конъюнкции предикатов с отрицаниями или без них, отвечающих "кускам" линейных границ. Если представители класса локализуются в несвязных областях, то соответствующий классифицирующий предикат формируется как дизъюнкция предикатов, отвечающих отдельным областям плоскости.
, -цирующих предикатов позволяет создавать любые описания областей, которые можно представить в терминах формул, определенных над множеством предикатов с линейными арифметическими термами и заданных с помощью логических связок (конъюнкции, дизъюнкции и отрицания). Пример такого более общего случая (по сравнению с ранее рассмотренным примером) приведен на рис.4.
На этом рисунке представлен случай, когда пользователь на плоскости аргументов <хп, х15> ввел две линейные разделяющие границы, которым соответствуют такие предикаты:
Р1 = (0.226Хи + 0.947Х15 - 29.52 > 0), Р2 = (-0.256Хи + 0.967X15 -14.79 > 0).
Оба эти предиката имеют значение "истинно" в областях, лежащих выше .
предикатов. Заштрихованная область имеет нелинейную невыпуклую границу. Ей соответствует классифицирующий предикат, представляемый формулой, определенной над предикатами Р1 иР2, имеющей такой вид:
Р3 =(—Р1&Р2)у(Р1&—Р2)у(—Р1&—Р2)
Рис. 4. Распечатка (1) визуального интерфейса для рисования кусочно-линейных разделяющих границ (слева), (2) автоматически сгенерированного классифицирующего предиката (справа вверху) и (3) результатов оценки эмпирических вероятностей правильной классификации и ошибок первого и второго рода (справа внизу)
4. Общая схема технологии преобразования числовых данных в дискретную форму представления. Очев идно, что при применении визуального интерфейса к числовым данным предварительно необходимо каким-то образом опре, .
количество столбцов базы данных с числовыми атрибутами равно п, то тогда число возможных пар равно п(п-1)/2. При большом значении п перебор подпространств может представлять собой достаточно громоздкую в вычислительном отношении задачу. Если же использовать все двухмерные подпространства, то тогда число новых булевых переменных может оказаться слишком большим. Естественно, что выбор числа и номенклатуры двухмерных подпространств, которые могут рассматриваться как претенденты для формирования классифицирующих предикатов и генерации на их основе новых (булевых) переменных, представляет собой неформальный процесс и каких бы то ни было строгих подходов к ее решению не существует. Однако возможны некоторые процедуры эвристического характера, которые позволяют выбрать из всего множества двухмерных подпространств те из них, которые представляются наиболее "перспективными". Для этого обычно используют различные эвристические меры расстояния между парой кластеров данных в некотором подпространстве, которые позволяют упорядочить все двухмерных подпространства по этой мере или выбрать только некоторое их количество [Бкогшт-97]. Авторами разработаны некоторые варианты таких эвристических
мер. В частности, исследованы меры расстояния между парой кластеров данных, представленные равенствами (3), (4) и (5).
А2,,, = (КХК0Г ТКг!Т:ДХ1(Г) -х№)] 2 О + [х 1Г) -х$)] 2/</, (3)
м А,] = ™х, (0)/^2 + ^х9 (0)/з2 + Vх1 (1)/О2 + (1)/ 3 +
9 с (4)
+ (Ах,0’1)2/^2 + (Ах^)2/^,
где О,, 3,-стандартные отклонения переменных х1 и х*, оцененные по множеству данных обоих кластеров, (Ах1°’1)2,(Ах”’1)2 - квадраты расстояний между математическими ожиданиями (или их эмпирическими оценками) в пространстве рассматриваемых переменных х{ , х* в кластерах данных классов "О" и "1"соот-.
,
, -
нений достаточно точны.
Бм>2,,, = (кК К о) -1 ХК:, ХК=Х а1([х1(г) - х0^)]2/о,2 + х/г) - х,(;)]2О,2}, (5)
где а° , а\ - веса реализаций кластеров "О" и "1" соответственно. Эти веса вычисляются по формулам:
Ах, = (х,° - х1)/3,, = (х, - х,)/3,, ь = ^(Ах,)2 +(Ах,)2 ,
ес =< / ъ, ^ / ь >=< е1, , еч > .
Для всех прецедентов кластера "1" (г=1,2,..., К1)
^ =1 е(х1 (г) - х1)/з, +е,(х,(г) - х,0)/
г | ' I ' С ' С
е(х1 (г) - х1)/ О + е,(х,(г) - х,)/
1 , li/Ч0 > й\
а \o.ifdl < dlr.
Для всех прецедентов кластера "О" (;=1,2,..., К0)
= | е1(х0 (;) - х1)/а, + е, (х, (;) - х,0)/ 3с ^ =\ е,(х°(;) - х,1)/3, + ес (хС(;) - х,)/зс
о ,1^; > <,
а 10, if dls < <'
Детальное объяснение смысла весов а° , а\ можно найти в работе [8когшт-
99]. Заметим, что меры расстояний (3) и (4) аддитивны, и поэтому для них существует простая оптимизационная процедура упорядочения двухмерных подпространств ([8когшш-99]).
,
шкалу для последующего извлечения из них правил, такова:
1. -ким эвристическим метрикам типа (3), (4) и/или (5).
2.
двухмерных подпространств с помощью средств визуализации, описанных в 3.
3.
данных и удаление из нее столбцов с числовыми атрибутами.
Результатом этих операций будет база данных в дискретной форме. Заметим, что новые "признаки", роль которых играют сформированные классифицирующие , , " " -, .
5. Мета-классификатор. Как уже отмечалось, современные базы данных, вовлекаемые в процесс извлечения знаний, как правило, распределены на множестве компьютеров и имеют большой объем. Эта особенность делает неэффективными многие из методов, зарекомендовавших себя положительно в предыдущем опыте. Кроме того, различные сегменты данных распределенной базы могут иметь , -лично. Примером могут служить базы данных, накопленные различными банками , .
, - . причины привели к развитию распределенных методов извлечения знаний из данных, среди которых активно развивается идея мета-обучения ([СЬап-98], [Ьее-98], [Ьее-99]). Авторы рассматривают мета-обучение как технологию, базовая идея которой состоит в том, что запускается параллельно несколько процессов обучения каждый на своем подмножестве обучающих данных, распределенных в сети, с последующим обобщением решений локальных классификаторов с помощью специального алгоритма, называемого мета-классификатором. Мета-классификатор получает результаты от множества базовых классификаторов, распределенных, работающих по разным методам и алгоритмам, и принимает свое решение. Таким об,
решающих алгоритмов, а мета-классификатор - как алгоритм, обобщающий их .
Сама по себе идея коллектива решающих алгоритмов не нова, известны работы 70-80-х годов, посвященные такому подходу, хорошо известны схемы объединения решений на основе голосования или арбитража ([Расстригин-81]). Новым в идее мета-классификатора является то, что, во-первых, в отличие от схем голосования и арбитража, мета-классификатор может принимать решение, которое не совпадает ни с одним из решений, принятых базовыми классификаторами, во-вторых, он принимает решение на основе собственной базы знаний, которая фор-
мируется с помощью так называемых мета-данных для обучения. Мета-данные для обучения - это множество строк, каждая из которых состоит из решений, принятых отдельными базовыми классификаторами для некоторого прецедента данных, дополненная интерпретацией, т.е. правильным решением. При этом оказывается, что для обучения мета-классификатора нет необходимости разрабатывать специальные алгоритмы обучения, а мета - данные для его обучения могут быть сгенерированы автоматически в процессе тестирования множества базовых классификаторов. Подчеркнем, что мета-данные - это строки булевых переменных, если решается задача бинарной классификации2, или строки категориальных (символьных) данных в остальных случаях. Заметим, что сама по себе схема мета-классификации может содержать несколько уровней.
Достоинства использования мета-классификаторов достаточно очевидны, в частности, они таковы:
1. Повышается точность классификации. Это достигается, в частности, путем определенной специализации классификаторов (каждый из них может настраиваться на определенный класс, который он уверенно отделяет от всех остальных, иными словами, отделяет "свое" от "чужого").
2. Повышается эффективность системы, поскольку при этом одна "тяжелая" система классификации заменяется множеством взаимодействующих "легких" систем, каждая из которых имеет различные входные точки сети и работает с ограниченным объемом данных. Например, в системах информационной безопасности один из классификаторов работает с /P-пакетами, имеющими цель атаки на протокол, другая - с атаками на хост (login, password, и т.д.) и пр. При этом мета-классификатор комбинирует все имеющиеся факты ( ).
3. Обеспечивается расширяемость системы, т.е. способность использовать (включать в свою схему) новые и новые алгоритмы.
4. Обеспечивается масштабируемость, т.е. способность работать с возрастающими объемами данных.
5. Обеспечивается адаптивность (способность вовлекать в процесс обучения новую информацию по мере того, как она становится доступной.
Имеется и ряд других достоинств.
Обратимся теперь к классифицирующим предикатам, которые могут быть достаточно просто построены на основе визуального подхода, изложенного в разделах 2, 3, 4.
( ),
, , "б^овый классификатор" в том смысле, в котором это понятие рассматривается в
- . -
( ) ,
, ,
является (в ранее введенных терминах) строкой мета-обучающих данных. По-
2 Известно, что задачу классификации с произвольным множеством классов можно свести к последовательности задач бинарной классификации с помощью так называемых бинарных решающих деревьев.
скольку в процессе обучения (поиска) классифицирующих предикатов в исходную базу данных добавляется столбец для каждого из построенных классифицирующих , ( столбцов с исходными числовыми атрибутами) является таблицей мета. ,
классификации в точности попадает под ту, которую принято называть схемой ме--.
Дальнейшая схема обработки данных для извлечения правил по существу является схемой обучения мета-классификатора. Эта фаза может выполняться уже с помощью одного из известных инструментальных средств (Dietterich-81], [Quillian-83], [Ouinlan-93], [Cohen-95], [Gorodetski-96]).
Заключение. В данной работе предложена технология извлечения правил из распределенных баз данных. Технология ориентирована на случай, когда в базах данных имеются атрибуты, измеренные в числовой шкале, и при этом размерность баз данных достаточно велика. Основу технологии составляют две процедуры.
Процедура визуальной разработки классифицирующих предикатов, которые принадлежат классу произвольных формул, заданных над множеством предикатов с линейными арифметическими термами. Это дает возможность строить разделяющие границы достаточно общего вида, включая нелинейные и невыпуклые, а также дает возможность формировать многосвязные области локализации класте-.
Процедура построения мета-классификатора, который обобщает решения, даваемые различными базовыми классификаторами. Использование этой процедуры дает возможность строить точные и эффективные классификаторы, обладающие
, .
Первая из процедур эффективно решает задачу преобразования данных, представленных в числовой шкале, в дискретную форму. Это, в свою очередь, дает возможность использовать стандартные методы и инструментальные средства извлечения правил из дискретных данных. В случае больших распределенных баз данных классифицирующие предикаты можно интерпретировать как распределенные базовые классификаторы, что дает возможность использовать все преимущества, которыми обладают процедуры иерархического принятия решений, построенные на основе идеи мета-классификации.
Предложенная технология тестировалась на ряде практических приложений. ,
блоков авиационной электроники по истории условий эксплуатации. Программное , -ное для тестирования технологии, разработано в инструментальной среде Visual C++ 5.0 + Access97.
ЛИТЕРАТУРА
1. [Загоруйко-99]. Загоруйко Н.Г. (1999). Прикладные методы анализа данных и знаний. Новосибирск: Институт математики.
2. [Растригин-81] Растригин J1.A., Эренштейн Р.Х.. Метод коллективного распознавания. Москва: Энергоиздат, "/ Библиотека по автоматике. Вып. 615.
3. [Bradley et al-98] Bradley P., Fayyad U., Mangasarian O.. (1998), Data Mining: Overview and Optimization Opportunity. Http://www.research.microsoft.com/datamine/.
4. [Chan-98] Chan P., Stolfo S. (1998), Towards Scalable Learning with Non-uniform Class and Cost Distribution: A Case Study in Credit Card Fraud Detection. Proceedings of the 4th International Conference on Knowledge Discovery and Data Mining, New York, NY, August
1998. AAAI Press.
5. [Cohen-95] Cohen W.W. (1995), Fast effective rule induction. Machine Learning: the 12th International Conference, Lake Taho, CA, Morgan Kaufmann.
6. [Dietterich- 81] Dietterich T.C., Michalski R.S.. (1981), Inductive Learning of Structural Descriptions: Evaluation Criteria and Comparative Review of Selected Method. Artificial Intelligence, v.16, 3.
7. [Fayyad-96]. Fayyad U.M., Piatetsky-Shapiro G., Smyth P. (1995), From Data Mining to Knowledge Discovery: An Overview. "Advances in Knowledge Discovery and Data Mining" (Eds. U.M.Fayyad, G.Piatetsky-Shapiro, P.Smyth), Cambridge, Mass: MIT Press, pp. 1-34.
8. [Frawley-91]. Frawley W.J., Piatetsky-Shapiro G., and Matheus C.J. (1991), Knowledge Discovery in Data Bases: An Overview. "Knowledge Discovery in Data Bases" (Eds. G.Piatetsky-Shapiro and W.J.Frawley), Cambridge, Mass: AAAI/MIT Press, pp.1-27.
9. [Gorodetski-96]. Gorodetski V., Karsaev O. (1996,) Algorithm of Rule Extraction from Learning Data. Proceedings of the 8th International Conference (joint Europe-USA) "Expert Systems Application & Artificial Intelligence"" (EXPERSYS-96). IITT International,Paris, France, pp.133-138.
10. [Kloesgen-95]. Kloesgen W. (1995), Versatile Discovery System. In "Knowledge Discovery in Data Bases" (Eds. U.M.Fayyad, G.Piatetsky-Shapiro, P.Smyth), Cambridge, Mass: MIT Press, pp. 249-271.
11. [Lee-98] W. Lee, S. J. Stolfo, and K. W. Mok. (1998), Mining audit data to build intrusion detection models. Proceedings of the 4th International Conference on Knowledge Discovery and Data Mining, New York, NY, August 1998. AAAI Press.
12. [Lee-99] W. Lee and S. J. Stolfo, K.Mok. (1999), A Data mining Framework for Building Intrusion Detection Model. Proceedings of the IEEE Symposium on Security and Privacy,
1999. IEEE Computer Press.
13. [Liu-Setiono-98]. Liu H., Setiono R. (1998), Scalable Feature selection for Large Sized Databases. Proceedings of World Congress on Expert Systems (Eds. F.Cantu, R.Soto, J.Liebowitz, and E. Sucar) v.2, Cognizant Communication Corporation, Mexico-New-York. pp.521-528.
14. [Matheus et al-93]. Matheus C.J., Chan P., and Piatetsky G.-Shapiro. (1993), Systems for Knowledge Discovery. IEEE Trans. On Knowledge and Data Engineering, 5 (6), pp.903-913.
15. [Michalsky-83]. Michalsky R.S. (1983), A Theory and Methodology of Inductive Learning. Artificial Intelligence, 20, v.2, pp.111-161.
16. [Michalsky-90]. Michalsky R.S. (1990), Learning Flexible Concepts: Fundamental Ideas and Methodology. Machine Learning: An Artificial Intelligence Approach. v.III. (Eds. Kondratoff Y. and Michalsky R.S.), Morgan Kaufmann Publishers.
17. [Quinlan-83]. Quinlan J.R. (1983), Inductive Inference as a Tool for the Construction of High-Performance Programs. In Machine Learning: An Artificial Intelligence Approach. (ed. R.S. Michalsky, J.G.Carbonell, T.M.Mitchell),-Palo Alto, Tioga Publishing Company.
18. [Ouinlan-93] Quinlan J.R. (1993), C4.5:program for machine learning. Morgan Kaufman, San Mateo, CA.
19. [Skormin-97] Skormin V., Popyack L. (1997), Reliability of Avionics and “History of Abuse”. A Prognostic Technique. In Proceedings of ICI&C ‘97, St. Petersburg. pp. Lxxvi-lxxxii.
20. [Skormin-99] Skormin V.A., Gorodetski V.I., Popyack L.J. (1999), Data Mining Technology for Failure Prognostics of Avionics, IEEE Transactions on Aerospace and Electronic Systems. (принято к публикации в 1999 г.)
