CC BY
122
Вестник РУДН, Серия Математика. Информатика. Физика. № 2. 2008. с. 19-29 19
Теоретические основы информатики
УДК 004.891
Об одном методе анализа больших массивов структур с частично детерминированными свойствами объектов
А. А. Липкин
Отделение интеллектуальных систем в гуманитарной сфере Российский государственный гуманитарный университет Миусская пл., д. 6, Москва, Россия, 125267
ДСМ-метод автоматического порождения гипотез — это один из наиболее перспективных методов Интеллектуального анализа данных (ИАД, Data Mining). Цель данного метода состоит в том, чтобы на основании имеющейся базы фактов сделать предположения о причинах наличия или отсутствия определённых свойств (целевые свойства) у объекта. Этот метод предложил В. К. Финн [1]. Примером задач, решаемых ДСМ-методом, может служить выявление причинно-следственных закономерностей вида структура-активность в фармакологии, анализ сложных химических соединений и белковых структур в химии.
В данной статье автор предлагает отличный от канонического подход к описанию ДСМ-метода — теоретико-множественный подход.
Ключевые слова: интеллектуальный анализ данных, ИАД, ДСМ-метод, экспертные системы.
1. Введение
В течение последних двух десятилетий произошёл стремительный рост технических возможностей для сбора и хранения больших массивов данных. И этот рост продолжается. Уже накоплены миллионы баз данных, которые охватывают практически все области человеческого знания. Подобный рост накапливаемых данных и их объёма остро поднимает проблему поиска данных, а также, что ещё более важно, порождает необходимость в средствах, позволяющих автоматически извлекать полезные знания из больших массивов данных. Именно к таким средствам и относится Интеллектуальный анализ данных (ИАД).
2. Простой ДСМ-метод
ДСМ-метод1 автоматического порождения гипотез — это один из методов ИАД. Цель данного метода состоит в том, чтобы на основании имеющейся базы фактов сделать предположения о причинах наличия или отсутствия определённых свойств (целевые свойства) у объекта. Этот метод предложил В.К. Финн [1,3,4]. Примером задач, решаемых ДСМ-методом, может служить выявление причинно-следственных закономерностей вида структура-активность в фармакологии, анализ сложных химических соединений и белковых структур в химии [5].
Статья поступила в редакцию 25 декабря 2007 г.
1 Формализация структурной индукции ДСМ-метода берет своё начало от известного английского философа, логика, историка и социолога Д.С.Милля, чьи инициалы и составляют название метода [2].
е—
е
—е е
20 Липкин А. А. Об одном методе анализа больших массивов структур с . . .
Ниже будет рассмотрена теоретико-множественная формулировка классического ДСМ-метода, предложенная автором2 . От канонической формулировки теоретико-множественный подход выгодно отличается тем, что существенно упрощает построение математической модели ДСМ-системы, а также облегчает её понимание неспециалистами в данной (достаточно узкой) области.
Характерной чертой ДСМ-метода является сочетание трёх разновидностей правдоподобных рассуждений:
— индуктивные рассуждения определяют некоторый способ обучения на примерах и позволяют сформировать гипотезы о возможных причинах рассматриваемых свойств объектов предметной области;
— с помощью рассуждений по аналогии формируются гипотезы о наличии или отсутствии интересующего нас набора свойств у тех объектов предметной области, для которых информация (о наличии у них этих свойств) неполна или противоречива. Процедуры ДСМ-метода обрабатывают некоторое множество исходных данных (фактов или примеров). В результате исполнения процедур, соответствующих индуктивным рассуждениям и рассуждениям по аналогии, формируется некоторое множество гипотез;
— рассуждения по абдукции, основанные на применении следующего правила: если каждый факт (пример) может быть объяснён с помощью имеющихся гипотез, то гипотезы принимаются, т. е. предполагается, что они сформированы на достаточном основании. В том случае, когда посылка правила абдукции ложна, делается вывод о необходимости расширения исходного набора фактов с помощью внешних источников.
Определение 1. ДСМ-структурой будем называть кортеж
и = (Л, О, Р, V, Е, И),
где
(1) Л — непустое конечное множество независимых атомов,
(2) О С Р (Л) — непустое конечное множество объектов (каждый объект представлен в виде множества атомов)3 ,
(3) Р — непустое конечное множество (возможных целевых) свойств объектов,4
(4) V = {+1, -1,0, т} — множество (типов) внутренних истинностных значений (+1 — истинно, —1 — ложно, 0 — противоречиво, т — неопределённо),
(5) Е : О х Р ^ V, отображение Е будем называть функцией обладания,
(6) И : Р (Л) х Р ^ V, отображение И будем называть функцией причинности.
Определение 2. Утверждение о наличии или отсутствии у объекта целевого свойства будем называть фактом. Множество фактов образует базу фактов (БФ). Математическим представлением базы фактов является отображение Е из определения 1.
Определение 3. Будем говорить, что объект о £ О обладает свойством р £ Р, если Е (о, р) = +1, т.е., если утверждение о том, что объект о обладает свойством р, истинно.
Определение 4. Будем говорить, что объект о £ О не обладает свойством р £ Р, если Е (о,р) = —1, т.е., если утверждение о том, что объект о обладает свойством р, ложно.
Определение 5. Объект о будем называть плюс-примером для свойства р, если он обладает этим свойством.
Множество всех плюс-примеров для свойства р будем обозначать через О(+р).
2В основу данных разработок легли идеи, заложенные О. М. Аншаковым в [6]. 3Через Р (А) обозначено множество всех подмножеств множества А.
4 Атомы, объекты и свойства — сущности произвольной природы. Например, в зависимости от конкретной области в роли атомов могут выступать пары вида атрибут-значение, функциональные группы химических соединений, ключевые слова — любые единицы, выступающие в рамках решаемой задачи как неделимая сущность.
Вестник РУДН, Серия Математика. Информатика. Физика. № 2. 2008. с. 19-29 21
Определение 6. Объект о будем называть минус-примером для свойства р, если этот объект не обладает свойством р.
Множество всех минус-примеров для свойства р будем обозначать через
О(-р).
Определение 7. Объект о будем называть нуль-примером для свойства р, если
Р (о, р) = 0,
т.е. если утверждение о том, что объект о обладает свойством р, противоречиво. Множество всех нуль-примеров для свойства р будем обозначать через О(Ор).
Определение 8. Объект о будем называть тау-примером для свойства р, если
Р (о, р) = т,
т.е. если утверждение о том, что объект о обладает свойством р, неопределённо. Множество всех тау-примеров для свойства р будем обозначать через о(тр).
Определение 9. Любое подмножество множества атомов А будем называть фрагментом.
Заметим, что согласно последнему определению объект является частным случаем фрагмента.
Определение 10. Будем говорить, что фрагмент с С А является причиной наличия свойства р £ Р (плюс-причиной для свойства р), если
Н (о,р) = +1.
Утверждение о том, что с является плюс-причиной для р, назовём положительной гипотезой (плюс-гипотезой) для р.
Множество всех плюс-причин для свойства р будем обозначать через Б (+р).
Определение 11. Будем говорить, что фрагмент с С А является причиной отсутствия свойства р £ Р (минус-причиной для свойства р), если
Н (о,р) = -1.
Утверждение о том, что с является минус-причиной для р, назовём отрицательной гипотезой (минус-гипотезой) для р.
Множество всех минус-причин для свойства р будем обозначать через Б (— р).
Определение 12. Будем говорить, что фрагмент с С А является нуль-причиной для свойства р £ Р, если
Н (о, р) = 0.
Утверждение о том, что с является нуль-причиной для р, назовём противоречивой гипотезой (нуль-гипотезой) для р.
Множество всех нуль-причин для свойства р будем обозначать через Б (Ор).
Определение 13. Будем говорить, что фрагмент с С А является тау-причиной для свойства р £ Р, если
Н ( о, р) = т.
Утверждение о том, что с является тау-причиной для р, назовём неопределённой гипотезой (тау-гипотезой) для р.
Тау-причины будем называть также кандидатами в причины. Множество всех тау-причин для свойства р будем обозначать через Б (тр).
Определение 14. Будем говорить, что между двумя объектами о1, о2 £ О имеется сходство, если о1 П о2 = 0.
© е—
а —е
Рис. 1. Схема работы ДСМ-системы
е—
е
—е
е
Вестник РУДН, Серия Математика. Информатика. Физика. № 2. 2008. с. 19-29 23
Напомним, что любой объект мы представляем в виде множества атомов (см. определение 1).
Кратко обозначенные на схеме (рис. 1) этапы можно описать следующим образом:
Обработка базы фактов. Получение данных из БФ, формирование множеств
плюс-примеров и минус-примеров. Пересечение. Построение множества всех возможных непустых пересечений плюс-примеров и построение множества всех возможных непустых пересечений минус-примеров. Индукция. Формирование плюс-гипотез, минус-гипотез и нуль-гипотез. Аналогия. Формирование гипотез о наличии/отсутствии целевого свойства у
объекта на основании их сходства, доопределение базы фактов. Условие завершения. Процесс работы ДСМ-алгоритма может быть как од-ношаговым, так проходящим в несколько шагов. В таком случае требуется некоторое условие, означающее прекращение итераций. Подробнее это будет рассмотрено ниже.
Проверка на «объяснимость». Проверка каузальной полноты, все факты в изначальной базе должны объясняться при помощи порождённых системой гипотез. Если этого не происходит, значит требуется изменение исходной базы фактов экспертом.
Данная схема отражает основной принцип работы ДСМ-системы. На вход такой системы поступает база фактов, заданная специалистом, а на выходе выдаётся доопределённая база фактов, т. е. БФ с устранённой неполнотой данных.
Ниже мы остановимся на наиболее интересных этапах подробнее. Но предварительно договоримся об обозначениях.
Соглашение 1. Введём нижний индекс для обозначения номера шага алгоритма ДСМ-метода, на котором получен результат. Например, 0п(+р) будет означать множество плюс-примеров свойства р, имеющихся после завершения п-го шага. Аналогично понимаются обозначения 0п(-р), 0п(0р) и 0п(тр).
Следуя данному соглашению, мы будем обозначать через Бп(+р) множество плюс-причин свойства р, известных после завершения п-го шага. Аналогично понимаются обозначения 8„(— р), Бп(0р) и (тр).
Обозначение 1. Пусть У С Р (А). Положим по определению
ПУ = р с.
ееУ
Здесь, как и в определении 1, Р (А) есть множество всех подмножеств множества А.
Теперь опишем этапы ДСМ-метода более подробно.
Пересечение. Пересечение осуществляется любым из известных методов. Традиционно используют метод Норриса или модифицированный метод Норри-са, однако есть и другие варианты построения множества пересечений, подробнее об этих методах и их сравнительных характеристиках можно прочитать в [7]. В результате пересечения нужно построить множество пересечений отдельно для плюс-примеров и для минус-примеров. Для полученных множеств пересечений введём специальные обозначения.
Обозначение 2.
Х+ (р) = {ПУ | У С Оп (+р), |У | > 2} , Х- (р) = {ПУ | У С 0„ (-р), |У | > 2} .
Здесь, как и в соглашении 1, нижний индекс п понимается как номер шага ДСМ-метода, на котором пересечения были получены.
е е—
е —е
Индукция. В ходе работы этого модуля идёт поиск сходства на объектах, обладающих (плюс-примеры) и не обладающих (минус-примеры) искомым свойством. На основании найденного сходства находятся в плюс- и минус-причины свойства.
Сначала вводятся вспомогательные предикаты (они же — решающие предикаты ) М+ и М-.
Обозначение 3.
М+(в,р) ^ 8 е Х+ (р), М-(в,р) ^ 8 е Х- (р).
Используя введённые обозначения, мы можем определить правила индукции.
Определение 15. Следующие правила называются правилами индукции, или правилами первого рода:
(1+) 8 е 8„(тр) & М+(8,р) & - М-(8,р)
(I-) 8 е 8„(тр) & М-(8,р) & - М+(8,р)
(I0) 8 е 8„(тр) & М+(8,р) & М-(8,р)
(1т) 8 е 8„(тр) & - М+ (8,р) & - М-(8,р)
8 е 8„+х(+р), в е 8„+х(-р), 8 е 8„+1(0р), 8 е 8п+1(гр).
Словами эти правила можно выразить так: если до текущего момента про некоторый фрагмент неизвестно (не было выявлено во время предыдущих шагов), включается ли он в какую-либо гипотезу, и этот фрагмент принадлежит множеству пересечений плюс-примеров и не принадлежит множеству пересечений минус-примеров, то данный фрагмент принадлежит множеству кандидатов в плюс-причины.
Двойственным образом задаётся правило для получения минус-причин. Иногда их также называют антипричинами.
Если фрагмент принадлежит одновременно и множеству пересечений плюс-примеров, и минус-примеров, то выдвигается гипотеза, что наличие этого фрагмента ведёт к противоречию (противоречивая причина).
Если фрагмент не принадлежит ни множеству пересечений плюс-примеров, ни множеству пересечений минус-примеров, то он остаётся в числе неопределённых.
Аналогия. В данном блоке на основании найденных ранее причин происходит выдвижение гипотез о наличии / отсутствии искомого свойства у объекта. Или же о имеющем место фактическом противоречии.
Обозначение 4. Вводятся вспомогательные выражения, решающие предикаты второго рода, имеющие значением наличие плюс/минус/противоречивой причины для данного объекта и данного свойства:
С++1(о,р) е 8„+1 (+р) (8 С о),
С-+1(0,р) е 8„+1 (-р) (8 С о),
СП+1 (0,р) е 8„+1 (0р) (8 С о).
Определение 16. Сами правила второго рода выглядят следующим образом:
+
е Оп(тр) & С++1(8,р) & - в-+1(8,р) —> 8 е Оп+1(+р),
е О„(тр) & С-+1(8,р) & - в++1(8,р) —> 8 е Оп+1(-р),
е О„(тр) & С++1(8,р) & в-+1(8,р) — 8 е О„+1(0р),
е О„(тр) & СП+1(8,р) — 8 е О„+1(0р),
е О„(тр) & - С++1(8,р) & - в-+1(8,р) — 8 е Оп+1(гр).
—>
—>
—>
)
)
)
Т
)
Вестник РУДН, Серия Математика. Информатика. Физика. № 2. 2008. с. 19-29 25
Словами это можно описать следующим образом: если обладание искомым свойством до текущего момента для объекта не установлено (не было выявлено на предыдущих шагах), имеются плюс-причины (причины, указующие на наличие свойства) и не имеется минус-причин, то утверждается, что данный объект искомым свойством обладает.
Двойственно, если установлено, что для такого объекта есть минус-причины и нет плюс-причин, утверждается, что объект искомым свойством не обладает.
Если для данного объекта имеются как плюс-причины, так и минус-причины, то для данного объекта устанавливается фактическое противоречие. Также противоречие устанавливается5 , если для данного объекта существуют противоречивые причины (см. сноску 3).
Ну и наконец, если для объекта не удаётся обнаружить никаких причин, он остаётся среди тех, для кого обладанием искомым свойством не установлено.
Условие завершения. Процесс работы ДСМ-алгоритма может быть как од-ношаговым, так и итерационным, т. е. имеющим несколько шагов, в ходе каждого из которых процедура «пересечение» ^ «индукция» ^ «аналогия» работает заново, беря за основу данные, имеющиеся на текущий момент, т. е. как исходные, так и полученные на предыдущих шагах работы. В таком случае условием завершения будет то, что на очередном шаге исходная и доопределённая база фактов совпадают, т. е. не удалось установить факт наличия/отсутствия целевого свойства ни для одного объекта.
Проверка на «объяснимость» (проверка каузальной полноты) состоит в том, что все уже известные факты должны быть объяснимы. В противном случае утверждается, что база фактов нуждается в пополнении извне.
Ранее был рассмотрен теоретико-множественный подход к классическому (простому) ДСМ-методу. Однако это далеко не единственный возможный вариант построения ДСМ-системы. Покажем, что теоретико-множественная формулировка возможна и для иных вариаций ДСМ-метода и будет выглядеть следующим образом:
Например, существует ещё ДСМ-метод с запретом на контр пример. Существенное его отличие от простого заметно на этапе индукции: Если решающие предикаты М+ и М- определяются так же:
М+(8,р) ^ 8 е Х+ (р), М-(8,р) ^ 8 е Х- (р),
то само рассуждение (правила первого рода) имеет существенное отличие: фрагмент определяется как плюс-причина (минус-причина) в том случае, если он входит в множество пересечений плюс-примеров (минус-примеров) и не существует такого минус-примера (плюс-примера), в который бы данный фрагмент входил:
(1+) 8 е 8„(тр) & М+(8,р) & —Зо е О (-р) (8 с о) ^ 8 е Б„+1(+р),
(I-) 8 е 8„(тр) & М-(8,р) & —Зо е О (+р)(8 с о) ^ 8 е Я„+1(-р).
Правило для противоречивости не вводится, а правило, сохраняющее неопределённость, выглядит также:
(1Т) 8 е Б„(тр) & — М+(8,р) & — М-(8,р) ^ 8 е Б„+1 (тр)
Рассуждение по аналогии (правила второго рода) для ДСМ-метода с запретом на контрпример выглядят так же, как и в простом методе.
3. Несимметричный ДСМ-метод и его модификации
Теперь же рассмотрим теоретико-множественный подход в наиболее интересной, с нашей точки зрения, модификации ДСМ-метода — несимметричном ДСМ-методе 6 .
5В классическом ДСМ-методе данного правила нет, однако для полноты системы кажется естественным определить его и использовать полученный выше 0^+1 (о, р). 6Его каноническая формулировка была изложена Д. В. Виноградовым [8].
26 Липкин А. А. Об одном методе анализа больших массивов структур с . . .
Основным отличием несимметричного ДСМ-метода от простого является то, что обобщённый ДСМ-метод является методом «контекстным». Это значит, что если в простом методе ищутся абсолютные минус-гипотезы (антипричины), то обобщённый метод вместо этого ищет локальные тормоза для каждой конкретной гипотезы, которые работают только для той причины, для которой они были найдены. Таким образом, несложно заметить, что асимметричный ДСМ-метод лучше доопределяет матрицу свойств в тех случаях, когда для предметной области важна именно контекстность.
Обозначение 5. О(+8, +р) — множество плюс-примеров свойства р, содержащих фрагмент е.
Обозначение 6. О(+8, -р) — множество минус-примеров свойства р, содержащих фрагмент е.
Обозначение 7. О(+8, тр) — множество объектов, содержащих фрагмент 8, для которых факт наличия / отсутствия свойства р не установлен.
Определение 17. Фрагмент 81 называется тормозом фрагмента 8 для свойства р, если выполняется следующее условие: он является подмножеством хотя бы в двух объектах, содержащих в и не обладающих р.
Формально это можно записать следующим образом:
30102(01 = О2&О1 е Оп(+8, -р)&02 е О„(+8, —р)&81 С 01&Я1 С 02),
где О — множество всех объектов.
Замечание. Возможен также подход, при котором тормоз не включает в себя причину (из полученного выше пересечения вычитается сам фрагмент 8, т. е. 8 П 81 = 0). Выбор формулировки не оказывает существенного влияния на работу обобщённого ДСМ-метода и никак не меняет результата его работы.
Правила правдоподобного вывода ДСМ-метода делятся на две группы. Правила первой группы служат для порождения гипотез о структурных причинах возникновения данных свойств у объектов. Такие правила называются правилами первого рода. Правила второй группы позволяют выдвигать гипотезы о наличии/отсутствии свойств у объектов и называются правилами второго рода.
Рассмотрим модификацию несимметричного ДСМ-метода, которая, как и сам несимметричный ДСМ-метод, порождает только плюс-причины и их тормоза, однако имеет несколько отличий. Понятия минус-гипотезы не вводится как такового, а правила первого рода порождают только кандидатов в плюс-гипотезы. Таких правил два' :
Правило /+: 8 е Бп(тр)&30102(01 = о2&о1 е Оп(+8, +р)&о2 е Оп(+8, +р))&Оп(+8, —р) = 0 ^ 8 е 5п+1(+р). Этим правилом порождаются кандидаты в абсолютные плюс-гипотезы, т. е. в гипотезы, не имеющие тормозов.
Обозначение 8. Введём обозначение Т+(8,р), которое следует понимать как множество тормозов возможной причины 8 свойства р, где п — номер шага ДСМ-метода, не позднее которого были обнаружены эти тормоза.
Через Тп(8,р) обозначим множество кандидатов в тормоза для гипотезы 8 и свойства р, где п — номер шага ДСМ-метода, вплоть до которого не было выяснено, являются ли эти фрагменты тормозами: Ь е ТТ(8,р)&30102(01 = 02&01 е Оп(+8, —р)&02 е Оп (+8, —р)&Ь С 01 С 02) ^ Ь е Т++1(8,р).
Правило /+: 8 е Бп (тр)&30102(01 = 02&01 е Оп (+8, +р)&02 е Оп(+8, +р))&Оп(+8, —р) = 0&Т++1(8,р) = 0 ^ 8 е Бп+1(+р).
Существенная модификация данного метода заключается в том, что при такой формулировке ППВ первого рода отслеживается случай, когда множество
7В несимметричном ДСМ-методе, сформулированном Д. В. Виноградовым [8], такое правило одно, без выделения отдельного правила для абсолютных гипотез: в 6 5„(гр)&30102(01 = 02&01 6 Оп (+«, +р)&02 6 Оп(+в, +р)) ^ в 6 5„+х(+р). Ниже будет показано, почему факт наличия или отсутствия контр-примеров для данной гипотезы важен.
Вестник РУДН, Серия Математика. Информатика. Физика. № 2. 2008. с. 19-29 27
минус-примеров не пусто, но при этом сходства между минус-примерами найти не удаётся. Это означает, что, несмотря на наличие контрпримеров, тормоза выделить не удаётся, множество тормозов пусто. В подобном случае утверждается, что для выявления тормозов недостаточно данных, а значит недостаточно данных и для выдвижения гипотезы с такой фрагмент-причиной. В результате, данный кандидат в гипотезы отвергается.
При этом противоречия не порождаются ни одним из правил вывода. При доопределении матрицы свойств работают два правила: Правило А+:
о е Оп(+8, тр)&8 е £п+1(+р)&-.3£(£ е Т++1^,р)&г с о) — о е +р).
Правило А- имеет два варианта: для одношагового метода и итеративного. Для одношагового метода это правило выглядит просто: если не А+, то А+. т. е. если к данному объекту не удалось ни разу применить ни одну из гипотез и правило
А+
ни разу не отработало, то данный объект считается не обладающим искомым свойством.
Для итеративного метода данное правило менее строго:
о„ е 0„(+8, тр^-^п е £п+1(+р)) V 3^ е Т++1 ^,р)&£ с о) — о^О^^^р),
т. е. если не удаётся применить ни одной гипотезы о наличии свойства, сохраняется неопределённость, которая переходит на следующую итерацию, и только на последнем шаге итерации оно работает аналогично тому, как для одношагового случая.
Опишем применение модифицированного несимметричного ДСМ-метода поэтапно:
1. Найти все непустые пересечения двух и более объектов из множества плюс-примеров. В результате получаем множество Х+(р) кандидатов в возможные причины.
2. Для каждой возможной причины 8 е Х+(р):
2.1. Если множество минус-примеров пусто (0п(+8, —р) = 0), то б — абсолютная причина р.
2.2. Если множество минус-примеров не пусто (0п(+8, —р) = 0 ), то найдём все непустые пересечения двух и более объектов из множества 0п(+8, — р).
2.3. Если таких пересечений нет и множество Т++1 (8,р) пусто (в частности, если множество 0п(+8, —р) содержит всего один объект), то мы не можем выдвигать никаких гипотез касательно данного фрагмента, так как не смогли выявить тормозов.
3. Строим Т++1(8,р) по уже приведённой выше формуле.
4. Доопределяем матрицу фактов. При этом используются сформулированные выше Правило А+ и Правило А-.
При желании можно сделать итерацию всего процесса, то есть после того, как алгоритм отработает один раз, снова запустить поиск гипотез, но уже с учётом доопределённых фактов. Таким образом получатся новые гипотезы с новыми тормозами, которые могут помочь доопределить факт наличия или отсутствия целевого свойства для ряда объектов, которые не были доопределены после первого применения описанной выше процедуры.
4. Некоторые оптимизирующие модификации
При практической реализации этой процедуры целесообразно произвести ряд упрощений, направленных на уменьшение объёма хранимых кандидатов в гипотезы.
Во-первых, имеет смысл объединить этапы 1 и 2, то есть включить этап проверки наличия тормозов (а заодно и их выявления) уже на этапе поиска кандидатов на гипотезы.
е е—
е —е
Во-вторых, представляется возможным уменьшение объёма хранимых гипотез, если не просто проверять на дубликаты, чтобы избежать хранения одинаковых гипотез, но и выполнять проверку на более общие гипотезы. Предположим, имеется гипотеза (в,Т++1(в,р)), где б е 8п+1(+р), и найдена гипотеза (1?г,Т++1 (1г,р)), где 1г е 8п+1 (+р), такая, что 1г С б. Тогда все, что нам удастся породить при помощи первой гипотезы, будет порождено и посредством второй. Это означает, что гипотезу (в,Т++1(в,р)) можно исключить без потерь (нетрудно гокататц что т++1(в,р) С т++1(Гг,р)).
Таким образом может быть введено понятие силы гипотез, где гипотеза (1?г,Т++1 (1г,р)) называется более сильной чем другая гипотеза (б,Т++1 (в,р)) тогда, когда она, среди прочих, порождает и все то, что можно породить при помощи гипотезы ( в,Т++1 (в,р)), которую будем называть более слабой.
Хотелось бы сказать пару слов относительно того, стоит ли рассматривать отсутствие признака также как признак. Дело в том, что в каноническом подходе рассмотрению подлежат только наличествующие признаки, что, в принципе, является логичным. Однако в случае с контекстными методами подобный подход не всегда полезен, иногда отсутствие признаков, взятое наравне с их присутствием,
о
позволяет существенно расширить наши возможности.0
Возьмём в качестве иллюстрации, обосновывающей необходимость такого подхода, небольшой искусственный пример (а,Ъ,е,фе,Г — признаки, Р — целевое свойство):
a b c d e f P
1 1 1 и и и +
1 1 1 1 и и +
1 1 и и 1 и +
1 1 и 1 и и -
1 1 и и и 1 -
Давайте рассмотрим кандидата в гипотезы ab. Для него имеется два контрпримера. Однако при этом, если мы будем рассматривать только наличие признаков, ни одного тормоза выявить не удастся — оба имеющихся контрпримера пересекаются только по гипотезе, и кандидат в гипотезу будет отбракован. Если же принять к рассмотрению и отсутствие признаков, получается, что в данном примере имеется две гипотезы: абсолютная причина abc и гипотеза ab, для которой тормозом будет являться —c—е.
Таким образом, получается, что если считать значимым только наличие признака, то это может привести к нежелательным потерям среди гипотез: как несложно заметить, при таком подходе здесь мы потеряем гипотезу ab (наличие минус-примеров при невозможности вычленить тормоза) и остаёмся только с гипотезой abc, являющейся абсолютной причиной. Однако, как несложно заметить, эта гипотеза уже не в состоянии объяснить того факта, что у третьего объекта наличествует свойство р, а значит, не будет выполнена проверка на объ-яснимость.
Кроме того, если у нас появится объект, скажем, abef, который надо будет доопределить исходя из имеющейся на данный момент теории, то без гипотезы (ab,p,{ —c—е }) доопределить его мы будем просто не в силах, в то время, как на самом деле согласно данной гипотезе легко получается, что на самом деле объект abef обладает свойством р.
Литература
1. Финн В. К. Базы данных с неполной информацией и новый метод автоматического порождения гипотез // Диалоговые и фактографические системы информационного обеспечения. — М., 1981.
8В практических компьютерных реализациях подобный подход используется достаточно часто, однако он является неформальным, т.к. не прописан в теоретическом аппарате.
е—
е
—е е
© е—
© —е
2. Милль Д. С. Система логики силлогистической и индуктивной. — М.: Книжное дело, 1900.
3. Финн В. К. О возможностях формализации правдоподобных рассуждений средствами многозначных логик // Всесоюзный симпозиум по логике и методологии науки. — Киев: Наукова думка, 1976.
4. Финн В. К. О машинно-ориентированной формализации правдоподобных рассуждений в стиле Ф. Бэкона-Д. С. Милля // Семиотика и информатика. — Вып. 20. — 1983.
5. Применение ДСМ-метода порождения гипотез для прогноза противоопухолевой активности и токсичности соединений, принадлежащих к различным классам химических соединений / Е. С. Панкратова, В. Г. Ивашко, В. Г. Блинова, Д. В. Попов // Экспертные системы: состояние и перспективы / Под ред. Д. А. Поспелова. — М.: Наука, 1989.
6. Аншаков О. М. Об одной интерпретации ДСМ-метода автоматического порождения гипотез // НТИ, сер 2., № 1-2. — М.: ВИНИТИ РАН, 1999.
7. Объедков С. А. Алгоритмические аспекты ДСМ-метода и формального анализа понятий. — М.: РГГУ, 1999.
8. Виноградов Д. В. Несимметричный ДСМ-метод с учетом контекста // Пятая национальная конференция с международным участием «Искусственный интеллект-96». — Казань: 1996. — КИИ-96: Сб. науч. тр.: В 3 т.— Казань : Ассоц. искусств. интеллекта, 1996.
UDC 004.891
One Method of Analysis for Large Sets of Partly Deterministic
Data
A. A. Lipkin
Intelligent System Department Russian State University of Humanities Miusskaya sq., 6, Moscow, Russia, 125267
JSM-method of automatic hypothesis generation is one of the most promising methods in Data Mining. The goal of this method is the following: from the given facts' database as a starting point make suggestions on the cause of an object possessing or not possessing some properties. This method was introduced by V.K. Finn [1]. Searching for causal-investigatory regularities in pharmacology and analysis of complicated compounds and protein formations in chemistry might serve an example of its usage.
The author suggests another approach, different from the canonical one, in this article. That is set-theoretic approach.
e—
e
—0 0
